logo

TechCodeview

Comprensió de la prova d'hipòtesis

La prova d'hipòtesis consisteix a formular hipòtesis sobre els paràmetres de la població a partir d'estadístiques de mostres i avaluar rigorosament aquestes hipòtesis contra l'evidència empírica. Aquest article fa llum sobre la importància de la prova d'hipòtesis i els passos crítics implicats en el procés.

Què és la prova d'hipòtesi?

La prova d'hipòtesi és un mètode estadístic que s'utilitza per prendre una decisió estadística mitjançant dades experimentals. La prova d'hipòtesi és bàsicament una suposició que fem sobre un paràmetre de població. Avalua dues afirmacions mútuament exclusives sobre una població per determinar quina afirmació és millor recolzada per les dades de la mostra.



Exemple: Dius que una alçada mitjana a la classe és de 30 o un nen és més alt que una noia. Tot això és un supòsit que estem assumint, i necessitem alguna forma estadística per demostrar-ho. Necessitem alguna conclusió matemàtica, el que suposem que és veritat.

Hipòtesis definidores

  • Hipòtesi nul·la (H 0 ): En estadística, la hipòtesi nul·la és una afirmació general o una posició per defecte que no hi ha cap relació entre dos casos mesurats o cap relació entre grups. En altres paraules, és una suposició bàsica o feta a partir del coneixement del problema.
    Exemple : La producció mitjana d'una empresa és de 50 unitats/per dia H0: mu= 50.
  • Hipòtesi alternativa (H 1 ): La hipòtesi alternativa és la hipòtesi utilitzada en la prova d'hipòtesis que és contrària a la hipòtesi nul·la.
    Exemple: la producció d'una empresa no és igual a 50 unitats/per dia, és a dir, H1: mu 50.

Termes clau de la prova d'hipòtesis

  • Nivell de significació : Fa referència al grau de significació en què acceptem o rebutgem la hipòtesi nul·la. No és possible una precisió del 100% per acceptar una hipòtesi, per tant, seleccionem un nivell de significació que sol ser del 5%. Això es denota normalment amb alphai, en general, és del 0,05 o del 5%, la qual cosa significa que la vostra sortida hauria de tenir un 95% de confiança per donar un tipus de resultat similar a cada mostra.
  • Valor P: El valor P , o probabilitat calculada, és la probabilitat de trobar els resultats observats/extrems quan la hipòtesi nul·la (H0) d'un problema donat per l'estudi és certa. Si el vostre valor P és inferior al nivell de significació escollit, rebutgeu la hipòtesi nul·la, és a dir, accepteu que la vostra mostra pretén donar suport a la hipòtesi alternativa.
  • Estadística de prova: L'estadística de prova és un valor numèric calculat a partir de dades de mostra durant una prova d'hipòtesi, que s'utilitza per determinar si es rebutja la hipòtesi nul·la. Es compara amb un valor crític o valor p per prendre decisions sobre la significació estadística dels resultats observats.
  • Valor crític : el valor crític de les estadístiques és un llindar o punt de tall utilitzat per determinar si es rebutja la hipòtesi nul·la en una prova d'hipòtesi.
  • Graus de llibertat: Els graus de llibertat s'associen a la variabilitat o llibertat que es té per estimar un paràmetre. Els graus de llibertat estan relacionats amb la mida de la mostra i determinen la forma.

Per què fem servir la prova d'hipòtesi?

La prova d'hipòtesis és un procediment important en estadística. La prova d'hipòtesi avalua dues declaracions de població mútuament excloents per determinar quina afirmació està més recolzada per les dades de mostra. Quan diem que els resultats són estadísticament significatius, gràcies a la prova d'hipòtesis.

Prova d'una i dues cues

Una prova de cua se centra en una direcció, ja sigui superior o inferior a un valor especificat. Utilitzem una prova d'una sola cua quan hi ha una clara expectativa direccional basada en coneixements previs o teoria. La regió crítica es troba només en un costat de la corba de distribució. Si la mostra cau en aquesta regió crítica, la hipòtesi nul·la es rebutja a favor de la hipòtesi alternativa.



Prova d'una cua

Hi ha dos tipus de proves d'una sola cua:

  • Prova de cua esquerra (costat esquerre): La hipòtesi alternativa afirma que el valor del paràmetre real és menor que la hipòtesi nul·la. Exemple: H0​: mu geq 50i H1:
  • i H1: mu>50

Prova de dues cues

Una prova de dues cues considera ambdues direccions, més gran i menor que un valor especificat. Utilitzem una prova de dues cues quan no hi ha cap expectativa direccional específica i volem detectar qualsevol diferència significativa.

Exemple: H0: in =50 i H1: mu eq 50



Quins són els errors de tipus 1 i tipus 2 en la prova d'hipòtesi?

En la prova d'hipòtesis, Errors de tipus I i tipus II són dos possibles errors que poden cometre els investigadors quan treuen conclusions sobre una població a partir d'una mostra de dades. Aquests errors estan associats a les decisions preses respecte a la hipòtesi nul·la i la hipòtesi alternativa.

  • Error de tipus I: Quan rebutgem la hipòtesi nul·la, encara que aquesta hipòtesi era certa. L'error de tipus I es denota amb alpha( alpha).
  • Errors de tipus II: Quan acceptem la hipòtesi nul·la, però és falsa. Els errors de tipus II es denoten amb beta( eta).


La hipòtesi nul·la és certa

La hipòtesi nul·la és falsa

La hipòtesi nul·la és certa (Acceptar)

Decisió correcta

Error de tipus II (fals negatiu)

La hipòtesi alternativa és certa (rebutja)

Error de tipus I (fals positiu)

Decisió correcta

Com funciona la prova d'hipòtesi?

Pas 1: Definiu la hipòtesi nul·la i alternativa

Digueu la hipòtesi nul·la ( H_0), que no representa cap efecte, i la hipòtesi alternativa ( H_1), suggerint un efecte o diferència.

Primer identifiquem el problema sobre el qual volem fer una suposició tenint en compte que la nostra hipòtesi hauria de ser contradictòria entre si, assumint Dades distribuïdes normalment.

Pas 2: trieu el nivell de significació

Seleccioneu un nivell de significació ( alpha), normalment 0,05, per determinar el llindar per rebutjar la hipòtesi nul·la. Proporciona validesa a la nostra prova d'hipòtesi, assegurant que disposem de dades suficients per fer una còpia de seguretat de les nostres afirmacions. Normalment, determinem el nostre nivell de significació abans de la prova. El valor p és el criteri utilitzat per calcular el nostre valor de significació.

Pas 3 – Recollir i analitzar dades.

Recollir dades rellevants mitjançant l'observació o l'experimentació. Analitzar les dades utilitzant mètodes estadístics adequats per obtenir una estadística de prova.

cadena a char

Pas 4-Calculeu l'estadística de la prova

Les dades de les proves s'avaluen en aquest pas busquem diverses puntuacions en funció de les característiques de les dades. L'elecció de l'estadística de prova depèn del tipus de prova d'hipòtesi que s'està duent a terme.

Hi ha diverses proves d'hipòtesi, cadascuna adequada per a diferents objectius per calcular la nostra prova. Això podria ser un Prova Z , Chi-quadrat , Prova T , etcètera.

  1. Prova Z : Si es coneixen les mitjanes poblacionals i les desviacions estàndard. L'estadística Z s'utilitza habitualment.
  2. prova t : Si es desconeixen les desviacions estàndard de la població. i la mida de la mostra és petita que l'estadística de la prova t és més adequada.
  3. Test de chi quadrat : La prova de chi quadrat s'utilitza per a dades categòriques o per provar la independència en taules de contingència
  4. Prova F : La prova F s'utilitza sovint en l'anàlisi de la variància (ANOVA) per comparar variàncies o provar la igualtat de mitjanes entre diversos grups.

Tenim un conjunt de dades més petit, per tant, la prova T és més adequada per provar la nostra hipòtesi.

L'estadística T és una mesura de la diferència entre les mitjanes de dos grups en relació amb la variabilitat dins de cada grup. Es calcula com la diferència entre les mitjanes mostrals dividida per l'error estàndard de la diferència. També es coneix com a valor t o puntuació t.

Pas 5: comparació de les estadístiques de prova:

En aquesta etapa, decidim on hem d'acceptar la hipòtesi nul·la o rebutjar la hipòtesi nul·la. Hi ha dues maneres de decidir on hem d'acceptar o rebutjar la hipòtesi nul·la.

Mètode A: Ús de valors crítics

Comparant l'estadística de prova i el valor crític tabulat que tenim,

  • Si prova Estadística>Valor crític: rebutja la hipòtesi nul·la.
  • Si prova Estadística≤Valor crític: no es rebutja la hipòtesi nul·la.

Nota: Els valors crítics són valors de llindar predeterminats que s'utilitzen per prendre una decisió en la prova d'hipòtesis. Per determinar valors crítics per a la prova d'hipòtesis, normalment ens referim a una taula de distribució estadística , com ara la distribució normal o les taules de distribució t basades en.

Mètode B: Ús de valors P

També podem arribar a una conclusió utilitzant el valor p,

  • Si el valor p és inferior o igual al nivell de significació, és a dir ( pleqalpha), rebutgeu la hipòtesi nul·la. Això indica que és poc probable que els resultats observats s'hagin produït només per casualitat, proporcionant proves a favor de la hipòtesi alternativa.
  • Si el valor p és més gran que el nivell de significació, és a dir ( pgeq alpha), no rebutgeu la hipòtesi nul·la. Això suggereix que els resultats observats són coherents amb el que s'esperaria sota la hipòtesi nul·la.

Nota : El valor p és la probabilitat d'obtenir una estadística de prova tan extrema o més extrema que la observada a la mostra, assumint que la hipòtesi nul·la és certa. Per determinar valor p per a la prova d'hipòtesis, normalment ens referim a una taula de distribució estadística , com ara la distribució normal o les taules de distribució t basades en.

Pas 7- Interpretar els resultats

Finalment, podem concloure el nostre experiment utilitzant el mètode A o B.

Càlcul estadístic de prova

Per validar la nostra hipòtesi sobre un paràmetre de població que fem servir funcions estadístiques . Utilitzem la puntuació z, el valor p i el nivell de significació (alfa) per demostrar la nostra hipòtesi per dades distribuïdes normalment .

1. Estadístiques Z:

Quan es coneixen les mitjanes poblacionals i les desviacions estàndard.

z = frac{ar{x} - mu}{frac{sigma}{sqrt{n}}}

on,

  • ar{x}és la mitjana de la mostra,
  • μ representa la mitjana de la població,
  • σ és la desviació estàndard
  • i n és la mida de la mostra.

2. T-Estadística

La prova T s'utilitza quan n<30,

El càlcul t-estadístic ve donat per:

t=frac{x̄-Μ}{s/sqrt{n}}

on,

  • t = puntuació t,
  • x̄ = mitjana mostral
  • μ = mitjana de la població,
  • s = desviació estàndard de la mostra,
  • n = mida de la mostra

3. Test de Chi-quadrat

Prova de Chi-quadrat per a dades categòriques d'independència (no distribuïdes normalment) utilitzant:

chi^2 = sum frac{(O_{ij} - E_{ij})^2}{E_{ij}}

on,

  • O_{ij}és la freqüència observada a la cèl·lula {ij}
  • i,j són l'índex de files i columnes respectivament.
  • E_{ij}és la freqüència esperada a la cel·la {ij}, calculat com:
    frac{{ ext{{Total de fila}} imes ext{{Total de columna}}}}{{ ext{{Total d'observacions}}}}

Exemple de prova d'hipòtesis de la vida real

Examinem la prova d'hipòtesis utilitzant dues situacions de la vida real,

Cas A: D un nou fàrmac afecta la pressió arterial?

Imagineu que una empresa farmacèutica ha desenvolupat un nou fàrmac que creuen que pot reduir de manera efectiva la pressió arterial en pacients amb hipertensió. Abans de treure el medicament al mercat, han de fer un estudi per avaluar-ne l'impacte sobre la pressió arterial.

Dades:

  • Abans del tractament: 120, 122, 118, 130, 125, 128, 115, 121, 123, 119
  • Després del tractament: 115, 120, 112, 128, 122, 125, 110, 117, 119, 114

Pas 1 : Definiu la hipòtesi

  • Hipòtesi nul · la : (H0)El nou fàrmac no té cap efecte sobre la pressió arterial.
  • Hipòtesi alternativa : (H1)El nou fàrmac té un efecte sobre la pressió arterial.

Pas 2: Definiu el nivell de significació

Considerem el nivell de significació a 0,05, que indica el rebuig de la hipòtesi nul·la.

Si l'evidència suggereix menys del 5% de possibilitats d'observar els resultats a causa de la variació aleatòria.

convertir cadena a int

Pas 3 : Calcula l'estadística de prova

Utilitzant prova T aparellada analitzar les dades per obtenir una estadística de prova i un valor p.

L'estadística de la prova (per exemple, l'estadística T) es calcula a partir de les diferències entre les mesures de la pressió arterial abans i després del tractament.

t = m/(s/√n)

On:

  • m = mitjana de la diferència, és a dir X després, X abans
  • s = desviació estàndard de la diferència (d) és a dir d i ​= X després, i −− X abans,
  • n = mida de la mostra,

aleshores, m= -3,9, s= 1,8 i n= 10

nosaltres, calculem l'estadística T = -9 a partir de la fórmula per a la prova t aparellada

Pas 4: Trobeu el valor p

L'estadístic t calculat és -9 i graus de llibertat df = 9, podeu trobar el valor p mitjançant un programari estadístic o una taula de distribució t.

per tant, valor p = 8,538051223166285e-06

Pas 5: Resultat

  • Si el valor p és inferior o igual a 0,05, els investigadors rebutgen la hipòtesi nul·la.
  • Si el valor p és superior a 0,05, no rebutgen la hipòtesi nul·la.

Conclusió: Com que el valor p (8,538051223166285e-06) és inferior al nivell de significació (0,05), els investigadors rebutgen la hipòtesi nul·la. Hi ha proves estadísticament significatives que la pressió arterial mitjana abans i després del tractament amb el nou fàrmac és diferent.

Implementació Python de proves d'hipòtesis

Creem proves d'hipòtesis amb python, on estem provant si un medicament nou afecta la pressió arterial. Per a aquest exemple, utilitzarem una prova T aparellada. Farem servir el scipy.stats> biblioteca per a la prova T.

Implementarem el nostre primer problema de la vida real mitjançant Python,

Python 3

import> numpy as np> from> scipy>import> stats> # Data> before_treatment>=> np.array([>120>,>122>,>118>,>130>,>125>,>128>,>115>,>121>,>123>,>119>])> after_treatment>=> np.array([>115>,>120>,>112>,>128>,>122>,>125>,>110>,>117>,>119>,>114>])> # Step 1: Null and Alternate Hypotheses> # Null Hypothesis: The new drug has no effect on blood pressure.> # Alternate Hypothesis: The new drug has an effect on blood pressure.> null_hypothesis>=> 'The new drug has no effect on blood pressure.'> alternate_hypothesis>=> 'The new drug has an effect on blood pressure.'> # Step 2: Significance Level> alpha>=> 0.05> # Step 3: Paired T-test> t_statistic, p_value>=> stats.ttest_rel(after_treatment, before_treatment)> # Step 4: Calculate T-statistic manually> m>=> np.mean(after_treatment>-> before_treatment)> s>=> np.std(after_treatment>-> before_treatment, ddof>=>1>)># using ddof=1 for sample standard deviation> n>=> len>(before_treatment)> t_statistic_manual>=> m>/> (s>/> np.sqrt(n))> # Step 5: Decision> if> p_value <>=> alpha:> >decision>=> 'Reject'> else>:> >decision>=> 'Fail to reject'> # Conclusion> if> decision>=>=> 'Reject'>:> >conclusion>=> 'There is statistically significant evidence that the average blood pressure before and after treatment with the new drug is different.'> else>:> >conclusion>=> 'There is insufficient evidence to claim a significant difference in average blood pressure before and after treatment with the new drug.'> # Display results> print>(>'T-statistic (from scipy):'>, t_statistic)> print>(>'P-value (from scipy):'>, p_value)> print>(>'T-statistic (calculated manually):'>, t_statistic_manual)> print>(f>'Decision: {decision} the null hypothesis at alpha={alpha}.'>)> print>(>'Conclusion:'>, conclusion)> 
>
>

Sortida: 

T-statistic (from scipy): -9.0 P-value (from scipy): 8.538051223166285e-06 T-statistic (calculated manually): -9.0 Decision: Reject the null hypothesis at alpha=0.05. Conclusion: There is statistically significant evidence that the average blood pressure before and after treatment with the new drug is different.>

A l'exemple anterior, tenint en compte l'estadística T d'aproximadament -9 i un valor p extremadament petit, els resultats indiquen un cas fort per rebutjar la hipòtesi nul·la a un nivell de significació de 0,05.

  • Els resultats suggereixen que el nou fàrmac, tractament o intervenció té un efecte significatiu en la reducció de la pressió arterial.
  • L'estadística T negativa indica que la pressió arterial mitjana després del tractament és significativament inferior a la mitjana de la població suposada abans del tractament.

Cas B : Nivell de colesterol en una població

Dades: Es pren una mostra de 25 individus i es mesuren els seus nivells de colesterol.

Nivells de colesterol (mg/dL): 205, 198, 210, 190, 215, 205, 200, 192, 198, 205, 198, 202, 208, 200, 205, 198, 205, 198, 205, 198, 205, 205, 198, 205, 198, 202, 208 205, 210, 192, 205.

Població mitjana = 200

Desviació estàndard de la població (σ): 5 mg/dL (donada per a aquest problema)

Pas 1: Definir la hipòtesi

  • Hipòtesi nul·la (H 0 ): El nivell mitjà de colesterol en una població és de 200 mg/dL.
  • Hipòtesi alternativa (H 1 ): El nivell mitjà de colesterol en una població és diferent de 200 mg/dL.

Pas 2: Definiu el nivell de significació

Com que no es dóna la direcció de la desviació, suposem una prova de dues cues i, basant-nos en una taula de distribució normal, els valors crítics per a un nivell de significació de 0,05 (de dues cues) es poden calcular mitjançant el taula z i són aproximadament -1,96 i 1,96.

Pas 3 : Calcula l'estadística de prova

L'estadística de prova es calcula mitjançant la fórmula z AMB = (203,8 - 200) / (5 div sqrt{25})i obtenim en conseqüència, AMB =2.0399999999999992.

Pas 4: Resultat

Com que el valor absolut de l'estadístic de prova (2,04) és més gran que el valor crític (1,96), rebutgem la hipòtesi nul·la. I conclou que, hi ha proves estadísticament significatives que el nivell mitjà de colesterol a la població és diferent de 200 mg/dL

Implementació Python de proves d'hipòtesis

Python 3

import> scipy.stats as stats> import> math> import> numpy as np> # Given data> sample_data>=> np.array(> >[>205>,>198>,>210>,>190>,>215>,>205>,>200>,>192>,>198>,>205>,>198>,>202>,>208>,>200>,>205>,>198>,>205>,>210>,>192>,>205>,>198>,>205>,>210>,>192>,>205>])> population_std_dev>=> 5> population_mean>=> 200> sample_size>=> len>(sample_data)> # Step 1: Define the Hypotheses> # Null Hypothesis (H0): The average cholesterol level in a population is 200 mg/dL.> # Alternate Hypothesis (H1): The average cholesterol level in a population is different from 200 mg/dL.> # Step 2: Define the Significance Level> alpha>=> 0.05> # Two-tailed test> # Critical values for a significance level of 0.05 (two-tailed)> critical_value_left>=> stats.norm.ppf(alpha>/>2>)> critical_value_right>=> ->critical_value_left> # Step 3: Compute the test statistic> sample_mean>=> sample_data.mean()> z_score>=> (sample_mean>-> population_mean)>/> > >(population_std_dev>/> math.sqrt(sample_size))> # Step 4: Result> # Check if the absolute value of the test statistic is greater than the critical values> if> abs>(z_score)>>max>(>abs>(critical_value_left),>abs>(critical_value_right)):> >print>(>'Reject the null hypothesis.'>)> >print>(>'There is statistically significant evidence that the average cholesterol level in the population is different from 200 mg/dL.'>)> else>:> >print>(>'Fail to reject the null hypothesis.'>)> >print>(>'There is not enough evidence to conclude that the average cholesterol level in the population is different from 200 mg/dL.'>)> 
>
>

Sortida: 

Reject the null hypothesis. There is statistically significant evidence that the average cholesterol level in the population is different from 200 mg/dL.>

Limitacions de la prova d'hipòtesis

  • Tot i que és una tècnica útil, la prova d'hipòtesis no ofereix una comprensió completa del tema que s'està estudiant. Sense reflectir completament la complexitat o el context complet dels fenòmens, es concentra en determinades hipòtesis i significació estadística.
  • La precisió dels resultats de la prova d'hipòtesis depèn de la qualitat de les dades disponibles i de l'adequació dels mètodes estadístics utilitzats. Les dades inexactes o les hipòtesis mal formulades poden portar a conclusions incorrectes.
  • Confiar únicament en la prova d'hipòtesis pot fer que els analistes passin per alt patrons o relacions importants a les dades que no es capten per les hipòtesis específiques que s'estan provant. Aquesta limitació subratlla la importància de complementar la prova d'hipòtesis amb altres enfocaments analítics.

Conclusió

Les proves d'hipòtesis són una pedra angular en l'anàlisi estadística, permetent als científics de dades navegar per les incerteses i extreure inferències creïbles a partir de dades de mostra. Definint sistemàticament hipòtesis nul·les i alternatives, escollint nivells de significació i aprofitant proves estadístiques, els investigadors poden avaluar la validesa de les seves hipòtesis. L'article també dilucida la distinció crítica entre els errors de tipus I i de tipus II, proporcionant una comprensió completa del procés de presa de decisions matisat inherent a la prova d'hipòtesis. L'exemple de la vida real de provar l'efecte d'un nou fàrmac sobre la pressió arterial mitjançant una prova T aparellada mostra l'aplicació pràctica d'aquests principis, subratllant la importància del rigor estadístic en la presa de decisions basada en dades.

Preguntes freqüents (FAQ)

1. Quins són els 3 tipus de test d'hipòtesi?

Hi ha tres tipus de proves d'hipòtesi: cua dreta, cua esquerra i dues cues. Les proves de cua dreta avaluen si un paràmetre és més gran, de cua esquerra si és menor. Les proves de dues cues comproven les diferències no direccionals, majors o menors.

2. Quins són els 4 components de la prova d'hipòtesis?

Hipòtesi nul · la ( Ho): No existeix cap efecte ni diferència.

Hipòtesi alternativa ( H_1): existeix un efecte o diferència.

Nivell de significació ( alpha): Risc de rebutjar la hipòtesi nul·la quan és certa (error de tipus I).

Estadística de prova: valor numèric que representa l'evidència observada contra la hipòtesi nul·la.

3.Què és la prova d'hipòtesis en ML?

Mètode estadístic per avaluar el rendiment i la validesa dels models d'aprenentatge automàtic. Comprova hipòtesis específiques sobre el comportament del model, com ara si les característiques influeixen en les prediccions o si un model es generalitza bé amb dades no vistes.

4.Quina diferència hi ha entre Pytest i la hipòtesi a Python?

Pytest té com a objectiu un marc de proves general per al codi Python, mentre que Hypothesis és un marc de proves basat en propietats per a Python, centrat a generar casos de prova basats en propietats especificades del codi.