Pri izvedbi testa pomembnosti oz preizkus hipotez, obstajata dve številki, ki ju je enostavno zamenjati. Te številke je enostavno zamenjati, ker sta obe številki med ničlo in eno in sta obe verjetnosti. Ena številka se imenuje p-vrednost testne statistike. Drugo število zanimanja je stopnja pomembnosti ali alfa. Preučili bomo ti dve verjetnosti in ugotovili razliko med njima.
Alfa vrednosti
Številka alfa je vrednost praga, ki ga merimo p-vrednosti proti. Pove nam, kako ekstremno opaženi rezultati morajo biti, da zavrnemo ničelno hipotezo preizkusa pomembnosti.
Vrednost alfe je povezana s stopnjo zaupanja našega testa. V nadaljevanju so navedene nekatere stopnje zaupanja in z njimi povezane vrednosti alfa:
- Za rezultate z 90-odstotno stopnjo zaupanja je vrednost alfa 1 - 0,90 = 0,10.
- Za rezultate s 95 odstotki raven zaupanja, vrednost alfa je 1 - 0,95 = 0,05.
- Za rezultate z 99-odstotno stopnjo zaupanja je vrednost alfa 1 - 0,99 = 0,01.
- In na splošno je za rezultate s stopnjo zaupanja C odstotka vrednost alfa 1 - C / 100.
Čeprav se v teoriji in praksi lahko za alfa uporablja veliko števil, se najpogosteje uporablja 0,05. Razlog za to je zato, ker soglasje kaže, da je ta raven v mnogih primerih ustrezna, zgodovinsko pa je bila sprejeta kot standard. Vendar pa obstaja veliko situacij, ko je treba uporabiti manjšo vrednost alfa. Ni ene same vrednosti alfa ki vedno določa statistično pomembnost.
Vrednost alfa nam daje verjetnost a napaka tipa I. Napake tipa I se pojavijo, ko zavrnemo nično hipotezo, ki je dejansko resnična. Tako na dolgi rok za test z a stopnja pomembnosti od 0,05 = 1/20, bo resnična ničelna hipoteza zavrnjena vsakih 20-krat.
P-vrednosti
Drugo število, ki je del preizkusa pomembnosti, je p-vrednost. P-vrednost je tudi verjetnost, vendar izvira iz drugega vira kot alfa. Vsaka testna statistika ima ustrezno verjetnost ali vrednost p. Ta vrednost je verjetnost, da se je opazovana statistika zgodila samo po naključju, ob predpostavki, da je nična hipoteza resnična.
Ker obstaja več različnih testnih statistik, obstaja več različnih načinov, kako najti p-vrednost. Za nekatere primere moramo vedeti porazdelitev verjetnosti prebivalstva.
P-vrednost testne statistike je način, kako povemo, kako ekstremna je ta statistika za naše vzorčne podatke. Manjša kot je p vrednost, bolj verjetno je opazovan vzorec.
Razlika med vrednostjo P in alfa
Da ugotovimo, ali je opaženi rezultat statistično pomemben, primerjamo vrednosti alfa in p-vrednost. Obstajata dve možnosti:
- Vrednost p je manjša ali enaka alfa. V tem primeru zavračamo nično hipotezo. Ko se to zgodi, pravimo, da je rezultat statistično pomemben. Z drugimi besedami, razumno smo prepričani, da je poleg naključja nekaj, kar nam je omogočilo opazovani vzorec.
- P-vrednost je večja od alfa. V tem primeru ne bomo zavrnili ničelna hipoteza. Ko se to zgodi, pravimo, da rezultat ni statistično pomemben. Z drugimi besedami, razumno smo prepričani, da lahko naše opažene podatke razložimo samo slučajno.
Posledica navedenega je, da manjša kot je vrednost alfa, težje je trditi, da je rezultat statistično pomemben. Po drugi strani, večja kot je vrednost alfa, lažje je trditi, da je rezultat statistično pomemben. V povezavi s tem pa je večja verjetnost, da lahko to, kar smo opazili, pripišemo naključju.