p Değeri Nedir, Nasıl Yorumlanır? Tip I/Tip II Hata, Güç ve Güven Aralığı

Tezlerde en çok yazılan ve en çok yanlış yorumlanan sayı p değeridir. "p < .05 çıktı, hipotezim kanıtlandı" cümlesi hem istatistiksel olarak yanlıştır hem de jürinin dikkatini hemen çeker. Bu yazıda p değerinin ne olduğunu, ne olmadığını ve sonuçları nasıl daha doğru raporlayacağınızı anlatıyoruz.

p değerinin tanımı

p değeri, sıfır hipotezi (H0) doğru olsaydı, en az gözlediğiniz kadar uç bir sonucu elde etme olasılığıdır.

Örneğin iki grubun ortalamalarını karşılaştırdınız ve p = .019 buldunuz. Bu şu anlama gelir: Gerçekte iki grup arasında hiç fark olmasaydı, yalnızca örneklem şansı yüzünden bu kadar ya da daha büyük bir fark görme olasılığı yaklaşık %1,9 olurdu. Bu olasılık, önceden belirlediğiniz anlamlılık düzeyinden (genellikle α = .05) küçük olduğu için H0'ı reddedersiniz.

p değeri ne DEĞİLDİR?

Amerikan İstatistik Derneği'nin p değerleri üzerine yayımladığı bildirge (Wasserstein ve Lazar, 2016), sık yapılan yanlış yorumları açıkça listeler. Bunlardan en önemlileri:

Yanlış yorum	Doğrusu
"p = .019, H0'ın doğru olma olasılığı %1,9."	p, H0'ın doğru olma olasılığı değildir; H0 doğru varsayıldığında verinin ne kadar şaşırtıcı olduğunu gösterir.
"p < .05, hipotezim kanıtlandı."	Tek bir test hiçbir hipotezi kanıtlamaz; H0'ın veriyle uyumsuz olduğuna dair kanıt sunar.
"p çok küçük, etki çok büyük."	p hem etkinin büyüklüğüne hem örneklem büyüklüğüne bağlıdır. Büyük örneklemde önemsiz bir fark bile çok küçük p verebilir.
"p > .05, iki grup arasında fark yok."	Anlamsız sonuç, farkın olmadığını kanıtlamaz; farkı yakalayacak kadar kanıt olmadığını gösterir (düşük güç olabilir).
"p = .051 başarısız, p = .049 başarılı."	.05 bir uzlaşı eşiğidir, doğal bir sınır değildir. İki sonuç arasındaki kanıt farkı çok küçüktür.

Tip I ve Tip II hata

Bir hipotez testinde iki tür hata yapılabilir:

	H0 gerçekte doğru	H0 gerçekte yanlış
H0 reddedildi	Tip I hata (yanlış pozitif), olasılığı α	Doğru karar, olasılığı 1 − β (güç)
H0 reddedilmedi	Doğru karar	Tip II hata (yanlış negatif), olasılığı β

α (anlamlılık düzeyi): Tip I hata olasılığına koyduğunuz üst sınır; sosyal bilimlerde genellikle .05.
β: Gerçekte var olan bir etkiyi kaçırma olasılığı.
Güç (1 − β): Var olan bir etkiyi yakalama olasılığı; genellikle en az .80 hedeflenir.

Güç; etki büyüklüğü, örneklem büyüklüğü ve α'ya bağlıdır. Çalışmanızın yeterli güce sahip olup olmadığını veri toplamadan önce güç analiziyle hesaplamak, anlamsız bir sonucun "örneklem küçüktü" diye açıklanmasının önüne geçer.

Çoklu karşılaştırma sorunu

Aynı veri üzerinde çok sayıda test yaptığınızda, en az birinin yalnızca şans eseri anlamlı çıkma olasılığı artar. Birbirinden bağımsız üç test için bu olasılık yaklaşık %14'tür (1 − 0,95³). Bu yüzden üç grubu ikişer ikişer t-testiyle değil ANOVA ve post hoc testlerle karşılaştırırız.

Güven aralığı

%95 güven aralığı (GA), tahmin ettiğiniz değerin (ortalama farkı, korelasyon, odds oranı) olası değer aralığını gösterir. Doğru yorumu şudur: aynı çalışma çok kez tekrarlansa ve her seferinde bu yöntemle aralık hesaplansa, bu aralıkların yaklaşık %95'i gerçek değeri kapsardı.

Güven aralığı p değerinden daha fazla bilgi verir:

Aralık sıfırı (fark için) veya 1'i (oran için) içermiyorsa, sonuç α = .05 düzeyinde anlamlıdır.
Aralığın genişliği tahminin kesinliğini gösterir; geniş aralık küçük örneklem veya yüksek değişkenlik demektir.
Aralık, etkinin pratik olarak önemli olup olmadığını da gösterir: [0.02, 0.95] gibi bir aralık "etki çok küçük de olabilir, büyük de" demektir.

Nasıl raporlanmalı?

APA 7'ye göre iyi bir raporlama şu dört öğeyi birlikte verir: test istatistiği, serbestlik derecesi, kesin p değeri ve etki büyüklüğü (mümkünse güven aralığıyla).

Deney grubunun başarı puanları kontrol grubundan anlamlı düzeyde yüksektir, t(58) = 2.41, p = .019, d = 0.62, %95 GA [0.10, 1.14].

Kurallar:

p değerini kesin olarak yazın (p = .019); yalnızca .001'in altındaysa p < .001 yazın. "p < .05" ya da "anlamlı" demek yetmez.
p değerinin başına sıfır koymayın (p = .019), çünkü p 1'den büyük olamaz.
Etki büyüklüğünü mutlaka ekleyin; elinizdeki istatistikten hesaplamak için etki büyüklüğü hesaplayıcısını kullanabilirsiniz.
"Anlamlı" kelimesini istatistiksel anlamlılık için kullanın; pratik önem için etki büyüklüğünü yorumlayın.

Her test için ayrı raporlama örnekleri istatistik testleri rehberinde yer alıyor.

Tartışma bölümünde p değeri

Anlamlı bir sonucu "kanıtlandı" yerine "desteklendi" ya da "anlamlı bir fark/ilişki bulundu" diye yazın.
Anlamsız bir sonucu "fark yok" yerine "anlamlı bir fark bulunamadı" diye yazın ve etki büyüklüğü ile gücü tartışın.
Kesitsel çalışmalarda anlamlı bir ilişkiyi nedensellik olarak yorumlamayın. Ayrıntılar için tartışma bölümü rehberine bakın.