Introductory statistics with R: chapter 9

---

* Power and computation of sample size

이번 챕터에서는 test의 특성에 따라 필요한 sample size와 검정력을 계산하는 방법을 배운다.

 

* The principles of power calculations

먼저 1, 2종 오류에 대해서 알아야 한다.

영가설이 사실인데 기각되었다: P( H1 | H0), type I error (1종 오류), alpha

영가설이 거짓인데 채택되었다: P ( H0 | H1), type II error (2종 오류), beta

    1-beta는 틀린 가설을 기각하는 힘, 바로 power of the test (검정력)이 된다.

여기서 1종오류의 확률이 바로 significance level, alpha가 된다. 그리고 틀린 가설을 거절하는 가능성을 해당 검정의 검정력(power of the test)이라고 한다.

위 그림을 보면, 만약 H1과 H0의 평균 차이가 매우 작다면 type II error 의 확률이 매우 커진다. 즉, 실제로 유의미한 차이가 있더라도 매우 작다면 그 차이를 구분해내기 어렵다는 의미이다. 이를 두고 일부 통계학자들은 "no difference"를 증명할 수는 없고, 항상 차이를 증명하는 것에 실패할 뿐이라고 주장하기도 한다.

 

* Power of one-sample and paired t tests

One-sample 이나 paired t-test는 원리가 동일하다. 하나의 값이 내가 가정한 값과 같은지를 보는 것이다. 이 때, null hypothesis와 alternate hypothesis를 가정하게 된다. Non-central distribution이란, null hypothesis가 잘못된 경우, 즉 alternative hypothesis가 따르는 분포를 의미한다. 이 때, 이 새로운 중심값 / 즉, true difference between the means of null and alternative hypothetic distribution  /을 delta라고 할 수 있다.

Noncentrality parameter (비중심성 모수)는 이 delta를 sigma/sqrt(n), 즉 standard error of mean (평균의 표준오차값)으로 나눠준 값으로 정의된다.

Noncentrality parameter는 복잡하게 계산되지만, R에서 간단히 ncp argument를 설정함으로써 적용할 수 있다.

 

이전 post(insb.tistory.com/15?category=967351)를 보면, 4개의 통계 기본분포함수에 대해 나온다. d-function은 density를, p-function은 누적확률분포를, q-function은 quantile, 즉 특정 확률 분포지점의 X값을 반환해준다. 

 

t distribution은 자유도에 의해 결정되므로, t-분포에 관련된 function(dt,pt,qt,rt)들은 모두 확률과 df를 입력해줘야 값이 출력된다.

curve() 함수를 이용해 p-function of t (즉, t-distribution의 확률누적분포함수)를 그렸다. NCP=3으로 설정.

abline()을 이용, vertical line을 q-function(즉, df 25의 t분포에서 97.5%에 해당되는 지점의 T값을 반환)을 그렸다.

만나는 지점의 누적확률값을 아래와 같이 계산할 수도 있다.

즉, 누적확률이 0.178이므로 power는 대략 1-0.178 = 0.822 가 될 것이다.

 

** 보통 power of analysis는 beta =0.8 or 0.9 정도가 일반적이다.

 

Power of analysis는 다음 네 가지의 영향을 받는다: delta, sigma, n, alpha

    v = delta / (sigma/sqrt(n))의 세 요소와, cutoff line을 결정해주는 alpha값에 영향을 받는다.

위의 네 가지 요소 중, 나머지 세 요소 및 원하는 power of the test가 결정되면 필요한 n값이 결정될 수 있다. 이런 방식으로 sample size를 결정하게 되는 것이다. 

** delta 값은 MIREDIF(minimal relevant difference), 혹은 SMD(smallest meaningful difference"라고도 한다.

 

마찬가지의 방법으로, sigma / n / alpha가 주어지면, 어느 정도의 차이까지 감지할 수 있는가 (delta)를 계산할 수 있다.

 

 

* Power of two-sample t-test

기본적인 과정은 one-sample t-test와 동일하며, v는 아래와 같이 정의된다.

일반적으로 등분산을 가정하므로 Welch procedure는 고려하지 않음. 그리고 보통 동일한 size의 n을 가정해서 적절한 total number를 계산하는 식으로 많이 이용한다.

 

* Approximate methods

손으로 n값을 계산해야 되는 경우, 다음과 같은 과정으로 쉬운 식을 만들 수 있다: 모집단의 SD를 알고 있다.

즉, t 분포가 정규분포로 바뀌게 되며 아래와 같이 n을 계산할 수 있음. delta는 집단 간 차이, sigma는 표본표준편차이나 모집단의 sd와 같다고 가정함. 긔고 pi는 정규분포의 quarantile을 의미함. 즉, alpha=0.05, beta=0.90으로 하고싶다면 각가에 해당하는 정규분포의 확률변수값을 찾아서 넣는다.

단점은, df < 20 미만에서.. 즉, n수가 작다면 정확성이 떨어진다.

 

* Power of comparisons of proportions

두 집단 내 morbidity 발생 비율을 비교하고 싶다면, 이는 이항분포를 따를 것이다.

이런 이항분포의 비교의 경우, power calculation은 다루기 힘들어지므로 이항분포가 정규분포로 근사된다고 생각하고 계산을 한다. (이항분포는 n이 충분히 큰 경우, N(np, npq)를 따른다)

두 집단의 크기는 동일하다고 가정할 때, n은 아래와 같이 주어진다.

 

* Two-sample problems

power.t.test()함수를 이용해 간단히 two-sample t test에 필요한 n을 계산할 수 있다. 이 함수는 power를 결정하는 요인 5가지 (power, significance level, delta, sd, n) 중 4개를 넣으면 나머지 1개를 계산해주는 식으로 사용한다.

 

 

이번에는 n, delta, sigma, alpha를 입력하면 power가 계산된다.

alternative arg를 이용해 one-side test를, type을 이용해 one-sample problem에 적용할 수 있다.

 

* One-sample problems and paired tests

power.t.test() arg에 type="one.sample"을 넣는 경우, one-sample 문제를 구할 수 있다. 마찬가지로, "paired"를 넣으면 paired test를 할 수 있다.

 

주의할 점은, "개체 내 표준편차(sd within persons)"가 주어진다면 sqrt(2)를 곱해야 sd of difference가 구해진다는 점이다. 따라서 sd within persons가 10으로 제시된 경우 아래와 같이 입력한다.

* Comparison of proportions

비율의 비교를 위한 sample size를 계산하는 경우, power.prop.test()를 사용한다. (앞에서까지의 예시는 모두 평균값의 차이를 비교하는 경우였다) 그리고 앞서 chi-square test를 했을 때와 마찬가지로, 한 셀의 빈도가 5 이하로 내려가는 경우에는 통계를 믿을 수 없다.

 

power.prop.test()의 사용 방법은 power.t.test()와 동일하다: 단, delta와 sd가 hypothesized probabilities in the two groups, p1 & p2로 바뀔 뿐. 즉, p1/p2/power/n/alpha 중 4값을 입력하면 나머지 하나가 계산되는 구조이다.

 

만약 니코틴 껌을 씹는 사람, 씹지 않는 사람 두 그룹에서 금연 성공률을 비교하는 연구를 디자인 하는 경우를 생각해보면, p1=0.15, p2=0.3 으로 가정(보통 pilot study를 시행하고 그 결과를 보고 계산할듯)하고 power=0.85, alpha=0.05로 정하는 경우, 아래와 같이 n수를 계산할 수 있다.

즉, 각 그룹에 138명을 enroll하는 경우 원하는 power를 얻을 수 있다.