통계 한 장 설명 · McNemar test틀렸다가 맞힌 문제,
맞혔다가 틀린 문제.
맥니마 검정은 같은 문제를 두 조건에서 풀었을 때,
답이 바뀌는 두 방향이 균형적인지 확인합니다.
예를 들어, 같은 100문제를 두 번 풀면
조건 A와 B에서 각 문제의 정답 여부를 짝지어 봅니다. 아래 숫자는 설명용 가상 예시입니다.
| A → B | 문제 수 |
|---|
| 정답 → 정답 | 60 |
| 오답 → 오답 | 20 |
| 오답 → 정답 | 15 |
| 정답 → 오답 | 5 |
검정이 주목하는 건 이 20문제입니다
두 조건의 정답률이 같다면, 바뀐 답은 두 방향으로 비슷하게 나올 것으로 기대합니다. 15 대 5처럼 한쪽으로 치우친 정도가 우연한 흔들림으로 설명될 만한지 계산하는 것입니다.
이 예시의 양측 정확 검정 p값은 약 0.041입니다. 두 방향이 똑같이 나올 수 있다는 가정 아래, 이만큼 또는 더 치우친 결과가 나올 확률입니다.
p값이 크면 “차이가 없다”는 뜻일까요?
차이가 있다고 판단할 근거가 충분하지 않다는 뜻입니다. 두 조건이 같다는 증명은 아닙니다. 바뀐 문제 수가 적어서 차이를 잡아내기 어려울 수도 있습니다.
그래서 정답률 차이와 함께, 몇 문제가 좋아지고 몇 문제가 나빠졌는지를 살펴봅니다.