"차이는 있지만 괜찮아?" Paired t-test와 동등성 검증의 올바른 해석법 - Quality Insights

 

"p-value는 유의한데, 동등성 검증은 통과?" 통계 분석 결과가 서로 다른 이야기를 할 때, 무엇을 믿어야 할까요? 통계적 유의성과 실질적 유의성의 차이를 명확히 이해하고, 데이터 뒤에 숨겨진 진짜 의미를 파악하는 전문가의 시각을 알려드립니다.

품질 관리 현장에서 신규 협력사를 평가할 때, 우리는 종종 데이터의 바다에서 길을 잃곤 합니다. 특히 통계 분석 결과가 우리의 직관과 다른 이야기를 할 때 더욱 그렇죠. "분명 Paired t-test에서 p-value가 0.05보다 작아서 두 그룹 간에 유의미한 차이가 있다고 나왔는데, 왜 MSA 동등성 검증은 통과라는 거지?" 와 같은 상황, 경험해보신 적 없으신가요? 오늘은 바로 이 딜레마를 해결해 보고자 합니다. 규격 10.00±0.25인 샤프트 내경을 측정한 두 협력사의 데이터를 통해, 통계가 우리에게 던지는 메시지를 올바르게 해석하는 방법을 알아보겠습니다. 😊

통계적 유의성 vs 실질적 유의성: 무엇이 다를까요? 🤔

이 문제를 이해하기 위한 핵심은 '통계적 유의성(Statistical Significance)'과 '실질적 유의성(Practical Significance)'의 차이를 아는 것입니다.

• 통계적 유의성 (P-value 기준): 두 그룹 간의 '차이가 우연히 발생한 것인가?'를 판단합니다. P-value가 낮다는 것은 그 차이가 우연이 아닐 가능성이 높다는, 즉 시스템적인 차이(Bias)가 존재한다는 신호입니다.
• 실질적 유의성 (공차 기준): '그 차이가 우리 제품과 공정에 영향을 미칠 만큼 충분히 큰가?'를 판단합니다. 아무리 시스템적인 차이가 존재하더라도, 그 크기가 공차에 비해 무시할 수 있을 정도로 작다면 품질에 미치는 영향은 거의 없을 수 있습니다.

💡 핵심 포인트!
아주 작지만 매우 '일관된' 차이가 존재할 경우, Paired t-test의 p-value는 낮게 나올 수 있습니다. 하지만 그 차이의 '크기'가 공차 대비 매우 작다면 실질적으로는 문제가 되지 않을 수 있습니다. 이것이 바로 두 분석 결과가 다르게 나올 수 있는 이유입니다.

 

시나리오 데이터 분석: 차이는 있지만 괜찮아? 📊

이제 실제 데이터를 통해 이 상황을 살펴보겠습니다. 샤프트 내경(규격: 10.00, 공차: ±0.25) 샘플 15개를 기존 협력사(A)와 신규 협력사(B)에서 측정했으며, 신규 협력사(B)가 기존 협력사(A)보다 평균적으로 0.02만큼 높게 측정하지만, 그 차이의 변동은 매우 작다고 가정해 보겠습니다.

측정 데이터 예시 📝

샘플 번호	기존 협력사 (A)	신규 협력사 (B)	차이 (d = A-B)
1	10.05	10.07	-0.02
2	9.98	10.00	-0.02
3	10.10	10.11	-0.01
4	10.02	10.04	-0.02
5	9.95	9.98	-0.03
6	10.08	10.10	-0.02
7	10.01	10.02	-0.01
8	9.99	10.01	-0.02
9	10.12	10.14	-0.02
10	10.03	10.06	-0.03
11	9.97	9.98	-0.01
12	10.06	10.08	-0.02
13	10.00	10.02	-0.02
14	10.04	10.05	-0.01
15	10.01	10.03	-0.02

 

결과 해석: 두 가지 관점과 계산 공식 📈

이 데이터를 분석하면 다음과 같은 두 가지 핵심 결과를 얻게 됩니다. 각 분석에 사용된 주요 공식을 함께 살펴보겠습니다.

1. Paired t-test: 차이가 '있다'

P-value가 0.05보다 현저히 작으므로, 두 협력사 간의 측정값 차이는 통계적으로 매우 유의미합니다. 즉, 신규 협력사(B)는 기존 협력사(A)보다 시스템적으로 값을 높게 측정하는 경향(Bias)이 있다고 결론 내릴 수 있습니다.

계산 결과:

• T-Value: -11.33
• P-Value: 0.000

주요 공식:

$t = \frac{\bar{d}}{s_d / \sqrt{n}}$

($\bar{d}$: 차이값의 평균, $s_d$: 차이값의 표준편차, $n$: 샘플 수)

2. 동등성 검증: '동등하다'

측정값 차이의 95% 신뢰구간 폭(0.0071)은 판단 기준(0.125)보다 훨씬 작습니다. 따라서 두 측정 시스템은 실질적으로 동등하다고 판단할 수 있습니다.

계산 결과:

• 판단 기준 (공차의 25%): 0.125
• 신뢰구간의 폭: 0.0071

주요 공식:

$CI = \bar{d} \pm t_{\alpha/2, n-1} \frac{s_d}{\sqrt{n}}$

(CI Width = Upper CI - Lower CI)

Paired t-test 시각화: 유의하지만 작은 차이

그래프에서 차이값의 95% 신뢰구간(CI for Mean)이 0을 포함하지 않는 것을 볼 수 있습니다. 이는 두 그룹 간의 차이가 통계적으로 유의함을 명확히 보여줍니다. 하지만 동시에 신뢰구간의 폭이 매우 좁다는 점에 주목해야 합니다. 이는 그 차이가 매우 작고 일관되게 나타남을 의미합니다.

결론: 품질 전문가는 어떻게 판단해야 할까? 📝

이러한 상반된 결과 앞에서 우리는 두 가지 분석을 모두 고려하여 종합적인 결론을 내려야 합니다.

1. 시스템적 차이(Bias)의 존재 인정: p-value는 우리에게 두 시스템 간에 작지만 분명한 시스템적 차이가 존재함을 알려줍니다. 이 사실을 인지하고 있어야 합니다.
2. 실질적 영향 판단: 동등성 검증 결과는 이 시스템적 차이가 현재 제품의 공차 기준에서는 품질에 영향을 미칠 만큼 크지 않다는 것을 보여줍니다. 따라서 현재 공정에서는 신규 협력사의 측정 시스템을 '사용 가능'하다고 판단할 수 있습니다.
3. 미래를 위한 조치: 만약 향후 공정이 개선되어 제품의 공차가 현재보다 훨씬 더 정밀해진다면, 지금은 무시할 수 있었던 이 작은 차이가 문제가 될 수 있습니다. 따라서 이 Bias를 인지하고, 신규 협력사와 협의하여 측정 시스템을 교정(Calibration)하거나 장기적인 개선 계획을 수립하는 것이 현명한 조치일 것입니다.

결론적으로, 통계는 우리에게 현상을 보여줄 뿐, 최종적인 판단과 조치는 품질 전문가의 몫입니다. 통계적 유의성과 실질적 유의성을 모두 이해하고 종합적으로 판단할 때, 우리는 더 정확하고 현명한 품질 관리를 실현할 수 있습니다.