피해킹(P-hacking)의 의미와 뜻에 대하여

안녕하세용,,, 끄적이잉입니당,,ㅎㅎ

​

오늘은 피해킹(P-hacking)에 대해 알아보려고 합니당,,

피해킹은 자주 들어보던 용어는 아닌데용,,

용어만 들어봤을 땐 무시무시한 의미를 가지고 있을 것만 같은데,,

과연 실제로도 그럴지 한 번 알아보도록 하겠습니당,,ㅎㅎ

​

그럼 바로 피해킹(P-hacking)의 의미와 뜻에 대하여 알아보도록 하겠습니당,,ㅎㅎ

​

#. 피해킹(P-hacking)이 뭔데??

우선 어려운 용어고 낯설다보니 쉬운 예시로 쉽게 한 번 알아보도록 하겠습니다,,

​

친구랑 축구 시합을 한다고 하는데요,,

축구 시합에서 골대는 당연하게도 고정된 위치에 정해져있어야 하는데용,,

제가 축구 시합에서 슛을 했는데,,

공이 골대를 옆으로 벗어나버렸습니다,,

​

그 이후에 제가 달려가서 원래 어제는 여기가 골대였었다고 골대를 슬쩍 옆으로 옮겨버립니다,,

그 다음에 골인이라고 주장하는거죠,,

​

이것을 쉽게 말해서 피해킹(P-hacking)이라고 합니다,,

​

​

과학자들은 실험을 할 때 이 결과가 진짜일 확률을 계산하는데요,,

이 기준을 P-value(P값)라고 하는데요,,

이 숫자가 아주 작아야(보통은 0.05미만)지만 이 실험이 성공했다고 인정받을 수 있습니다,,

​

즉 하나의 가정을 두고 실험을 한 뒤에 그 확률이 기준값인 P-value 즉 0.05보다 작아야지만,,

이 실험이 운으로 성공한게 아니라 진짜 의미가 있다고 보는 것이죠,,

​

하지만 어떤 실험을 했는데 결과가 잘 나오지 않자 한 과학자가 포기하지 않고 꼼수를 써서 성공한 것처럼 보이게 하는 것이죠,,

이것을 피해킹이라고 하는데요,,

​

내가 원하는 결과에 방해되는 결과들을 슬쩍 빼버리기도 하고,,

원래 10명만 하려고 하는데 결과가 안나오니까 결과가 나올 때까지 20명, 100명으로 표본을 늘려버리기도 하고,,

원래는 사과는 키를 크게 하는 것을 실험했었는데 안 나오니까 그냥 사과가 잠이 들게 하는가?로 질문을 바꿔서 결과가 잘 나온 것처럼 꼼수를 쓰는 겁니다,,

​

이렇게 우연히 일어난 일을 마치 대단한 발견인 것처럼 꾸미는 것을 피해킹(P-hacking)이라고 합니다,,

원하는 결과를 억지로 만들기 위해 데이터를 이리저리 만지는 숫자놀이를 말하는 것이죠,,

​

​

#. 되게 안 좋은 거였구나,,, 좀 더 자세하게 알 수 있을까?

 

P-hacking은 다른 말로는 데이터 준설(Data Dredging)이나 결과 편향적 선택이라고 불리기도 하는데요,,

연구자가 의도적이든 무의식적이든 통계적으로 유의미한 결과(p < 0.05)를 얻을 때까지 분석과정을 반복하거나 조작하는 행위를 말합니다,,

​

P-hacking에는 주요 수법들이 있는데요,,

연구 현장에서 흔히 발생하기도 한다는 의심스러운 연구관행(Questionable Research Practices, QRPs)들은 몇가지가 있습니다,,

​

• 변수 선택 편향 (Selective Outcome Reporting): 여러 종속 변수를 측정하고, 그중 통계적으로 유의미하게 나온 결과만 선택하여 보고합니다.

​

• 데이터 스톱핑 (Data Peeking/Optional Stopping): 데이터를 수집하는 중간에 계속 통계 분석을 돌려보고, $p < 0.05$가 나오는 순간 수집을 중단합니다. 이는 1종 오류(False Positive) 발생 확률을 급격히 높입니다.

​

• 공변량 조절 (Covariate Fishing): 결과가 나올 때까지 성별, 나이, 지역 등 다양한 통계적 통제 변수를 넣었다 뺐다 하며 모델을 수정합니다.

​

• 이상치 제거 (Outlier Exclusion): 이론적 근거 없이 결과에 방해가 되는 극단값(Outliers)을 임의로 삭제하여 유의성을 확보합니다.

​

• HARKing (Hypothesizing After the Results are Known): 데이터를 분석해서 나온 결과를 보고, 마치 처음부터 그것을 예상했던 것처럼 가설을 사후에 설정하는 행위입니다.

​

P-hacking의 가장 큰 문제점은 재현성(Reproducibility)을 파괴한다는 점인데요,,

​

만약 유의수준이 0.05일때 20번의 독립적인 분석을 반복하면 그 중 적어도 하나가 우연히 유의미하게 나올 확률은 64%까지 치솟게 됩니다,,

이렇게 만들어진 결과는 실제 진실이 아니기 때문에 다른 연구자가 똑같은 실험을 해도 당연히 같은 결과가 나오지 않게 되고,,

이는 과학계 전체의 신뢰도를 떨어뜨리게 되는 재현성 위기의 주범이 되기도 합니다,,

​

그래서 P-hacking을 예방하기 위해 몇 가지 시스템을 도입하고 있는데요,,

​

해결책	설명
사전 등록 (Preregistration)	데이터를 모으기 전, 연구 가설과 분석 계획을 미리 공적인 플랫폼에 등록하여 사후 조작을 방지함.
Registered Reports	연구 결과가 나오기 전, 연구 설계 단계에서 이미 심사를 마쳐 게재 여부를 결정하는 제도.
데이터 공유 (Open Data)	다른 연구자가 직접 재분석할 수 있도록 원본 데이터와 분석 코드를 공개함.
P-curve 분석	발표된 논문들의 P-value 분포를 확인하여 인위적인 조작 흔적이 있는지 통계적으로 검증함.

​

#. 오.. 근데 계속 나오는 P-value..? 이건 그렇게 중요한건가??

P-hacking을 설명할 때 성공의 기준으로 여겨지는 값이 바로,, P-value(유의확률)인데요,,

P-value는 쉽게 말해서 내가 발견한 이 결과가 단순히 운(우연)일 확률이 얼마나 되는가?를 숫자로 나타낸 것입니다,,

​

통계학에서 P-value는 귀무가설(H0, 효과가 없다는 가설)이 참이라고 가정했을 때,,

우리가 관측한 데이터가 얻어질 확률을 의미합니다,,

​

• 귀무가설(H0) : 차이가 없다, 효과가 없다, 우연일 뿐이다
• 대립가설(H1) : 차이가 있다, 효과가 있다, 우연이 아니다

​

P-value는 보통 0과 1사이의 값을 가지게 되구요,,

일반적으로 학계에서는 0.05(5%)를 기준으로 삼게 됩니다,,

 

P-value 범위	해석 (의미)	결론
P < 0.05	우연히 이런 결과가 나올 확률이 5%보다 작음.	통계적으로 유의미함 (귀무가설 기각)
P >= 0.05	우연히 일어났을 가능성이 충분히 있음.	통계적으로 유의미하지 않음 (귀무가설 채택)

예시를 살짝 들어보면,,

A약이 감기에 효과가 있다는 실험을 했다고 가정해보겠습니다,,

그럴 때 P-value가 0.01(1%)라는 값이 나왔습니다,,

그렇다면,,

약 효과가 없는데도 우연히 환자가 약을 먹고 감기가 나을 확률이 1%밖에 안된다는 의미이므로,,

이 약은 진짜 효과가 있다고 볼 수 있는 것입니다,,

​

P-value는 단순히 결과값만 보는 것은 아니구요,,

여러가지 요소가 복합적으로 결정하게 됩니다,,

​

여러 그룹 간의 차이가 얼마나 큰지??

얼마나 많은 데이터(표본의 크기가 얼마나 큰지??)를 조사했는지??

데이터들이 얼마나 변동성이 큰지??

​

그렇기 때문에 P-value가 작으면 효과가 엄청나게 크다고 볼 수도 없습니다,,

P-value는 단지 우연이 아닐 확률이지 효과의 크기를 나타내는 것은 아니기 때문이죠,,

다르게 말해서 표본의 크기를 엄청나게 늘리면 P-value는 작아질 수 있습니다,,

​

또한, P-value가 5%보다 크다고 해서 효과가 아예 없는 것도 아닙니다,,

효과가 있는 가설임에도 불구하고 실험 설계나 데이터 부족으로 잡아내지 못한 것일 수도 있기 때문입니다,,

​

​

즉, P-value는 과학적 결론을 내리기 위한 최소한의 안전장치라고 할 수 있는데요,,

여러가지 실험을 구성하는 설계적인 부분이나 조건들에 대한 고민이나 생각보다는 단지 P-value의 숫자 하나에만 매몰되게 된다면 P-hacking의 유혹에 빠지기 쉽습니다,,

​

그래서 현대 통계학에서는 P-value뿐만 아니라 신뢰구간(Confidence Interval)이나 효과 크기(Effect Size)를 함께 보는 것을 권장하기도 한다고 하네요,,

​

​

여기서 질문!!

​

왜 이렇게 연구자들은 p < 0.05에 집착하고 왜 기준을 0.05라고 잡았을까?

​

우선 통계적 가설 검증에서 P-value는 귀무가설(효과가 없다는 가설)이 참이라는 전제하에 관측된 결과 이상의 극단적인 값이 나타날 확률을 의미하게 됩니다,,

​

보통 학계에서는 이 확률이 5%(0.05)미만일 때 우연히 일어난 일이 아니다라고 판단하고,,

학술지에 게시하거나 가정했던 이론이 사실이라고 인정할 가치가 있다고 보는 것이죠,,

​

P-hacking은 이 5%라는 기준선을 넘기 위해 통계모델을 가공하는 모든 행위를 포함하고,,

의도적이든 무의식적이든 중요하지 않습니다,,

이 5%(0.05)라는 기준은 사실 절대적인 진리는 아니구요,,

일종의 역사적인 약속이라고 보시면 되는데요,,

절대적인 법칙이 아니라 우연과 실제를 구분하기 위해 인류가 정한 사회적 합의정도라고 생각하면 될 것 같습니다,,

처음에는 현대 통계학의 아버지라 불리는 로널드 피셔가 1925년에 쓴 저서 '연구자를 위한 통계적 방법(Statistical Methods for Research Workers)'에서 이 수치를 처음으로 제안했습니다,,

당시 로널드 피셔는 어떤 사건이 일어날 확률이 20번 중에 1번보다 작다면 그것은 우연이라고 보기엔 너무 드문일이라고 언급했구요,,

이후 이 기준이 교과서와 학술지에 실리게 되면서 전세계 과학자들이 0.05정도면 운이 아니라 실제 사실에 가깝다고 보면서 관습적으로 이 기준을 받아들이게 된 것입니다,,

​

이외에도 통계학에서는 실제로 효과가 없는데 효과가 있다고 잘못 결론 내리는 실수를 제1종오류라고 하는데요,,

우리는 틀린 결론을 내릴 위험을 최대 5%까지 감수하겠다는 의미도 되죠,,

만약 이 기준을 10%로 높이면 가짜 발견이 너무 많아질테고,,

0.1%로 너무 낮추면 진짜 중요한 발견도 놓칠 수 있는 가능성이 커지기에,,

그 사이에서 타협한 적절한 균형점이라고 볼 수도 있습니다,,

​

또한 수학적으로도 데이터가 정규분포를 따른다고 가정할 때 평균에서 양쪽으로 표준편차의 약 2배만큼 떨어진 지점 밖의 영역이 전체의 약 5% 정도 해당되는데요,,

평균적인 모습에서 2배 표준편차 이상 벗어난 아주 특이한 데이터들만 의미가 있다고 보겠다는 수학적 정당성이 부여된 수치이기도 합니다,,

​