-> 현대의학
심리학 분야 엉터리연구 너무 많다
구효정(cancerline@daum.net) 기자 입력 2016년 03월 21일 13:59분11,447 읽음
심리학 관련 연구 36%만 재현 가능해
재현 가능한 경우도 연구결과 영향력 발표한 것의 50%밖에 되지 않아
각종 심리학 연구 전문잡지에 실린 논문을 통해 주장하는 내용들을 수십 개 조사해본 결과 암울한 결과가 나왔다.

국제적인 전문가로 구성된 연구진이 최고의 심리학 전문잡지들을 통해 발표된 100건의 실험을 재현해보았는데 36%만 재현할 수 있는 것을 발견한 것이다. 이번 연구는 전 세계 5대륙에서 270명의 과학자들이 실험을 재현해보는 것으로 심리학 연구의 신빙성에 대한 우려가 증가하고 있는데 대응해서 미국에서 심리학자들이 이 프로젝트를 개시했다.

버지니아 대학교에서 이번 연구를 주도한 심리학 교수인 브라이언 노세크는 자신은 좀 더 많은 실험이 재현 가능했을 것을 바라고 있었고, 우리가 좀 더 잘 할 수 있다고 생각하고 있어서 실망했다고 말했다. 일반 독자들이 주의해야 할 것은 어떤 연구든지 최종적인 것은 아니라는 점으로, 과학은 불확실성을 줄여가는 과정으로 어떤 연구도 최종적인 결과는 아니라고 그는 부언했다.

이번 조사에 참여한 과학자들이 재현을 시도한 모든 실험은 2008년도에 최고의 전문잡지들에 게재된 것으로 크게 2가지 부문 즉 인지심리학과 사회심리학에 속하는 것들이었다. 인지심리학은 마음의 기본적인 작용에 관심을 갖고 있어서 지각이나 주의력이나 기억과 같은 분야를 연구한다. 사회심리학은 자부심이나 주체성이나 편견이나 사람들의 상호작용 같은 더 사회적인 문제들을 연구한다.

이번 조사에서 사회심리학 분야의 실험 중 75%가 재현할 수가 없었는데 이는 다른 과학자들이 실험을 반복해보면 애초에 발견했다고 주장하던 연구결과가 허탕인 것을 의미하는 것이다. 인지심리학 분야에서는 50%가 재현할 수 없었다. 이에 관한 자세한 내용은 사이언스 잡지에 게재되었다.

심리학자 실험 시작전 논제와 연구방법 미리 제출, 검토 받는 방안 추진
심지어 과학자들이 원래의 연구결과를 재현할 수 있었던 경우에도 그 연구결과의 영향력은 처음에 발표한 연구결과에 비해 평균적으로 50%밖에 되지 않는 것으로 드러났다. 그 이유는 논문을 작성한 과학자들이 자신들의 가설을 훼손하는 자료는 빼버렸고 또 전문잡지들은 가장 강하게 주장하는 것만 채택해서 출간하기 때문이다.

이런 암울한 조사 결과에도 불구하고 노세크는 이 조사 결과가 문제를 이해하고 시정할 수 있는 기회가 된다고 말했다. 회의론이 과학의 핵심적인 부분으로 우리는 그것을 받아들일 필요가 있다고 그는 부언했다. 만약 증거가 모호하다면 증거를 의심해야만 하고, 우리는 우리 자신을 비판해야만 한다고 그는 말했다. 심리학자들이 실험을 시작하기 전에 그들의 연구 논제와 연구방법을 미리 제출해서 면밀한 검토를 받도록 요구하는 방안이 현재 추진되고 있다.

스탠퍼드 대학교의 건강 연구정책 교수인 존 이오아니디스는 이번 조사가 인상적이고 과학계는 그 조사 결과를 간절히 기다리고 있었다고 말했다. 슬프게도 관련분야의 최고 전문잡지들에 실린 논문들조차도 64%가 낙제점을 받은 조사 결과는 심리학 전반의 현 상황이 별로 좋지 않고 사회심리학 같은 분야에 있어서는 재난이라고 그는 부언했다.

그러나 그는 사람들이 긍정적인 점에 초점을 맞추도록 촉구했다. 그는 심리학과 이전에 재현에 관한 유사한 문제가 드러난 과학계 전반에 걸쳐 연구 관행이 개선되기를 희망하고 있다. 2005년도에 이오아니디스는 발표된 연구결과 대부분이 왜 그릇된 것인지를 설명한 독창적인 연구를 발표했다.

이번 조사 연구에 참여한 브리스톨 대학교 심리학 교수인 마커스 무나포는 사람들이 살펴본 곳에서 유사한 이슈를 발견하기 때문에 심리학 전반에 걸쳐 문제가 있는 것으로 생각하고 있다고 말했다. 그는 2013년에 이오아니디스와 함께 신경과학 연구에 심각한 통계학적 결함이 있는 것을 발견한 보고서를 발표했다.

노세크의 연구는 심리학자들의 사기를 높이지는 못할 것이지만 그 조사 결과가 과학이 어떻게 작동하는지를 반영하고 있다. 세계가 어떻게 작동하는지를 이해하기 위해 과학자들은 중요한 문제를 제기하고 그런 문제의 해답을 얻기 위한 모험을 하게 된다. 만약 과학자들이 자기만족에 빠져있지 않으면 실수는 피할 수가 없다.

심리학협회의 앨런 크라우트는 언제든지 100% 재현될 수 있는 연구결과는 진부하고 따분하고 아마도 이미 알고 있는 것일 가능성이 높다고 말하고 있다. 연구결과가 재현되지 않을 수 있는 이유는 많다. 과학자들이 2번째는 약간 다른 방법을 사용할 수 있고 혹은 다른 상황에서 실험을 실시할 수도 있다. 원래 연구결과가 우연히 재현되지 않을 수도 있다. 이런 경우에는 원래의 연구결과가 부정될 수가 없을 것이다. 또 다른 가능성은 원래 연구결과가 거짓 양성일 수가 있다.

검증을 통과한 실험 중에는 상이한 문화를 가진 사람들이 얼굴에 나타나는 자부심을 인지하는 데 똑같이 능한 것을 발견한 실험이 있다. 또 다른 실험은 사람들이 금융게임에서 적정한 제안을 받으면 뇌의 일부가 활성화되는 것을 발견한 실험을 재확인했다. 재현에 실패한 어떤 실험은 사람들이 자유 의지 같은 것은 없다고 믿도록 독려하는 것은 그들이 더 많이 속임수를 쓰도록 만들게 될 것이라고 주장했다.

무나포는 재현이 잘 되지 않는 문제는 현대 과학이 작동하는 방법에 의해 악화되었다고 말했다. 그는 다음과 같이 설명했다. “만약 내가 승진을 하거나 연구비를 타내려고 한다면 많은 논문을 써야만 한다. 그러나 많은 논문을 쓰고 많은 작은 실험들을 하는 것이 진짜로 확실한 올바른 해답을 얻는 방법은 아니다. 학계에서 성공하기 위해 필요한 것이 반드시 좋은 과학자가 되기 위해 필요한 것과 부합하는 것은 아니다.”

이유가 어떠하든지 간에 엉터리 연구나 과장된 연구가 만연하고 있다면 그건 더 이상 과학으로 보기 힘들다. 게다가 그 분야의 과학자들이 잘못된 점에 대해 진지한 반성을 하지 않고 구차한 변명만 내세우면서 문제를 호도하는 데 급급한 듯해서 매우 실망스럽다.

출처:
(1) Open Science Collaboration (A. A. Aarts 외 269명) "PSYCHOLOGY. Estimating the reproducibility of psychological science" Science. 2015 Aug 28;349(6251)
(2) J. P. Ioannidis et al., "Publication and other reporting biases in cognitive sciences: detection, prevalence, and prevention" Trends Cogn Sci. 2014 May;18(5):235-41.
(3) J. P. Ioannidis "Why most published research findings are fals" PLoS Med. 2005 Aug;2(8):e124.
(4) The Guardiian, August 27, 2015
월간암(癌) 2016년 2월호
추천 컨텐츠
    - 월간암 광고문의 -
    EMAIL: sarang@cancerline.co.kr
    HP: 010-3476-1606