재현되지 않는 흥미로운 논문이 재현되는 논문보다 153배 더 인용
샌디에이고 대학교 경영학 대학이 실시한 최근의 연구에 의하면 주요한 심리학, 경제학, 과학 학술지들에 게재되는 논문들 중에서 재현이 되지 않고 그래서 진실일 가능성이 적은 논문들이 학술적인 연구에서 가장 자주 인용이 되고 있다고 한다.

이 연구는 - 연구가들이 사회과학이나 의학의 분야에서 연구한 많은 결과가 다른 연구가들이 그 실험들을 반복해보려고 시도하면 제대로 이루어지지 않는 - 고질적인 재현 위기를 조사했다.

이 논문은 실험을 반복했을 때 입증이 될 수 없는 연구들의 결과가 장기적으로는 더 큰 영향을 미치는 것을 발견했다. 신뢰할 수 없는 연구가 재현이 되지 않는데도 마치 그 연구 결과가 진실인 것처럼 인용이 되는 경향이 있다.

논문의 저자들인 경영학 대학의 경제학 및 전략 조교수인 마르타 세라-가르시아와 동대학 행동경제학 교수인 우리 그니지는 이렇게 기술했다. “우리는 어떤 논문들이 재현될 수 있을지 전문가들이 충분히 예견할 수 있다는 것을 알고 있다. 그런 예견을 감안하면 우리는 애초에 재현할 수 없는 논문들을 왜 출간하기 위해 수락하는지 궁금했다.”

가능한 답변은 학술 잡지들의 검토 팀이 득실을 따져서 적당히 타결(트레이드오프)한다는 것이다. 즉 연구 결과가 더 흥미로우면 재현성에 관해 더 낮은 기준을 적용하는 것이다.

흥미로운 연구 결과와 재현할 수 없는 연구 간의 연관성은 왜 그것이 훨씬 더 높은 비율로 인용되는지도 설명할 수 있다. 저자들은 재현이 되는 논문들이 재현이 되지 않는 논문들보다 153배나 더 적게 인용되는 것을 발견했다.

가장 큰 격차, 네이쳐 사이언스 게재 논문 300배 차이
그니지는 흥미롭거나 매력적인 연구 결과가 또 매스컴에 더 많이 보도되거나 트위터 같은 플랫폼에서 더 많이 공유되어 많은 관심을 불러일으키지만 그것이 연구 결과를 진실로 만드는 것은 아니라고 말했다.

세라-가르시아와 그니지는 최고의 심리학 잡지와 경제학 잡지와 일반적인 과학 잡지(네이쳐와 사이언스)의 연구 결과들을 체계적으로 재현해보려고 시도한, 영향력이 있는 3건의 재현 프로젝트가 축적한 데이터를 분석했다.

심리학에서는 100건의 실험 중에서 39건만 성공적으로 재현이 되었고, 경제학에서는 18건의 연구 중 61%가 재현이 되었고, 네이쳐와 사이언스에 게재된 21건의 연구는 62%가 재현이 되었다.

저자들은 이들 3건의 재현 프로젝트의 연구 결과와 함께 구글 스칼라를 이용해서 재현 프로젝트들의 연구 결과들이 발표되기 이전과 이후에, 재현이 안 되는 논문들이 성공적으로 재현된 논문들보다 훨씬 더 자주 인용이 되는지 여부를 테스트해보았다. 격차가 가장 큰 것은 네이쳐와 사이언스에 게재된 논문들로 재현이 안 되는 논문들이 재현이 되는 논문보다 300배나 더 자주 인용되었다.

저자들이 재현이 된 연구들의 몇 가지 특징 - 저자의 수, 남성 저자의 비율, 실험의 세부(장소, 언어, 온라인 도구 제공), 논문이 발표된 분야 - 을 고려해보아도 재현성과 인용 간의 관련성은 변하지 않았다. 그들은 또 그런 인용의 영향이 장기적으로 커지는 것도 밝혔다. 연간 인용 횟수는 재현이 되는 논문과 재현이 되지 않는 논문 간에 격차가 뚜렷한 것으로 드러났다.

부정확한 논문 영향 수십 년 영향 미쳐
평균적으로 재현이 되지 않는 논문들이 1년에 16배 더 많이 인용되었다. 이 격차는 심지어 재현 프로젝트의 연구 결과가 발표된 이후에도 여전히 그러했다. 놀랄만한 것은 재현을 해보았지만 실패한 후에도 재현되지 않는 연구 결과를 인용하면서 단지 12%만 재현에 실패한 것을 밝힌 것이라고 저자들은 기술했다.

유명한 학술지에 게재된 부정확한 논문의 영향은 수십 년 동안 영향을 미칠 수가 있다. 예를 들면 1988년에 앤드류 웨이크필드가 랜싯을 통해 발표한 논문은 백신 접종과 자폐증이 연관이 있는 것을 암시해서 전 세계의 수많은 부모들이 홍역, 볼거리, 풍진을 예방하는 MMR 백신을 거부하도록 만들었다. 그 부정확한 연구 결과는 12년이 지난 뒤에야 랜싯이 철회했지만, 자폐증이 백신접종과 관련이 있다는 주장은 지속되고 있다.

저자들은 학술지들이 흥미로운 연구 결과를 출간해야 하는 압력을 느끼고 학자들도 마찬가지인 것 같다고 말했다. 예를 들면 승진 결정에 있어서 대부분의 고등 교육기관은 논문 인용을 교수의 승진을 결정하는 중요한 기준으로 사용한다. 이것이 2010년대 초기에 처음으로 발견된 재현 위기의 근원인 듯하다.

세라-가르시아는 다음과 같이 말했다. “우리는 만약 (논문을 읽는) 독자들이 무언가 흥미롭고 매력적인 것을 읽는다면 우리의 이번 연구가 그들이 신중해지도록 만들 수 있기를 희망한다. 연구가들이 더 흥미롭거나 혹은 많이 인용이 된 연구 논문을 인용할 때는 언제나 그들이 재현 데이터가 있는지를 확인하고 그런 연구 결과가 무엇을 시사하는지를 확인하기를 우리는 희망한다.”

그니지는 우리는 연구 분야와 양질의 연구를 생산하는 것에 대해 관심을 갖고 있고 연구가 진실이기를 원한다고 말을 거들었다.

참조:
M. Serra-Garcia & U. Gneezy “Nonreplicable publications are cited more than replicable ones” Sci Adv. 2021 May 21;7(21):eabd1705. doi: 10.1126/sciadv.abd1705.