과학자들, AI 연구 논문에 코드와 모델, 계산 환경 공유 요구
국제적인 과학자들이 자신들의 연구 결과가 암 환자들에게 미치는 영향을 가속화하기 위해 자신들의 동료들에게 인공지능(AI) 연구를 더 투명하고 재현 가능하게 해줄 것을 요구하고 있다.

최근에 발표한 논문에서 프린세스 마가렛 암 센터, 토론토 대학교, 스탠퍼드 대학교, 존스홉킨스, 하버드 공중보건 대학, 매사추세츠 공대 및 여타 기관의 과학자들은 과학 학술지들에 대해 컴퓨터 연구가들이 더 높은 기준의 투명성을 갖도록 해줄 것을 요구하고, 그들의 동료들에게 자신들의 코드와 모델과 계산 환경을 논문에서 공유하도록 해 줄 것을 요구했다.

프린세스 마가렛 암 센터의 수석 과학자로 이번 논문의 제1 저자인 벤자민 하이브-카인스는 다음과 같이 말했다. “과학의 진보는 연구 결과들을 검증하고 주요한 연구 결과를 재현해보는 연구가들의 능력에 달려있다. 그러나 컴퓨터 연구에서는 인공 지능 연구의 자세한 부분을 충분하게 접근할 수 있는 통용된 기준이 아직도 없다. 이는 우리의 진보에 해가 된다.”

논문의 저자들은 2020년 1월에 네이쳐를 통해 발표된 구글의 건강 연구 프로젝트의 일환으로 실시된 연구가 인공 지능 시스템이 유방암 조기 검진을 하는 활력이나 속도에 있어서 방사선과 의사들보다 기량이 더 뛰어날 수도 있다는 주장을 한 후에 인공지능 연구의 투명성과 재현성의 결여에 대한 자신들의 우려를 나타냈다.

그 연구는 과학계에 파문을 일으키고 일반인에게도 소동을 일으켰고 BBC 뉴스나 CBC나 CNBC의 헤드라인을 장식했었다. 면밀한 조사는 몇 가지 우려를 자아내게 했다. 즉 이 연구는 코드와 모델을 포함해서 사용한 방법을 충분하게 설명하지 않은 것으로 드러났다. 투명성의 결여는 연구가들이 정확히 그 모델이 어떻게 작용하는지를 알지 못하게 하고 또 자신들의 기관에 그 모델을 어떻게 적용할 수 있을지 알아보지 못하게 방해한다.

한 기관이나 한 집단 환자에만 작동하는 모델은 적합하지 않아
종이에 쓰인 대로 이론적으로는 그들의 연구가 훌륭하지만 만약 우리가 그 논문으로부터 (한 수를) 배울 수가 없다면 그 논문은 과학적인 가치가 적거나 없는 것이라고 하이브-카인스는 말했다.

토론토 대학교 의학 생물 물리학 부교수 겸 벡터 인공 지능 연구소 회원인 하이브-카인스에 의하면 이 논문은 컴퓨터 연구의 문제가 되는 패턴의 1가지 실례일 뿐이다. 그는 다음과 같이 설명했다. “연구가들은 자신들의 연구가 확실하게 재현될 수 있도록 하는데 시간과 자원을 소비하는 것보다는 연구 결과를 출간하는 데 더 신경을 쓴다. 학술지들은 인공 지능의 과장 선전의 유혹에 약해서 논문을 수락하는 기준을 낮추어 - 때로는 자신들의 가이드라인에 반해서 - 연구를 재현할 수 있도록 만드는데 요구되는 모든 자료를 포함하지 않은 논문을 수락할 수도 있다.”

이는 인공 지능 모델을 임상 환경에 응용하는 것을 실제로 늦출 수 있다. 연구가들은 그 모델이 어떻게 작동하는지를 알고 사려 깊은 방법으로 재현할 수가 없다. 어떤 경우에는 그로 인해 공인되지 않은 임상시험이 될 수가 있다. 한 집단의 환자나 한 기관에서만 작동하는 모델이 다른 경우에는 적합하지 않을 수도 있기 때문이다.

이번 연구에서 저자들은 공개적인 과학의 3가지 대원칙을 고수해서 인공 지능 연구가 더 투명하고 재현할 수 있게 만드는, 데이터 공유와 컴퓨터 코드 공유와 예측 모델 공유를 통해, 안전하고 효과적인 공유를 가능하게 하는 많은 이론적 뼈대와 플랫폼을 제시했다.

하이브-카인스 박사는 이렇게 말했다. “우리는 암 환자들에게 인공 지능이 유용할 것이란 큰 희망을 갖고 있다. 발견을 공유하고 그걸 바탕으로 쌓아 올리는 것이 진짜 과학적인 영향이다.”

참조:
(1) B. Haibe-Kains et al., "Transparency and reproducibility in artificial intelligence" Nature. 2020 Oct;586(7829):E14-E16. doi: 10.1038/s41586-020-2766-y.
(2) S. M. McKinney et al., "International evaluation of an AI system for breast cancer screening" Nature. 2020 Jan;577(7788):89-94.