逼近 50% 的癌症研究实验无法被重现? RPCB 耗时 8 年点出「再现性危机」

你听过科学研究的「再现性」(reproducibility)吗?如果一个科学研究结果具有再现性,代表它可以被另一个研究团队,以同样的控制条件、操作步骤进行重复测量,并获得与前人相近的结果。这也代表着这项实验是可以被验证的,该研究的可信度也越高。

近年来,许多领域都开始重视科学研究的再现性问题,例如 2015 年由科学开放平台(Open Science Framework, OSF)发表在《科学》(Science)的一篇心理学实验再现性的研究,就重复了三个重要的心理学期刊,包括 Psychological ScienceJournal of Personality and Social PsychologyJournal of Experimental Psychology: Learning, Memory, and Cognition 在 2008 年间发表的 100 个研究,结果显示仅有 36%的研究具有统计显着性[1]

而在 2016 年刊载於《自然》(Nature)的一篇报导中,团队以线上问卷调查了 1576 位研究者,发现有超过 70% 的研究者,无法重现其他科学家曾经做过的研究结果;更有超过 50% 研究者无法重现「自己的」研究结果[2]

再现研究论文时,会遇到哪些困难?

同样的科学研究再现性验证也出现在生医领域。一项由 RPCB(Reproducibility Project: Cancer Biology)团队耗资 200 万美元、历时 8 年,尝试复制各大具影响力的临床前癌症研究,其结果於去年(2021)12 月发表於 eLife[3]

在看这项研究结果之前,或许我们可以先了解 RPCB 究竟是何方神圣?RPCB 是一个由非营利组织「开放科学中心」(Center for Open Science)与学术平台「科学交流」(Science Exchange),在 2013 年开始合作执行的一项计画。团队期望能系统性地重现出 53 篇於 2010~2012 年间,刊登在知名期刊《自然》、《科学》、《细胞》(Cell)中的临床前癌症相关研究。

即使一开始团队预计重复 53 篇论文中共 193 项实验,但最终能成功执行的仅有来自 23 篇论文里的 50 个实验,且仍使该计画延宕了五年才完成。为什麽理想这麽丰满,现实却如此骨感?研究团队在论文中提到了几项实验再现的困难与挑战,例如:

  1. 许多原始论文缺少叙述统计(descriptive statistics)和推论统计(inferential statistics)的关键数据,像是效果量(effect size)、统计检定力(power)等资讯,尽管团队联系了原始论文的作者,仍有 68% 的数据无法取得。
  2. 在这 193 项实验中,没有一个具有足够详细的说明,令团队能设计出重复的实验步骤。这使得他们不得不转向论文原始作者,以寻求更进一步的实验建议,而在询问的过程中,约 26% 作者给了极大的帮助,而有约 32% 作者对实验完全没帮助(或是无任何回应)。

癌症研究实验的再现性仅 46%?

在缺乏合作、需要详细检查并调整实验步骤的情况下,研究团队平均需要花费 197 周的时间才能复制出一项实验。此外,每复制一次实验的成本高达 5 万 3000 美元——大约是原先预估花费的两倍,因此再现 193 项实验的雄心壮志终究无法达成。

那麽这项耗时 8 年、斥资百万的实验再现性研究,给了我们什麽结果呢?

根据团队在 eLife 发布的第二篇论文显示,这些临床前癌症相关研究的实验再现性仅有 46%,且平均的统计效果量也比原始论文低了 85%[4]

在这些被再现的实验中,原始研究效果量大的往往更容易被复制,而动物实验则是再现性最差的,这可能是因为在生物体内(in vivo)实验的效果量,大多低於体外(in vitro)实验。

只做一次的再现实验,公信力足够吗?

发表在知名期刊上的临床前癌症研究论文,其实验再现性居然不到一半,这对於生物医学相关领域的研究者来说,无疑是一项沉重的打击。

不过仅凭一次的再现实验,就评断一项研究的公信力,对这些研究者来说公平吗?其中一位研究无法被 RPCB 再现的学者就表示:「他无法确定这些一次性实验有多少价值。」而那些被选中重现的实验,当中也不乏已经开始进行第二期药物临床试验的研究。同时也有研究者指出,RPCB 在复制实验时使用了与原研究不同的细胞株(cell line),也并未在实验中进行三重复确认最终结果[5]

针对这些指控,RPCB 说明这项计画的目的,并非藉此断言某些特定研究是无用,或需要被停止的,而是为了点出现今研究的再现性危机(reproducibility crisis),以期望找出相对应的解方。目前也有一些提升研究再现性的方法被提出,像是以盲性研究(blinding)进行体外实验或动物实验、采用更大的样本量、更严谨的统计分析方法,以及研究计画的预先注册制度(preregistration)〔注 1〕

虽然这项大型研究充满着许多争议,但也提醒了各领域的研究人员:对於自身研究的每个步骤、统计方法等,都应更加详尽、仔细的记录。除了能使後人有办法针对已发表的内容,进行深入探讨外,亦可以提升该实验被再现的可能性,增加研究的公信力。

而看完文章的你,对於科学研究的再现性又有什麽看法呢?

注解

注 1:研究计画的预注册是指研究者在进行科学研究之前,先对他提出的假设、方法、分析方式上传到注册机构,经由该单位的期刊编辑、同侪审查通过後,再进行研究的一种做法。

参考资料

  1. Open Science Collaboration, Estimating the reproducibility of psychological science, Science, Vol 349, Issue 6251, 2015. https://www.science.org/doi/10.1126/science.aac4716
  2. Monya Baker, 1,500 scientists lift the lid on reproducibility, Nature, volume 533, pages452–454, 2016. https://www.nature.com/articles/533452a
  3. Timothy M Errington et al., Reproducibility in Cancer Biology: Challenges for assessing replicability in preclinical cancer biology, eLife, 2021. https://elifesciences.org/articles/67995
  4. Timothy M Errington et al.,Investigating the replicability of preclinical cancer biology, eLife, 2021. https://elifesciences.org/articles/71601
  5. Asher Mullard, Half of top cancer studies fail high-profile reproducibility effort, Nature, 09 December 2021. https://www.nature.com/articles/d41586-021-03691-0

  • 情慾、性别、身体与性犯罪——科学视角下的性教育
  • 如何打造科学家的房间!科学实验室EP.6 — 会动的AR绘本
  • 利用阿基米德浮力原理,当玻璃小球浮起时测量气温~伽利略温度计
  • 交换礼物大赏!QUALY 醉爱北极熊酒瓶塞
  • 数学好无聊、不实用,到底为什麽要学数学?
  • 给大人玩的理财桌游,从此航向财富自由!
  • 交换礼物首选、推理迷必买!台湾推理作家协会20周年限定周边

0 0 投票数
Article Rating
订阅评论
提醒
guest
0 Comments
内联反馈
查看所有评论