发 表 你 的 评 论 ......
还没有评论,抢沙发...

全部热门评论

科学新闻没告诉你的那些事儿
#传播

1. 医学研究能全都相信吗?

科学领域中,存在很多社会公众密切关注的问题。对于这些问题,主流科学界也往往会给出一个相应的说法。不过,科学家们肯定免不了会出错。有时他们的研究结论甚至会彼此矛盾。比如有些研究认为,手机辐射跟脑癌之间存在关联,有些研究又说这种关联证据不足。有时候他们说大蒜可以降低有害胆固醇,有时候又说大蒜其实不能降低有害胆固醇。这常常让公众感到无所适从。那么,遇到这种情况应该怎么办呢?
(a)以最权威科学家,比如诺贝尔奖得主或者Nature杂志上论文,的意见为主。
(b)以科学家中的“主流意见”(如果“主流”真的存在的话)为主。
(c)以最新发表的意见为主。
(d)别当真,科学新闻可以当娱乐新闻看。
如果这条新闻说的是最新的医学研究,那么理性的选择是:(d),别当真,就当娱乐新闻看吧。 那些写在晚报副刊上的各种所谓健康指南,连看都别看。而那些刊登在主流媒体上,有最新的论文支持的科学新闻,比如说英国某个团队又发现什么东西对儿童智力的新影响了,我们大概可以看,但是看完就忘了也没有太大问题。 更进一步,如果这条新闻说的是最新的营养学研究,比如吃什么什么维生素对身体有什么什么好处或坏处,那么哪怕是发表在最权威医学期刊上的那些高引用率论文,也可以全部忽略。 说这句话的人叫 John P.A. Ioannidis,他去年刚刚被任命为斯坦福大学预防医学研究中心主任。Ioannidis 说,“ignore them all”. 他攻击的不仅仅是营养学,而是整个医学研究。2005年,Ioannidis 发表两篇论文,证明大部分医学研究都存在问题。这两篇论文在医学界被引用好几百次,但是没多少人说他这个看似无比偏激的结论是错的。甚至没人表示惊讶。所有搞医学研究的科学家都知道这个秘密:医学研究确实算不上严密。 不过,这件事一直到2010年底才引起公众的关注。首先是《亚特兰大月刊》发表充满愤怒的长文,标题采用英国首相和马克吐温发明的著名句式:“谎言,该死的谎言,和医学研究”。《时代周刊》立即跟进,并把结论进一步精简为“90%的医学研究都是错的”!《时代周刊》这篇报道说,现在已经有人开始真正认真地重新审视整个医学科研,而且立即发现了几个与我们此前的知识完全相反的结论,比如说:
- 没事儿自己检查乳房,不但不会降低乳房癌的死亡率,没准还有坏处;
- 其实科学家并没有足够证据说注射流感疫苗对防治流感有效。
当然,以上两个更新的知识也未必可靠,但为什么Ioannidis做出如此猛烈的攻击,他说的话是否有道理?我们必须看看他到底说了什么。 他一篇发表在PLoS Medicine 上的文章说,在医学研究中被广泛使用的统计方法,其实是个非常脆弱的体系。如果你的一项研究是考察某种药物对人的健康是否好处,而你希望能证明有好处的话,你将很容易做到这一点。首先,现在大部分医学科研研究的效应其实都是比较微弱的,因为“不微弱”的效应别人早就研究完了。其次,也许一个病人的病情并没有什么明显好转,但因为你希望这个药物有效,你也许会完全无意识的刻意寻找他好转的证据,你可能会把本来没什么好转的病人当成好转的病人。这就是你的偏见。Ioannidis 这篇论文其实全是数学,他做了一番计算,说如果这个微弱效应有10%,而你的偏见有30%的话,你的实验得到正确结论的概率只有20%。 科学家是有偏见的。他可能因为拿了医药公司的资助而希望证明一个药物的疗效,他更可能为了能在发表有轰动效应的论文而追求惊人的结果。鉴于10%的效应率和30%的偏见率差不多就是一般流行病学研究的水平,我们大概可以说80%的流行病学研究都有问题——当然,这些研究仅仅是研究而已,它们是整个医学研究序列中的一部分,而不是直接指导人类行为的准则。根据同样的计算,小规模随机试验的可信性也只有23%。Ioannidis 这篇文章就是用数学方法证明这种偏见有多可怕。 光玩数学当然不行,批评现实得有真实证据。Ioannidis另一篇发表在 JAMA 上的论文干的就是这个。没有人能把所有医学论文都研究一遍,所以他的做法相当具有戏剧性:他只看1990到2003年间发表在顶级临床医学期刊上的顶级论文,入选标准是被引用超过1000次。符合这个标准的论文一共有49篇,其中45篇声称发现了某种有效的药物或者疗法。 我们都知道科学结果理应是可重复的,我们不知道的是有多少科学结果真的被人重复过。这45篇论文虽然都被引用了千次以上,其中只有34篇被重复检验过。 而后人检验的结果是其中7篇的结论错误。比如有一篇论文说维生素E对降低男子冠心病风险有好处,有一篇论文说维生素E对降低女子冠心病风险有好处,而后来的大规模随机实验则证明维生素E对降低冠心病风险根本没好处。另有7篇论文被发现是夸大了有效性。也就是说34篇经过检验的论文中的14篇(41%)被发现结论有问题。这45篇最权威的论文中只有20篇扛过了时间的考验。 顶级论文尚且如此,一般论文又能怎么样呢?真有90%都不可靠么?我从未发现 Ioannidis 说过“90%的医学研究都错了”这句话,《时代周刊》的报道的确是标题党。 事实上,Ioannidis 说的不是90%错误,而是431/432存疑。Ioannidis 的做法是选择一个热门领域,彻查这个领域内所有的论文。这个领域研究的是男女患各种疾病的风险不同,是否因为基因的影响。在2007年 JAMA 的一篇论文中,Ioannidis 与合作者找到这个领域的所有77篇论文,然后逐篇分析这些论文处理数据的方法是否足够严谨。这些论文一共提出了432个论断,其中只有60个论断可以称得上是方法严谨。而这60个拿的出手的论断中,曾经被其它研究至少重复验证了两次的,只有一个。 所以严格的说,并不是绝大多数医学研究的“错”了,而是不严谨,没有经过考验。如果我们对正确科学论断的要求是方法严谨,结果至少经过两次检验,那么这个领域的合格率只有1/432。如果我们放宽要求,只要一篇论文不被证明是错的,就算它是好论文,那么发表在最权威期刊上的被引用次数最多的医学论文中,有7/45是坏论文。 在这七篇坏论文中,有两篇说维生素E可以降低冠心病风险。但随后于2000年发表在《新英格兰医学杂志》上的一篇文章,通过对超过9000人进行的严格随机实验证明,维生素E根本不能降低冠心病风险。这一结论从此之后再也没被推翻过。那么到底有多少科学家知道这件事儿呢?Ioannidis 等人曾经专门调查了到底有多少论文还在使用“维生素E降低冠心病风险”这个错误知识,结论是一直到2005年,仍有50%的新发论文还在引用前面那两篇错误的顶级论文,并且以为它们是对的。 把学术论文的结论推广到真实世界的真理,有时候是非常危险的事情。因为不理解科学研究的思维方式,导致大多数人对科学有两个重大误解:第一,认为科学研究绝对真理;第二,认为每一项科研都是在生产我们日常决策的答案。真实的科学研究其实一个充满曲折,甚至有时候错进错出的过程。 不过,很多论文不严谨,甚至很多都是错的,这并不表明科学中没有正确答案,它只是表明得到和判断正确答案并不简单。值得注意的是,医学研究通常立足于统计学的方法。由于这些方法本身所具有的缺陷,所以出现“不靠谱”的研究结果也并不奇怪。这也并不是说所有医学研究全都是不靠谱的——因为缺陷并非不可弥补,研究者可以通过扩大研究规模,延长研究时间等方法,尽量减少干扰因素。不同的研究之间,也存在着结果上的互补关系。事实上,医学研究就是通过这样千千万万的可能会有些不靠谱的研究,逐渐明晰起来,无限逼近最终的正确解。从上述维生素E的研究案例中,我们就可以清楚地看到这一点。 科学报道都是用人类传统语言写成的,而科学研究使用的却不是人类传统语言。所谓“科学方法”,其实是另一套很不一样的思维方式。我想用接下来的几篇小文,介绍一下“科学方法”,这种超越了人类本能的思维方式。一个简单的问题是,我们凭什么相信“维生素E不能降低冠心病风险”这个结论就是对的?因为有些科学方法比另一些科学方法更可信。我们将说明为什么看新闻不如看论文,为什么看一篇论文不如把多篇论文综合在一起看(称为 meta-analysis),以及为什么这么看还是不行。 注: 有一个叫做 Cochrane Collaboration 的国际组织,就正在专门严格审视各种医学研究,并且推出了很多报告,而且他们也采纳了 Ioannidis 提出的审查方法。这个组织特别强调经费只来自于政府,大学和私人捐款,而不拿医药公司的钱。
编者按:这是一篇内容看起来很耸动的文章,希望读者不要因此产生科学研究很不靠谱的观念。事实上这篇文章的目的,并非攻击整个医学研究,而是介绍国外关于医学研究的大讨论,更重要的是,让我们开始思考,什么样的科学研究方法更加合理,让我们更加接近真理。这也是一个死理性派真正应该达到的境界。接下来作者也会从物理学开始,逐步展开这个问题。也感谢很多生物医学专业的同学对本文提出的宝贵意见。