按键盘上方向键 ← 或 → 可快速上下翻页,按键盘上的 Enter 键可回到本书目录页,按键盘上方向键 ↑ 可回到本页顶部!
————未阅读完?加入书签已便下次继续阅读!
在费歇尔提出的三项基本准则中,“无偏性”准则最引人关注,这或许是由于“偏误”(bias)这个词带有某种贬义。一个有偏的(biased)统计量似乎是谁都不想要的某个东西。美国食品和药物管理局的正式指导准则就提出警告,要大家使用“避免有偏”的方法。有一种非常奇怪的分析方法(将在第27章里详细讨论),叫做“意向治疗”(intent to treat),已经成为占优势的医学试验法,因为,这种方法仍能保证结果是无偏的,尽管它忽略了有效性的准则。
事实上,一些有偏的统计量的应用常常极为有效。据费歇尔的研究,用来确定净化城市供水系统中氯浓度的标准方法,依据的就是一个有偏(但满足一致性与有效性)的统计量。所有这一切也是科学社会学(the sociology of science)中的一类研究课题——为准确定义一个概念而创造出来的一个词,怎样将情感好恶的包袱也带到了科学中来,并对人们的行为产生了影响。
费歇尔的极大似然法
当费歇尔研究了这些数学问题之后,他认识到,用K?皮尔逊的方法来计算分布参数所生成的统计量未必是一致的,而且经常是有偏的,他也认识到还存在着更加有效的统计量可以利用。为了得到一致且有效(但未必无偏)的统计量,费歇尔提出了被他称之为“极大似然估计量”(maximum likelihood estimator; MLE)的一个概念。
随后,费歇尔证明了MLE总是一致的,而且证明了如果人们认可几个被认为是“正则性条件”(regularity conditions)的假定,那么MLE是所有统计量中最有效的。此外,费歇尔还证明了,即便MLE是有偏的,也可以计算出其偏差的大小,然后将其从MLE的估计值中减掉,从而得到一个一致、有效且无偏的修正统计量 。
费歇尔的似然函数(likelihood function)席卷了整个数理统计学界,迅速成为估计参数的主要方法。极大似然估计只存在一个问题,就是在试图求解MLE时所涉及的数学问题,其难以对付的程度确实令人望而生畏。费歇尔的论文里写满了一行又一行的复杂代数式,用来说明不同分布的MLE数学公式的推导过程。他的方差分析和协方差分析的运算法则显示出他极高的数学造诣,去处过程中他设法在多维空间里利用巧妙的代入与变换,导出最终为使用者所需要的MLE的计算公式。
尽管费歇尔具有非凡的独创性,但在多数情况下,对于MLE的潜在使用者来说,仍然难以驾驭所必需的高深数学知识。20世纪后半叶的统计学文献中有许多非常睿智的文章,它们运用简化的数学方法,在某些实例中得到了相当理想的MLE的近似值。在我自己的博士学位论文里(大约写于1966年),我只能将就着不得不接受这样一个事实,即只有在能够得到非常多的数据时,我的问题的解才是好的。假定我有大量的数据,就能把似然函数简化到可以计算出挖MLE值的程度。
后来出现了电脑。电脑并非人脑的竞争对手,电脑只是一个巨大而有耐力的数字处理设备。它从不会厌烦,从不会困倦,也不会犯错误。它一而再、再而三地重复着做那些同样繁琐的计算,数百万次地一再重复。用所谓的“迭代算法”(iterative algorithms),它能算出MLE值。
迭代算法
最早的一种迭代数学方法好像出现在文艺复兴时期(虽然数学史学家大卫?史密斯(David Smith)在他1923年出版的《数学史》(History of Mathematics)中声称,早在古埃及和中国的文字记载中就已经发现了这种方法的实例)。当资本主义曙光初露之时,在意大利北部刚刚建立起来的商业银行或商号中就碰到一个基本问题:每个小小的城邦或国家都有自己的倾向,所以商号必须能算出如何在各倾向之间兑换;比如说,如果汇率是雅典钱币14德拉克马(Athenian drachma)换一个威尼斯币达克特(Venetian ducat),那么用威尼斯的127达克特买来的一堆木材,价值多少雅典的德拉克马呢?如今,我们有能力用代数符号来解答这个问题。还记得高中的代数吗?若X等于雅典德拉克马的值,则……
尽管当时的数学家已经开始发展代数学,这种简单的计算方法仍不能为大多数人所用。银行家用的是一种叫做“试位法”(rule of false position)的计算方法。由于每家商号都确信自己的换算规则是“最好的”,所以每家商号都有自己的店员。罗伯特?雷科德(Robert Recorde,15101558),这位16世纪的英国数学家,在普及代数符号上功绩卓著。为了把代数的威力与试位法则相对照,他在1542年写了一本书“The Grovnd of Artes”,书中说明了试位法:
Gesse at this woorke as happe doth leade。
By chaunce to truthe you man procede。
And firste woorde by the question;
Although no truthe therein be don。
Suche falsehode is so good a grounde。
That truthe by it will soone be founde。
From many bate to many more;
From to fewe take to fewe also。
With to much ioyne to fewe againe;
To to fewe adde to manye plaine。
In crosswaied multiplye contrary kinde;
All truthe by falsehode for to fynde。
雷科德的这篇16世纪的英文说的是:你先猜一个答案,并把它代入问题中,由此你会得到一个结果,而它和你想要的结果之间会有些差异。有了这个差异,接着你可以用它再产生一个更好的猜测,再用这个新的猜测得到一个新的差异,这个差异又会产生出另一个新的猜测值。如果在计算这个差异的过程中,你做得足够聪明,这一连串的猜测值会最终接近正确的答案。对试位法来说,只要迭代计算一次,第二次猜测通常总能得到正确答案;而费歇尔的极大似然估计法,可能要迭代数千次甚至数百万次才能得到一个理想的答案。
然而,对一台任劳任怨的电脑,区区几百万次的迭代又算得了什么呢?在当今世界,不过是一眨眼的工夫。但在不久前,电脑的功能还不够强大,速度也很慢。在60年代末,我有个可以编写程序的台式计算机,是一种可以做加、减、乘、除的原始的电子工具。不过它还有个容易很小的内存,可以放进去一个程序,让它完成一系列的自述去处。这些运行的功能之一还能改写程序,因此,可以在这台可编程的计算机上运行迭代计算,只是要花很长的时间罢了。一天下午,我编好了计算机程序,检查了前几个步骤,确信我写的程序准确无误,然后,关掉办公室的灯就回家了。与此同时,这个编好了程序的计算机就开始了加减乘除的去处,静静地从它的电子结构内部发出喃喃的低语语,而且每隔一会儿就会按程序打印出一个计算结果。连接在计算机上的打印机是一个噪音很大的压缩设备,打印的时候会发出很响的“卡嗒、卡嗒”的声音。
那天晚上,保洁员到办公楼里清扫,其中一个人带着扫帚与废纸篓走进我的办公室。黑暗中,他听到了一种“嗡嗡嗡”的声音,他能看见在一遍又一遍进行加减的计算机上有只眼睛发出忽明忽暗的蓝光。突然,机器醒了过来,“卡”地响了一声,接着又“卡、卡、卡……卡嗒、卡嗒、卡嗒、”地响起来。后来他告诉我,那可真是一次让他毛骨悚然的经历。因此他要求我,如果下次计算机正在运行时,让我一定在办公室门口留一个提示纸条通知他们。
今天的电脑运行快得多了,甚至可以分析更加复杂的似然函数。哈佛大学的纳恩?莱尔德(Nan Laird)和詹姆斯?韦尔(James Ware)教授发明了一种异常灵活、功能异常强大、叫做“EM演算法”的迭代过程演算法。在我订阅的统计学期刊里,每一期新杂志都会介绍某人如何采用他或她的EM演算法解决了一度被认为无法解决的难题。另有一些算法,名字颇富想象力,像“模拟退火法”(simulated annealing)、“克利金法”(kriging)等等,也不时地出现在文献中;还有“大都会”(Metropolis)算法或“侯爵”(Marquardt)算法,以及其他一些以发明者自己命名的算法。有一些很复杂的软件包,用成千上万行的程序编码,使这些迭代运算以“用户界面友好”的特点变得易于操作。
费歇尔的统计估计方法大获全胜,极大似然法统计了世界,而K?皮尔逊的方法则被尘封在被遗忘的历史角落里。然而,就在这个时候,20世纪30年代,当时费歇尔对数理统计理论的贡献终于得到了承认,他40多岁并且正值其事业鼎盛时期,就在那一刻,出现了一位名叫奈曼的年轻的波兰数学家,他对费歇尔一味遮掩却并没有真正解决的某些问题提出了质疑。
第8章 致死的剂量
每年的3月,生物统计学会都要在美国的南部城市召开一次春季会议,我们这些在北部生活和工作的人就借此机会南下,到路易斯维尔(Louisville)、孟斐斯(Memmphis)、亚特兰大(Atlanta)或新奥尔良(New Orleans),在会议结束后回家前的几周,去呼吸春天的清新空气,观赏原野中盛开的鲜花和果园里花繁叶茂的果树。同其他的科学会议一样,会议期间会有三到五位论文作者在会上口头宣读他们的论文,然后与会者与演讲人就论文的内容展开热烈的讨论,询问某些思想的出版,或提出其他可以替代的方法。通常,上午的会议分成两个分会场同时进行。最后的会议一般在下午5点前后结束,与会者回到宾馆各自的房间。一个小时或一个半小时之后他们又会分头聚在一起,相约着出去找一家喜欢的餐馆共进晚餐。
开会的当天,一般人总能在会场上遇到一些朋友,并绝好了会后一同去吃晚饭。但是有一天我却错过了约人就餐的时机。我和那天下午的一位论文演讲者进行了一场长时间的且饶有兴趣的讨论,他是当地人,散会后可以直接回家,因此我没有邀他一起吃饭。我们的谈话结束的时候,大厅里已经空荡荡的,人都走光了。我联系不上任何人,就回到房间给太太打电话,与孩子们在电话上聊了几句,随后就下楼到宾馆的前大厅,心想说不定会碰上一伙我认识的人,可以和他们一道活动。
但是,大厅里几乎空无一人,只有一个身材高大的白头发男人,他独自坐在一张罩着椅套的椅子上。我认出他是切斯特?布利斯(Chester Bliss),我知道他发明了一些基本的统计模型。那天上午在我参加的那个分会场,他还宣读了一篇论文。我朝他走过去,做了自我介绍,并称赞他上午的发言。他邀请我坐下,我们就坐在那里聊了一阵子统计与数学。不错,我们的确是在聊着这样的话题,我们甚至可以用这个话题来开玩笑。显而易见,我们俩谁也没有晚餐的约会,于是我们决定一起去吃晚饭。他可真是个令人愉悦的就餐伙伴。那天的晚餐,我听他讲述了自己丰富的阅历。以后的几年,我们常在开会的时候碰面,有时还会相约一同用餐。他在耶鲁大学的统计系任教,所以,每当我参加由耶鲁大学统计系主办的研讨会时,就经常能见到他。
布利斯出身于美国中西部一个殷实而融洽的中产阶级家庭,父亲是医生,母亲掌管家务,