本文
間違った確信に注意せよ。そのうち、他の人のようなへまを自分はしないという自己満足におちいってしまうかもしれない。私はデータ分析の数学的処理に関するしっかりとした入門は教えていない。概念に関する単純な誤りを越えて、統計で失敗する方法はたくさんあるのだ。
誤りはしばしば起きるだろう。なぜならば、どういうわけか、科学の学部課程や医学校 [1] で、統計と実験デザインに関する授業を必修とするものはほとんどないからだ。そして、統計学の入門授業では、検定力と多重推論 [2] についての問題をとばしてしまうこともある。現代の科学の営みにおいてデータと統計分析が最も重要な役割を果たしているにもかかわらず、こうした状況が容認されている。薬の処方の経験がない医者を容認することはないはずだ。だとすれば、なぜ統計の訓練を受けていない科学者を容認するのだろうか。科学者は統計に関する正式な訓練とアドバイスが必要だ。
実験が終わった後に統計学者に相談することは、しばしば単に検死を頼むようなものになる。統計学者は、何のせいで実験が死んだのかについて言うことができるかもしれない。
学術誌は、質の低い統計分析を行っている研究を却下することを選択してもよい。新しいガイドラインとプロトコルは、いくつかの問題を消し去るだろう。しかし、統計の原理について十分に訓練を受けた科学者が出てこないかぎり、実験デザインとデータ分析は改善しないだろう。統計的な有意差を全力で求めることが続くだけだ。
変化は簡単ではないだろう。厳格な統計基準はただではやってこないのだ。例えば、もし科学者が検定力の計算を日常的に行うようになったら、確かな結論に至るにははるかに多くの標本サイズが必要になることにすぐに気づくだろう。臨床試験はただではない。そして、研究に費用がよりかかることは、公刊される試験がより少なくなることを意味する。必要もないのに科学の進歩が遅くなってしまうことに反対するかもしれない。だが、信頼できない結果に基づいて進歩することはもっとひどいことではないだろうか。
科学の学生の皆様へ。機会があれば、1科目か2科目、統計の授業に投資してください。研究者の皆様へ。訓練、良い書籍、統計に関するアドバイスに投資してください。そして、お願いですから、次に誰かが「この結果は $p < 0.05$で有意だから、これが偶然である確率は20分の1しかない！」と言うのを聞くことがあったら、私のためにその連中の頭を統計の教科書でぶったたいでください [4] 。お願いです。
お断り：このガイドでの助言は、訓練された統計の専門家の助言に換えられるものではありません。もし、あなたが深刻な統計上の誤りに悩まされていると思っているようでしたら、直ちに統計学者に相談してください。あなたがこのガイドを使用した結果として、あなたの名誉が傷ついたり、統計に関する過誤や誤解が起きたりしても、それらに対して私は責任を負いかねます。
証拠を詳細に検討することなしに、科学研究の結果を却下することの正当化のためにこのガイドを使うことは、非常に大型の統計の教科書で頭のてっぺんをバシバシたたく理由となりえます [5] 。このガイドは、統計的な誤りを見つけるのを助ける存在であるべきで、嫌いな科学を選んで無視することを許す存在ではありません。
- 訳注：日本では医師養成は学部課程で行われるが、米国では医学校 (medical school) という専門大学院で医師が養成される。 [↩]
- 訳注：多重推論 (multiple inference) とは同じデータに対して、複数回の統計的推論を行ってしまうことを指す。 [↩]
- ロナルド・エイルマー・フィッシャー (Ronald Aylmer Fisher, 1890-1962) は20世紀の最も偉大な統計学者の1人で、遺伝学の研究者としても知られている。フィッシャーが成し遂げた統計学上の業績には様々なものがあるが、中でも分散分析 (ANOVA) や実験計画法を発展させたことが重要な業績として挙げられる。 [↩]
- 訳注：実際に教科書でぶったたいてどんな結果がもたらされたとしても、訳者は責任を負いかねるので、読者諸氏は注意されたい。 [↩]
- 訳注：似たような話の繰り返しとなるが、実際に教科書でバシバシたたいた後にもたらされる結果について、訳者は責任を負いかねる。 [↩]