科学の世界の「ダメな統計学」
現代の科学は、統計と切っても切り離せない関係にある。多くの場合、科学者は、仮説を立てた上で、実験や調査でデータを集め、そのデータに対して統計処理を行うことで、自分の仮説が妥当かどうかを判断していく。統計がなくては自分の仮説が妥当かどうかを判断できない。判断できなければ、科学者は自分の主張を一切述べられなくなってしまう。つまり、統計を使わなければ、科学者は仕事にならないのである。統計は科学者にとって重要なのだ。
統計が重要なのだから、科学者は統計についてしっかりとした知識を持っていると思う人も少なくないだろう。また、ほとんどの科学者が正確に統計処理を行っていると思う人も少なくないだろう。だが、現実はそうではない。科学者は統計について良く分かっておらず、しばしば統計を誤用する。科学の世界においては、「ダメな統計学」がはびこっているのだ。
それでは、科学者はどういった点で、統計を誤って使用しがちなのだろうか。そして、統計の誤用はどうすれば防げるだろうか。こうした疑問に答えてくれるのが、この記事で紹介する Statistics Done Wrong
- Reinhart, A. (2015). Statistics Done Wrong: The Woefully Complete Guide
この本は、実際に統計を使って研究を行う科学者、そして科学者を目指そうとしている学生にとって有用だ。また、科学研究を行う人でなくても、統計を使う機会がある人ならば、十分に参考になる本だ。ただし、統計の知識が皆無だと読むのがつらいと思う。この本は、統計の入門書 [1] を読んだ後に読むべきだ。
出版の背景
この本の著者であるアレックス・ラインハート氏は、統計学を専攻する大学院生である。ラインハート氏は、科学研究において統計が適切に使われていないことをなげき、統計に関する誤解や誤用を紹介する文書をまとめ、Statistics Done Wrong というウェブサイトに掲載した。このウェブサイトの文書に大幅に加筆を行ったものがノー・スターチ・プレス (No Starch Press) から出版された Statistics Done Wrong
書籍が出版された後も、ウェブ上の文書は引き続き公開されているので、興味がある人は書籍を購入する前に一読することをお勧めする。また、このウェブ上の文書を私が日本語に翻訳したものがある。翻訳は以下から見ることができるので、興味があったら読んでいただければ幸いである。
- ダメな統計学：目次（ウェブページとして読むことができるバージョン）
- 『ダメな統計学』冊子PDFの公開（PDFとして読むことができるバージョン）
ここで、ウェブ版と書籍版の違いについて簡単に述べておこう。双方とも、科学研究における統計の誤解や誤用について説明していることには変わりはない。ただし、書籍版の方が内容が詳しくなっており、事例もより豊富になっている。ウェブ版で文章が明快でなかったところは、書籍版ではかなり分かりやすく書き換えられている。また、書籍版には、ほとんどの章の終わりに、科学者が統計に関してどういうことに注意すべきかということについて、簡単なまとめが付いている。
内容
Statistics Done Wrong
- An Introduction to Statistical Significance（統計的有意性入門）
- p値の意味とその問題点について。
- Statistical Power and Underpowered Statistics（検定力と検定力の足りない統計）
- 検定力を計算することが重要であること、信頼区間を用いるべきことについて。
- Pseudoreplication: Choose Your Data Wisely（擬似反復：データを賢く選べ）
- 擬似反復が引き起こす問題について。
- The p Value and the Base Rate Fallacy（p値と基準率の誤り）
- 擬陽性の問題について。
- Bad Judges of Significance（有意性に関する間違った判断）
- グループ同士を比較するときの問題について。例えば、有意であるとされたグループとそうでないとされたグループの間に有意差があるとは限らないことなどについて。
- Double-Dipping in the Data（データの二度づけ）
- データを都合良く使ってしまうことについて。
- Continuity Errors（連続性の誤り）
- 連続型のデータを適切に扱わないことについて。
- Model Abuse（モデルの濫用）
- 統計的モデルを適切に設定しないことについて。
- Researcher Freedom: Good Vibrations?（研究者の自由：好ましい雰囲気？）
- 研究者が気ままに統計処理を行うことによって引き起こされる問題について。
- Everybody Makes Mistakes（誰もが間違える）
- 研究者が統計の処理を誤りやすいこと、どうすれば誤りを防げるかについて。
- Hiding the Data（データを隠すこと）
- データを適切に公開しないことによる問題点について。
- What Can Be Done?（何ができるだろうか）
- 「ダメな統計学」を改善する方法について。具体的には、統計教育を充実させること、科学に関する出版を改革すること、そして読者がすべきことについて。
この本には事例が豊富という特徴がある。科学の世界で、現実にどういった誤りが起きているかについて数多く述べられているのだ。読者はこの本に載っている事例を自分の行っている統計分析と比較することで、自分の分析の問題点を見出すことができるだろう。
なお、この本の本文は130ページほどしかなく、全部読み終えるのにはさほど時間はかからないと思う。ただし、口語的な表現が入り混じっているために、英語が得意でない人にとっては少し読みにくいかもしれない。
- 統計の入門書を読んだことがない人は、「統計学の初心者が入門として最初に読むべき一冊」という記事を参考されたい。 [↩]
- PixabayよりBonnybbx氏のパブリックドメイン画像を使用。 [↩]