「うわっ…私の検定力、低すぎ…?」

概要
統計的仮説検定における検定力の低さの問題を論じたネタ画像。

ネタ

「うわっ…私の検定力、低すぎ…?」
「うわっ…私の検定力、低すぎ…?」 [1]

元ネタを知りたい人は、以下のページを参照されたい。

解説

検定力 (statistical power) というのは、帰無仮説が本当は正しくないときに、統計的仮説検定によって帰無仮説が正しくないと判断される確率のことだ。これが低いと、帰無仮説が本当は正しくないのに、帰無仮説が正しいと判断されてしまう可能性が高くなる。

例えば、2つのグループの平均に差がないという帰無仮説を立てたとしよう。そして、本当は2つのグループの平均には差があるとする。このとき、本当は差があるのだから、差がないという帰無仮説は否定されることが期待される。しかし、検定力が低いと、差がないという帰無仮説は否定されず、差がないという結論が得られてしまう。つまり、検定力が低ければ、本当は差があるのに、差がないということになってしまうのだ。

このように検定力が低いことは悲劇だ。こうした悲劇を防ぐためには、データを集めはじめる前に検定力分析 (power analysis) というものをするとよい。自分の研究で見いだしたい効果がどれほどの大きさか決めた上で、有意水準や検定力をどれぐらいにしたいか決めておけば、この検定力分析を通じて、必要となるサンプルサイズ(標本の大きさ)について見当を付けることができる。

検定力に関する文献

検定力分析についてさらに知りたい人のために、いくつか文献を紹介しておこうと思う。ウェブ上で見ることができるものとしては、以下のものがある。

もう少し詳しく書いてある文献としては、以下のものがある。

ダメな統計学』の方は、第2章に検定力の話が載っている。これは、上に挙げた「【翻訳】ダメな統計学 (3)」をもっと詳しくしたものだ。『伝えるための心理統計』の方は、第5章に検定力の話が載っている。

R言語での検定力分析

また、統計解析でよく使われるR言語で、検定力分析をしたければ、pwrというパッケージがある。このパッケージの使い方については、以下のページに日本語の説明がある。。

脚注
  1. 驚いている女性の写真は、Petr Kratochvil 氏が Public Domain Pictures というウェブサイトで公開したパブリックドメインの写真を用いた。 []