p値に関するアメリカ統計学会の注意

アメリカ統計学会から「このような声明」が出されました.p値を(場合によっては意図的に?)間違って用いている研究がたくさんあるので,そこに警鐘を鳴らすためのものです.

p値については,統計学を学んだ方はもちろん,学生実験でのデータ整理などでも必要なので指針書にあるかもしれません.忘れた方や知らない方はググればいくらでも出てきますが,「こことか」を読むとよいでしょう.

物質科学では,実験条件さえ再現していれば,実験の再現性はある,ということが前提になる場合が多いので,統計学について十分な注意が払われないことがあります.n数が1という実験も見るし,誤差の見積もりが示されない場合もあります.レオロジーなんかは結果を対数で議論することが多いので,誤差についての扱いがいい加減になる傾向があります.しかし,再現性があることをわかっていて(あるいは再現性を確かめてあって)やっているのと,何も知らずに値を出しているのとでは全く違います.どの分野でも役立つので統計学の基本はやっておいて損はないでしょう.

さてアメリカ統計学会の上記の声明は,p値の有用性を否定するものではありません.たとえば「P-values can indicate how incompatible the data are with a specified statistical model.」と言っています.ある統計モデルとの不整合性を示す指標となる,というわけです.

しかし間違った使い方をするな,と言っているのです.声明の中で「P-values do not measure the probability that the studied hypothesis is true, or the probability that the data were produced by random chance alone.」と言っています.ある仮説が間違っていることの指標にはなるが,その仮説の逆が正しいかどうかは知らんよ,ということです.

もう少し具体的にいうと,帰無仮説有意性検定,という,よく使われる論法には注意しなさいよ,ということです.帰無仮説有意性については「このページ」がわかりやすいでしょうか.この方法は便利で,例えば社会科学でアンケートから何かを求めるような場合や医学生物分野で薬の効果を決める場合などに広く用いられているのです.が,問題があることも指摘されています.「このように」.また「ここにある」ように,社会科学系のある雑誌には,帰無仮説有意性検定を用いた論文は基本的に掲載されないこともあるとか.

結論としては,統計分布をちゃんと出して,それに基づいて議論しなさいよ,と,いうことです.(統計分布を出す方法論の一つとして,マルコフ連鎖モンテカルロ,要するに物質科学でいうところのごくフツーのモンテカルロ,が推奨されています.)

コメントを残す

メールアドレスが公開されることはありません。 が付いている欄は必須項目です

このサイトはスパムを低減するために Akismet を使っています。コメントデータの処理方法の詳細はこちらをご覧ください