読書メモ：統計はこうしてウソをつく

▼統計はこうしてウソをつく
　質問紙系のオシゴトに声をかけていただいたので、久々にブラッシュアップのために流し読みしかしていなかった『統計はこうしてウソをつく』を読む。
　いわゆるリサーチリテラシー（by谷岡一郎氏）系の本は、上記以外にも、谷岡氏による『社会調査のウソ』や、ブルーバックスの名書『統計でウソを付く法』などいくつかあるが、本書は、新書よりは専門的な内容である。

　と言っても、専門的=難しいという意味ではない。身近な例（アメリカの話題が多い）で、いわゆる社会統計の問題が幅広く取りあげられている。谷岡氏の本は日本の事例が多いから、本書を読むとバランスが取れるかも。

　なかなか面白かったので、メモを取ってみた。なお、読書メモはおざわ日記二本化（パブリック＆プライベート）に伴い、本家は移行予定。プライベート版では基本的には「わたし」が主語だが、読み替え可能…なはず。

▼統計の壁、みたいなもの
　私自身、それなりに統計を学んできたつもりだったが、本書を読んで、なるほど！と思わされることが少なくなかった。
　たとえば、自分はこれまで「日本よりアメリカの方が弁護士が多い」という説をそのまま信じていたし、「自殺は青年期の人の第二の死因である」的な主張も、そのまま受け入れていた（単に無知だけかもしれぬが？）。

　しかし本書によれば=二次資料を用いてはならないのだが、前者について弁護士（ローヤー）の制度は、日米で異なり、司法試験の合格率にも大きな違いがあるらしい（関連p.145）。後者では、青年期にはそもそもいわゆる成人病で亡くなる人の数は少ない、という事実を忘れていた(p152)。

　さすがに、最近では若干の調査経験を通して、サンプルの問題（誰が対象になっているのか）や、ワーディングの問題（注：参照）は、私もかなり見極められるようになった。
　しかし、そもそも調査の前提となっている定義だとか、その他の（一見、見えにくい）要因については、「常識」的知識が災いしてしまうようだ。なかなかクリティカルシンカー（批判的思考者）になるのは難しい。

注：本書が紹介している例では、たとえば「あなたは違法な銃販売を取り締まることに賛成ですか」と聞けば、4分の3が賛成し、「誰が銃を所持してよく、誰が銃を所持してはいけないかを決める権限を警察に与える法律に賛成ですか、反対ですか」と聞けば逆の結果になる(pp.68-69)。前者は、銃規制論者による調査で、後者は全米ライフル協会による調査である、という点に注意する必要があるだろう。質問の出し方で結果は違ってくる。

▼UFOに誘拐されたことがある人の割合
　単純に面白かったのは、「UFOに誘拐されたことがあるか」という調査のお話。本書によれば、「目覚めると体が麻痺していて、部屋のなかに見知らぬ人間がいる、あるいは何かがあるという感じがした」などの指標を作り、一定の基準（5問中4問？）を満たした人を該当者として定義した例があるらしい。結果は、「人口の2%がUFOに誘拐されたことがある」(p.70)である。

　なんとも笑い話ではあるが、下手をすれば同じようなことをしでかす可能性がないわけではなく（程度はもちろん異なるが）、留意が必要そうだ。他にも、面白いネタが多々あったのだが、詳細は読んでのお楽しみ）。

▼新たな統計に出会ったときに立てるべき基本的な問い
　なお、著者による「新たな統計に出会ったとき立てるべき基本的な問い」は、「誰がこの統計をつくったのか」「この統計はなぜつくられたのか」「この統計はどのようにつくられたのか」の3つであった(pp.43-44)。

　本書の最後にたたみかけるように書いてあった社会統計に関する批判的アプローチについての一文が印象に残ったので、ご紹介させていただく。

　目標はリストを暗記することではなく、慎重なアプローチを考え出すことだ。統計について批判的になるには、数字について疑問を発する用意が必要だ。たとえば、報道を見聞きして新たな統計に出会ったら、批判的な人々は評価を下そうとする。この数字の出所は何なのだろうか。どうやってこの数字を出したのだろうか。この数字を出したのは誰で、どんな利害があるのだろうか。鍵となるコトバにはどのような定義がありうるのだろうか。そして、どの定義が選ばれたのだろうか。この現象にはどのような測定方法があり、そのうちどれが選ばれたのだろうか。どのようなサンプルが集められ、そのサンプルは結果にどう影響するのか。統計は適切に解釈されているか。比較がおこなわれているのか。そうだとすれば、比較は適切か。競合する統計があるか。そうだとすれば、対立する統計を掲げる人たちはその論点にどんな利害がかかっているのか。また、その利害はその人たちの統計の用い方にどんな影響を与えそうか。なぜ統計が対立するように思われるのか、対立する陣営どうしが数字を用いる仕方にはどんな違いがあるのかを理解することは可能か。(『統計はこうしてウソをつく』より引用：pp.214-215)

　社会調査は「疑問文」によって成立しているが（アンケートの基本は疑問形である）、それを読み解く際にも「疑問」が必要なんだな、ということを改めて確認してみたり。ネット調査も含めると、ますます奥の深い世界だわな。

▼追記
　なお、本書にはオンラインサーベイについては何ら言及はない（そもそも、そのような趣旨の本ではない。あくまで社会調査全般の読み方の本）。