410人全員がGPS参加者ではない——分母を追う
Cat Tracker後の調査は473件から評価部分へ答えた410人を採用しましたが、31件は1〜2問のみで、質問ごとに人数が異なります。GPS参加者、非追跡飼い主、非飼い主を分け、前後調査の限界を詳しく読みます。

導入会話
マロン学長「評価調査410人なら、GPSで愛猫を追跡した飼い主410人?」
いち教授「違うよ。追跡参加者も、追跡されなかった猫の飼い主も、非飼い主も含むんだ。」
マロン学長「タイトルだけで分母を決めると危ないね。」
この回でわかること
- 473件から410件になった流れ
- 解析ごとに人数が違う理由
- 前後比較と群比較で断定できないこと
元の参加者へ評価調査を送った
公開報告書の後、2017年3〜5月に、元のCat Tracker調査参加者へオンライン評価調査を案内しました。取得した473件のうち、評価部分へ答えなかった63件を除き、410件を評価対象にしました。
さらに31件は、評価質問へ1〜2問しか答えていません。各質問は必須ではなかったので、学び、態度、行動の各解析で人数が変わります。410を全ての割合の分母にしてはいけません。
論文を深く読む
410人には三つの立場があります。自分の猫がGPS追跡された飼い主、元調査へ参加したが追跡されなかった飼い主、猫を飼っていない参加者です。
論文は追跡へ参加した人を市民科学者、それ以外を主に「見ていた人」と整理しました。ただし、追跡されなかった飼い主の中には追跡へ志願したのに、時間や予算のため選ばれなかった人もいます。非追跡群を、関心が低く何もしていない対照群とみなせません。
無作為割付ではない
誰の猫を追跡するかは研究上の条件で選ばれました。参加者を無作為にGPS群と非GPS群へ分けたわけではありません。追跡へ志願する意欲、猫の外出状況、元の態度などが群で違う可能性があります。
また、追跡群の日中の留置支持は出発点が8.8%、非追跡群は28.5%でした。最初から同じ群ではないことが、後の相対変化を読む時に効いてきます。
回答者の特徴にも偏りがある
評価回答者の年齢中央値区分は50〜59歳、教育歴の中央値は学士でした。性別へ答えた348人では女性282人、男性64人、その他・未特定2人です。
元調査は南オーストラリア在住16歳以上へ開かれていましたが、評価回答者は全員18歳以上でした。自発的参加者で、性別や教育も地域全体の縮図ではありません。
前後比較でも因果は決まらない
元調査と評価調査を照合できた回答では、同じ人の態度を前後比較できます。しかし、その間にはGPS追跡、個別結果、公開報告、メディア、地域の会話、時間経過がありました。
前後で数字が変わっても、どの要素が原因かは切り分けられません。追跡しなかった飼い主にも態度変化があったことは、情報の波及を示す可能性がある一方、単純なGPS効果を弱めます。
今日からできること
- 各割合の直前にあるnを確認する
- 非参加群が本当に無作為な対照かを見る
- 前後差と介入の因果効果を分ける
まとめ会話
マロン学長「410人は一枚岩ではなく、質問ごとに分母も違うんだね。」
いち教授「そう。標本の形を押さえてから、71%が学んだという結果へ進もう。」
次回予告
学び71%、追跡77%と非追跡67%、結果閲覧との関連を、効果の大きさと少人数の注意も含めて読みます。