同じ人・別の人が答えても同じ結果？

導入会話

マロン学長「家族はぼくを甘えん坊って言うけど、別の人は慎重だって言うんだ。どっちが正しいのかな？」 いち教授「一緒にいる場面が違えば、見える行動も違うんだよ。質問紙では、その違いも数字で確かめるんだ。」 マロン学長「同じ人が後で答える場合と、別の人が答える場合は分けるの？」 いち教授「その2つが、再検査信頼性と評価者間信頼性なんだ。」

この回でわかること

• 再検査信頼性の意味
• 評価者間信頼性の意味
• 一致が完全ではない時の読み方

同じ人が36～106日後に回答

同じ飼い主がもう一度回答した再検査データは127匹でした。回答間隔は36～106日、平均66日です。

7因子の相関は0.69～0.92、平均0.83でした。最も高いのは人への攻撃行動0.92、最も低いのは過剰グルーミング0.69です。

再検査信頼性は、時間をおいた回答の順位がどれほど似ていたかを示します。猫の性格が一生変わらないことを示す数字ではありません。

別の同居人が回答

同じ猫を知る別の成人が、相談せずに回答したデータは41匹でした。回答間隔は47～164日、平均109日です。

単一評価者の一致度ICC(1,1)は0.61～0.87、平均0.72でした。複数評価者の平均に相当するICC(1,k)は0.75～0.93、平均0.83です。

平均0.83だけを取り上げると、一人ずつの評価も同じ精度だと誤解します。単一評価者と複数評価者平均のICCは分けて読みます。

同じ猫でも評価は完全一致しない

別回答者の一致はおおむね良好でしたが、完全ではありません。人への攻撃行動のICC(1,1)は0.61、過剰グルーミングは0.87でした。

家族Aは爪切りや投薬を担当し、家族Bは遊びを担当するなら、人への反応について見ている場面が違います。回答差は、どちらかの観察力不足だけでなく、猫が相手や状況で行動を変えた可能性も含みます。

内的一貫性も同じではない

同じ因子の質問項目がまとまる程度を示すCronbachのαは0.60～0.90でした。怖がりは0.90でしたが、過剰グルーミング0.66、トイレ問題0.60は低めです。

項目数が少ない、行動がまれ、回答時点で変動しやすい場合、まとまりは弱くなります。すべての因子が同じ精度で測れたとは言えません。

信頼性と正しさは同じではない

同じ人が繰り返し似た評価をしても、その人の見方が一貫しているだけかもしれません。別の人と似ていても、質問が目的の特性を測っているかは別問題です。

そのため研究は、先行研究から立てた25仮説との対応など、妥当性も別に確認しました。信頼性は必要ですが、それだけで十分ではありません。

今日からできること

• 家族で評価が違ったら、誰がどの場面を見たかを比べる
• 一度の印象ではなく、日と場面を変えて同じ行動が出るかを見る

まとめ会話

マロン学長「同じ人の再回答は平均0.83、別の一人ずつなら平均0.72なんだね。」 いち教授「そうだよ。似てはいるけれど、完全に同じではないんだ。」 マロン学長「家族の評価が違う時は、見た場面の違いを探せばいい。」 いち教授「次は、目を引きやすい品種差を慎重に読んでみよう。」

次回予告

第4回は、26品種群の全体差が個々の猫の性格を決めない理由を整理します。

参考文献

Mikkola S, et al. Reliability and Validity of Seven Feline Behavior and Personality Traits. Animals. 2021;11(7):1991. https://doi.org/10.3390/ani11071991