講座070第3回 / 全5回公開 2026.10.04

正解率99.6%をそのまま信じていい？

猫の加速度研究が報告した正解率99.6%を、感度・適合率・特異度と分けて読みます。同じ10匹の秒区間を学習と評価へ分けた設計から、未知の猫へ一般化できない理由も解説します。

いち教授

講座070

導入会話

マロン学長「正解率99.6%なら、ほとんど完璧なAIに見えるよ。」

いち教授「強い結果だけれど、何を何に対して当てた数字かを先に見よう。」

マロン学長「見逃しや、初めて見る猫での性能は別に確かめる必要があるの？」

いち教授「その二つを分けると、99.6%を正しい大きさで受け取れるよ。」

20,000秒を学習に使った自己組織化マップは、残りの約192,000秒に対して全体正解率99.6%でした。全区間のうち正しいラベルになった割合なので、分類全体の見通しには便利です。

しかし、研究は特異度99.8%、適合率93.3%、感度89.2%も報告しました。感度は、実際にその行動だった区間をどれだけ拾えたかです。適合率は、その行動だと判定した区間のうち本当に正しかった割合です。特異度は、その行動ではない区間を正しく除外できた割合です。

感度89.2%なら、平均として実際の行動の一部は別ラベルへ分類されています。どの誤りが困るかは目的でも違います。珍しい行動を見落としたくない調査と、誤検出を減らしたい調査では重視する指標が変わります。

正解率99.6%と感度89.2%は矛盾せず、同じ分類の異なる面を表します。

猫が長い時間横になり、疾走や飛びかかりが短いなら、データ中の行動数は大きく偏ります。横になる区間をほぼ正しく当てるだけでも、全体の正解数は大きく増えます。

この研究でも、横になる、歩く、食べる／飲むは学習例が多く、少ない学習量でも約99%の精度でした。疾走は715例、飛びかかりは3,884例と少なく、報告された精度は76%、83%でした。

全体正解率は分類器が役に立たないという意味ではありません。多くの時間を占める行動の時間配分を測る目的なら重要です。ただし、短く珍しい狩り関連行動を探す目的では、行動別の見逃しを合わせて読む必要があります。

多数派の行動で高得点でも、少数派の行動を同じ強さで見分けられるとは限りません。

マロン学長「全体テストが99点でも、出題の少ない分野だけ苦手なことがあるんだね。」

数字のもう一つの条件はデータの分け方です。学習用20,000秒と評価用約192,000秒は、CatBibなしで記録した同じ10匹のデータから無作為に選ばれました。一匹を丸ごと評価専用にしたわけではありません。

猫には歩幅、体格、ハーネスの当たり方など個体ごとの特徴があります。連続記録では、隣り合う秒の波形もよく似ます。同じ個体・同じ場面に近い区間が学習と評価の両方へ入れば、未知の猫だけで試すより分類しやすい可能性があります。

未知の猫への性能を知るなら、猫単位で学習群と評価群を完全に分けたり、別地域・別時期の猫で外部検証したりする設計が必要です。本研究はそこまで行っていません。

この99.6%は同じ10匹の記録内での区間分類であり、新しい猫への保証値ではありません。

研究結果を読む時は、数値を小さく見せる必要も、大きく見せる必要もありません。「この条件では高かった」と受け止め、使う場面が条件から離れるほど追加検証が必要だと考えます。

マロン学長「99.6%は同じ猫の別区間での全体正解率なんだね。」

いち教授「そう。感度は89.2%で、珍しい行動ほど弱さもあったよ。」

マロン学長「高い結果は認めつつ、新しい猫でも同じとはまだ決めないんだよね。」

いち教授「その読み方が大切なんだよ。次は学習例数を詳しく比べよう。」

第4回は、1,000〜100,000秒の学習量を比べ、少ない行動ほどAIが迷いやすい理由を見ます。

Galea N, et al. Scientific Reports. 2021;11:13566. https://doi.org/10.1038/s41598-021-92896-4