【G検定対策】評価指標の使い分け方は？わかりやすく整理

AIの評価では、単に「正解率が高いか」だけを見ればよいとは限りません。データに偏りがある場合、精度が高く見えても、本当に見つけたいものを見逃していることがあります。

重要なのは、見逃しを減らしたいのか、誤判定を減らしたいのか、全体の正解率を見たいのかを目的に合わせて整理することです。

この記事では、精度・適合率・再現率・F1値の使い分けを、混同行列や交差検証との関係も含めて解説します。

評価指標の使い分け方とは？

評価指標の使い分け方とは、AIを使う目的に合わせて、見るべき指標を選ぶことです。

AIの性能を評価するとき、よく使われる指標には、精度・適合率・再現率・F1値があります。

それぞれ見ているものが違います。

ざっくり言うと、見逃しが問題なら再現率、誤判定が問題なら適合率、両方のバランスならF1値 を見ます。

G検定では、指標の名前だけでなく、どの場面でどの指標を使うかが問われやすいです。

精度だけでは不十分な理由

精度は、全体の中でどれだけ正解したかを見る指標です。

たとえば、100件中95件を正しく分類できれば、精度は95%です。

一見すると、とてもよいモデルに見えます。

しかし、データに偏りがある場合は注意が必要です。

たとえば、100件のうち95件が通常データ、5件が異常データだったとします。
このとき、AIがすべてを「通常」と予測しても、95件は当たるため、精度は95%になります。

この場合、精度は高く見えますが、異常データをまったく見つけられていません。

つまり、目的によっては 精度が高くても役に立ちにくいモデル になることがあります。

そのため、評価指標は目的に合わせて使い分ける必要があります。

見逃しを減らしたいときは再現率

見逃しを減らしたいときは、再現率を重視します。

再現率とは、実際に陽性であるものを、どれだけ拾えたかを見る指標です。

たとえば、病気の検査では、本当に病気の人を見逃すことが大きな問題になります。

このような場面では、多少の誤検知があっても、まずは見逃しを減らすことが重要です。

再現率は、本当に拾うべきものをどれだけ拾えたか を見る指標です。

「見逃しが危険な場面では再現率」と整理するとわかりやすいです。

誤判定を減らしたいときは適合率

誤判定を減らしたいときは、適合率を重視します。

適合率とは、AIが陽性と予測したもののうち、どれだけ本当に陽性だったかを見る指標です。

たとえば、迷惑メール判定で、通常のメールを何度も迷惑メールにしてしまうと困ります。

このような場面では、「陽性」と判定したものの正しさが重要になります。

適合率は、AIが当てたつもりのものが本当に正しいか を見る指標です。

「誤判定を減らしたい場面では適合率」と整理すると判断しやすくなります。

両方のバランスを見たいときはF1値

F1値は、適合率と再現率のバランスを見るための指標です。

適合率だけが高くても、再現率が低ければ見逃しが多い可能性があります。

反対に、再現率だけが高くても、適合率が低ければ誤判定が多い可能性があります。

F1値は、どちらか一方だけでなく、両方をバランスよく見たいときに使います。

G検定では、F1値を 適合率と再現率のバランスを見る指標 として押さえておくとよいです。

不均衡データではどの指標を見るべきか？

不均衡データとは、クラスごとのデータ数に大きな偏りがあるデータのことです。

たとえば、通常データが99%、異常データが1%のような場合です。

このようなデータでは、精度だけを見ると危険です。

AIがすべてを多数派のクラスと予測しても、高い精度が出てしまうことがあるからです。

不均衡データでは、目的に応じて適合率・再現率・F1値を見ることが重要です。

特に、少数派のクラスを見つけたい場合は、再現率やF1値を確認するとよいです。

混同行列との関係

評価指標は、混同行列とセットで理解すると整理しやすくなります。

混同行列とは、AIの予測結果を「実際の状態」と「予測した状態」で整理した表です。

それぞれの意味は次の通りです。

適合率では、FPが重要になります。
FPが多いと、陽性と予測した中に間違いが多いことになるからです。

再現率では、FNが重要になります。
FNが多いと、本当は陽性なのに見逃したものが多いことになるからです。

混同行列を理解しておくと、評価指標の意味がかなり整理しやすくなります。

交差検証との関係

評価指標は、1回だけ計算すれば十分とは限りません。

データの分け方によって、評価結果がたまたま良く見えたり、悪く見えたりすることがあります。

そこで使われるのが交差検証です。

交差検証は、データの分け方を変えながら複数回評価し、モデルの性能を安定して確認する方法です。

たとえば、適合率や再現率を1回だけ確認するより、交差検証で複数回確認した方が、モデルの実力を見やすくなります。

評価指標は 何を見るか、交差検証は どう安定して評価するか と分けると理解しやすいです。

G検定ではどう問われる？

G検定では、評価指標の計算そのものよりも、目的に応じた使い分けが問われやすいです。

特に、精度だけで判断してよいか、適合率と再現率のどちらを重視するか、F1値をいつ使うかを整理しておくと判断しやすくなります。

次のように整理しておくと、選択肢を判断しやすくなります。

「精度が高いからよいモデル」と考えるのではなく、何を見逃したくないのか、何を誤判定したくないのか まで考えることが大切です。

まとめ

評価指標は、AIの性能を目的に合わせて確認するためのものです。

精度は全体の正解率、適合率は陽性と予測した中の正しさ、再現率は実際の陽性をどれだけ拾えたかを見ます。

F1値は、適合率と再現率のバランスを見る指標です。

G検定では、評価指標を単独で暗記するよりも、目的に応じてどの指標を選ぶか で整理することが大切です。

特に、不均衡データでは精度だけでは判断しにくいため、適合率・再現率・F1値をあわせて確認する考え方を押さえておきましょう。

関連記事・おすすめ記事

各指標の基本的な意味を確認したい場合は、精度・適合率・再現率の記事で整理しています。

【G検定対策】精度・再現率・適合率とは？わかりやすく整理

指標を正しく使うためには、評価データの分け方や検証方法も重要です。

【G検定対策】交差検証（クロスバリデーション）とは？わかりやすく整理

評価指標が良く見えても、学習データに合わせすぎている場合は過学習に注意が必要です。

【G検定対策】過学習とは？わかりやすく整理

評価結果の原因を整理するときは、バイアスと分散の関係も確認しておくと理解しやすくなります。

【G検定対策】損失関数とは？わかりやすく整理

重要用語をチェックシートとしてまとめました。

こちらもおすすめ

【G検定対策】重要用語チェックシート

用語の意味をまとめて確認したい場合は、G検定で覚えたいAI用語一覧もあわせて読んでみてください。

【G検定対策】G検定で覚えたいAI用語一覧｜意味・違い・見分け方をわかりやすく整理

1回目不合格でした。不合格だった原因を分析しました。

【不合格体験談】G検定に落ちた原因｜「成功体験」と「過学習」が落とし穴

公式テキスト

Amazonで確認

Amazonで確認する

楽天市場で確認

楽天市場で確認する

合格時に使用した問題集

Amazonで確認

Amazonで確認する

楽天市場で確認

楽天市場で確認する

運営者

このブログの運営者です。文系出身です。SEO検定1級、ウェブマスター検定1級を取得しました。ブログ運営には「AIの活用は必須」と思いG検定を取得しました。G検定は簡単といわれがちですが1回目は不合格でした。その失敗経験を元に、これから受験する方の助けになればとできるだけわかりやすくG検定対策は解説しています。間違い等あればご指摘いただければ幸いです。