【不合格体験談】G検定に落ちた原因｜「成功体験」と「過学習」が落とし穴
seo-webmaster
SEO・ウェブマスターブログ
【G検定対策】誤差逆伝播法とは？AIの反省会…
seo-webmaster
プロモーションが含まれています
ニューラルネットワークは、予測を出して終わりではありません。
予測が間違っていたときに、その間違いをもとに内部の重みを少しずつ修正することで、次の予測を改善していきます。
ここで重要になるのが誤差逆伝播法です。
G検定では、誤差逆伝播法を数式で細かく計算するよりも、「出力側の誤差を前の層へ伝え、重みの修正につなげる方法」として理解しておくことが大切です。
この記事では、ニューラルネットワークの学習の流れとあわせて、誤差逆伝播法の役割を整理します。
ジャンプするもくじ
誤差逆伝播法とは？
誤差逆伝播法とは、ニューラルネットワークの出力結果と正解の差をもとに、どの重みをどれくらい修正すればよいかを後ろの層から前の層へ伝える方法です。
英語では Backpropagation と呼ばれます。
ニューラルネットワークは、入力されたデータを前の層から後ろの層へ順番に処理して、予測を出します。
一方で、学習するときは、予測結果の間違いを出力側から前の層へ戻しながら、「どこを直すべきか」を計算します。
入力する
↓
予測する
↓
正解との差を測る
↓
誤差を後ろから前へ伝える
↓
重みを修正する
つまり、誤差逆伝播法は、AIが間違いをもとに内部を見直すための仕組みです。
なぜ誤差逆伝播法が必要なのか？
ニューラルネットワークには、多くの重みがあります。
そのため、予測が間違ったときに、どの重みがどれくらい影響していたのかを考える必要があります。
もし「間違えたから全部の重みを適当に直す」としてしまうと、学習はうまく進みません。
重要なのは、間違いに大きく関係した重みを、適切な方向に修正することです。
誤差逆伝播法は、出力側で発生した誤差を前の層へ戻しながら、それぞれの重みがどれくらい誤差に関係していたかを計算します。
その結果、ニューラルネットワークは効率よく重みを修正できるようになります。
誤差逆伝播法の流れ
誤差逆伝播法は、ニューラルネットワークの学習の中で使われます。
大きな流れは以下です。
流れで見ると、以下のようになります。
順伝播
→
予測を出す
損失関数
→
間違いを測る
誤差逆伝播法
→
どこを直すか伝える
勾配降下法
→
重みを更新する
誤差逆伝播法だけで学習が完了するわけではありません。
損失関数や勾配降下法とセットで働くことで、重みが少しずつ改善されます。
順伝播と逆伝播の違い
誤差逆伝播法を理解するには、順伝播との違いを押さえるとわかりやすいです。
順伝播は、入力データをもとに予測を出す流れです。
逆伝播は、予測の間違いをもとに、前の層へさかのぼって重みの修正に必要な情報を伝える流れです。
順伝播
＝
予測する流れ
逆伝播
＝
修正するための流れ
「予測は前へ、修正の情報は後ろへ戻る」と整理すると覚えやすいです。
何を修正しているのか？
誤差逆伝播法で修正につなげている主な対象は、重みです。
ニューラルネットワークでは、各入力や特徴に対して、どれくらい重要視するかを表す重みがあります。
予測が間違っていた場合、誤差逆伝播法によって「どの重みが誤差に関係していたか」を計算し、その情報を使って重みを修正します。
つまり、誤差逆伝播法は、重みを直接適当に変える方法ではありません。
重みをどう直すべきかを計算するための仕組み と考えると整理しやすくなります。
損失関数・勾配降下法との関係
誤差逆伝播法は、損失関数や勾配降下法と混同しやすい用語です。
それぞれの役割を分けると、かなり理解しやすくなります。
一言で整理すると、以下です。
損失関数
＝
間違いを測る
誤差逆伝播法
＝
どこを直すか伝える
勾配降下法
＝
どう直すか決める
学習率
＝
どれくらい直すか決める
この4つは、別々に覚えるよりも、ニューラルネットワークの学習の流れの中でまとめて理解するのがおすすめです。
誤差逆伝播法で注意したいこと
誤差逆伝播法は、ニューラルネットワークの学習に欠かせない重要な方法ですが、万能ではありません。
特に深いニューラルネットワークでは、誤差を前の層へ伝える途中で、勾配が非常に小さくなってしまうことがあります。
これが 勾配消失問題 です。
勾配消失問題が起きると、前の層の重みがうまく更新されず、深いネットワークの学習が進みにくくなります。
そのため、活性化関数の工夫やネットワーク構造の工夫が重要になります。
G検定ではどう問われる？
G検定では、誤差逆伝播法の計算式そのものよりも、役割と流れ が問われやすいです。
特に、以下のようなポイントを押さえておくとよいです。
特に
損失関数
＝
間違いを測る
誤差逆伝播法
＝
どこを直すか伝える
勾配降下法
＝
損失が小さくなる方向へ直す
という違いは、混同しないように整理しておきたいポイントです。
まとめ
誤差逆伝播法は、ニューラルネットワークが予測を間違えたときに、その誤差を出力側から前の層へ伝え、重みの修正につなげる方法です。
ニューラルネットワークの学習は、以下の流れで進みます。
入力から予測する
↓
正解との差を測る
↓
誤差を後ろから前へ伝える
↓
重みを修正する
↓
次の予測を改善する
誤差逆伝播法だけを単独で覚えるよりも、損失関数・勾配降下法・学習率とセットで理解すると、ニューラルネットワークの学習の流れが見えやすくなります。
まずは
誤差逆伝播法＝間違いをもとに、どの重みを直すかを後ろから前へ伝える方法
と整理しておくとよいです。
関連記事・おすすめ記事
誤差逆伝播法を理解したら、重み・損失関数・勾配降下法とのつながりもあわせて確認しておくと、ニューラルネットワークの学習の流れが整理しやすくなります。
関連記事
【G検定対策】ニューラルネットワークとは？
誤差逆伝播法で修正につなげる中心になる値が重みです。
関連記事
【G検定対策】重みとは？｜AIが「どこを重要視するか？」を決める仕組みをわかりやすく整理
どの方向に重みを更新するかは、勾配降下法とあわせて理解すると整理しやすくなります。
関連記事
【G検定対策】損失関数とは？わかりやすく整理
どの方向に重みを更新するかは、勾配降下法とあわせて理解すると整理しやすくなります。
関連記事
【G検定対策】勾配降下法とは？わかりやすく整理
誤差を前の層へ伝えるときに起きやすい問題として、勾配消失問題も確認しておきましょう。
関連記事
【G検定対策】勾配消失問題とは？なぜAIは深くすると学習しにくくなるのか
用語の意味をまとめて確認したい場合は、G検定で覚えたいAI用語一覧もあわせて読んでみてください。
こちらもおすすめ
【G検定対策】G検定で覚えたいAI用語一覧｜意味・違い・見分け方をわかりやすく整理
1回目不合格でした。不合格だった原因を分析しました。
こちらもおすすめ
【不合格体験談】G検定に落ちた原因｜「成功体験」と「過学習」が落とし穴
公式テキスト
Amazonで確認
楽天市場で確認
合格時に使用した問題集
Amazonで確認
楽天市場で確認
書いている人
このブログの運営者です。文系出身です。SEO検定1級、ウェブマスター検定1級を取得しました。ブログ運営には「AIの活用は必須」と思いG検定を取得しました。G検定は簡単といわれがちですが1回目は不合格でした。その失敗経験を元に、これから受験する方の助けになればとできるだけわかりやすくG検定対策は解説しています。間違い等あればご指摘いただければ幸いです。
記事URLをコピーしました