【G検定対策】生成AIの仕組みを流れで理解する｜事前学習・RLHF・RAG・アライメントの関係

生成AIに関係する用語は、単語だけで覚えようとすると混同しやすくなります。

事前学習、ファインチューニング、RLHF、RAG、アライメントは、それぞれ別の意味を持つ言葉ですが、生成AIが「使える形」になるまでの流れ として見ると理解しやすくなります。

この記事では、生成AIがどのように基礎力を身につけ、人間にとって使いやすい形へ調整され、外部情報で補われるのかを整理します。

用語の意味だけでなく「どの段階の話なのか」を問われることがあるため、流れで理解しておくことが大切です。

生成AIの仕組みは「流れ」で見ると理解しやすい

生成AIは、最初から人間にとって使いやすい回答ができるわけではありません。

大まかには、次のような流れで理解するとわかりやすいです。

この流れの中で登場するのが

という考え方です。

事前学習｜まずは大量データで基礎力を身につける

生成AIの土台になるのが、事前学習です。

事前学習では、大量の文章データを使って、言葉の使われ方や文脈、文章のパターンを学びます。

ここで重要なのは、事前学習は「特定の仕事だけを覚える段階」ではないということです。

たとえば

• 文章の続きを予測する
• 言葉と言葉の関係を学ぶ
• 文脈の流れをつかむ

ような形で、広い意味での基礎力を身につけます。

つまり、事前学習は生成AIにとっての 土台作り です。

目的に合わせて追加調整するファインチューニング

事前学習だけでは、特定の目的にぴったり合うとは限りません。

そこで使われるのが、ファインチューニングです。

ファインチューニングは、事前学習済みのモデルに対して、特定の目的に合わせて追加で学習させる方法です。

たとえば

事前学習が「基礎力」だとすると、ファインチューニングは 専門化 に近い考え方です。

RLHF｜人間の評価で回答を調整する

生成AIは、ただ文章を生成できるだけでは十分ではありません。

人間から見ると

• 正しそうだけど不自然
• 答え方が乱暴
• 必要以上に危険な内容を出す
• 質問の意図とズレる

といった問題が起こることがあります。

そこで使われる代表的な方法が、RLHFです。

RLHFは、人間のフィードバックを使って、より好ましい回答に近づける考え方です。

ここでのポイントは、RLHFは「知識を増やす方法」というより、回答の傾向を整える方法 だということです。

アライメント｜人間の意図に沿うように整える

アライメントは、AIを人間の意図や価値観に沿わせる考え方です。

RLHFと混同しやすいですが、役割は少し違います。

つまり

と整理するとわかりやすいです。

アライメントは、AI倫理や安全性、ハルシネーション対策とも関係します。

ただし、アライメントを行えばすべての問題が解決するわけではありません。
どの価値観に合わせるのか、誰の基準を反映するのか、という難しさもあります。

RAG｜外部情報を使って回答を補う

生成AIは、事前学習で得た知識をもとに回答します。

しかし、事前学習した時点より新しい情報や、社内文書のような個別情報には弱い場合があります。

そこで使われるのが、RAG です。

RAGは、外部情報を検索・参照しながら回答を生成する仕組みです。

RAGは、モデルそのものを直接学習し直すというより、回答時に外部情報を使う仕組み です。

そのため、ファインチューニングやRLHFとは役割が違います。

用語の関係を一覧で整理

生成AIの仕組みは、用語を単独で覚えるより、流れの中で見ると整理しやすくなります。

特に混同しやすいのは、次の3つです。

G検定ではどう問われる？

G検定では、細かい実装手順よりも、それぞれの用語の役割の違いが問われやすいです。

たとえば、次のような整理が重要です。

単語だけで覚えると、RAGもファインチューニングも「AIをよくする方法」に見えてしまいます。

しかし、役割で見ると違います。

この違いを押さえると、選択肢の表現が変わっても判断しやすくなります。

まとめ

生成AIの仕組みは、用語をバラバラに覚えるよりも、流れで理解した方が整理しやすくなります。

まず、事前学習によって大量データから基礎力を身につけます。

その後、ファインチューニングによって目的に合わせて調整され、RLHFによって人間にとって好ましい回答へ近づけられます。

さらに、RAGによって外部情報を参照できるようになり、アライメントによって人間の意図や価値観に沿う方向へ整えられます。

つまり、生成AIは単に「大量データで学んだAI」ではなく、さまざまな調整や補助の仕組みによって、実際に使いやすい形へ近づけられていると考えるとわかりやすいです。

関連記事・おすすめ記事

生成AIの土台になる事前学習について、もう少し詳しく整理したい場合はこちらの記事も参考になります。

関連記事

【G検定対策】事前学習（Pre-training）とは？｜LLMはどうやって大量知識を身につけるのか

事前学習済みモデルを特定目的に合わせる仕組みとして、ファインチューニングもあわせて理解しておくと流れが見えやすくなります。

関連記事

【G検定対策】ファインチューニングとは？｜AIはどうやって専門化されるのか

人間の評価を使って回答を調整する方法として、RLHFの考え方も重要です。

関連記事

【G検定対策】RLHFとは？｜生成AIはどうやって人間に好ましい回答へ近づくのか

外部情報を参照して回答を補う仕組みとして、RAGは生成AIの理解に欠かせないテーマです。

関連記事

【G検定対策】RAGとは？｜なぜ生成AIに必要なのかをわかりやすく整理

生成AIの中心になる大規模言語モデルについては、LLMの記事で基本を確認できます。

関連記事

【G検定対策】LLMとは？｜GPTとの違いからわかりやすく整理

生成AIを人間の意図に沿わせる考え方として、アライメントもあわせて整理しておくと理解が深まります。

関連記事

【G検定対策】アライメントとは？｜AIを人間の意図に沿わせる考え方をわかりやすく整理

用語の意味をまとめて確認したい場合は、G検定で覚えたいAI用語一覧もあわせて読んでみてください。

こちらもおすすめ

【G検定対策】G検定で覚えたいAI用語一覧｜意味・違い・見分け方をわかりやすく整理

1回目不合格でした。不合格だった原因を分析しました。

こちらもおすすめ

【不合格体験談】G検定に落ちた原因｜「成功体験」と「過学習」が落とし穴

公式テキスト

Amazonで確認

Amazonで確認する

楽天市場で確認

楽天市場で確認する

合格時に使用した問題集

Amazonで確認

Amazonで確認する

楽天市場で確認

楽天市場で確認する

運営者

このブログの運営者です。文系出身です。SEO検定1級、ウェブマスター検定1級を取得しました。ブログ運営には「AIの活用は必須」と思いG検定を取得しました。G検定は簡単といわれがちですが1回目は不合格でした。その失敗経験を元に、これから受験する方の助けになればとできるだけわかりやすくG検定対策は解説しています。間違い等あればご指摘いただければ幸いです。