【G検定対策】Seq2Seqとは？｜AttentionやTransformer登場前はどうしていたのか

生成AIの話になると、Transformer や GPT という言葉がよく登場します。

しかし、その前に「文章を入力して文章を出力する」という仕組みをどう実現していたのかをたどると、Seq2Seq（Sequence to Sequence）という重要な考え方に行き着きます。

Seq2Seqは翻訳や文章生成の基礎となった仕組みであり、後のAttentionやTransformerが登場するきっかけにもなりました。

Transformerだけを単体で覚えるのではなく、「なぜ新しい仕組みが必要になったのか？」という流れで理解すると、生成AIの内部がかなり見えやすくなります。

この「進化の流れ」を理解していると関連用語を整理しやすくなります。

Seq2Seqとは？

Seq2Seq（Sequence to Sequence）は「入力された系列（Sequence）を、別の系列に変換する仕組み」です。

たとえば翻訳なら

このように

　入力文 → 出力文

へ変換します。

この「文から文」、「系列から系列」への変換を行うのがSeq2Seqです。

よく使われた例

• 機械翻訳
• 要約
• チャットボット
• 音声認識
• 質問応答

つまり「生成AI以前の文章変換の基本」とも言える仕組みです。

AI内部では何が起きている？

Seq2Seqは、大きく2つの役割に分かれます。

役割はこうです。

Encoder

入力文を読み取り「この文は何を言っているのか？」を内部表現に変換します。

Decoder

Encoderが作った情報をもとに 新しい文章を1語ずつ生成する 役割です。

つまり、Seq2Seqは「読む役」と「書く役」に分かれていたのです。

具体例で見るとわかりやすい

たとえば翻訳の場合。

入力が「I love AI」

Encoderが

• I
• love
• AI

を読んで意味をまとめる。

内部で「AIが好き」という意味を圧縮する。

Decoderが「私はAIが好き」と出力する。

この流れです。

つまり「一度意味を理解してから、別の形で出力する」のがSeq2Seqです。

なぜ画期的だったのか？

Seq2Seq以前は

• 単語ごとの対応
• ルールベース翻訳
• 手作業による変換

などが中心でした。

Seq2Seqは「文全体を読んでから文を作る」という考え方を導入しました。

これにより

• 自然な翻訳
• 文脈を考えた出力
• 柔軟な文章生成

ができるようになりました。

これは当時かなり画期的でした。

でも問題があった

ここが重要です。

Seq2Seqは、入力文の情報を「1つの中間情報」に圧縮していました。

イメージ

短文なら良いのですが、長文になると…

• 前半の情報を忘れる
• 細かい関係が消える
• 長い翻訳が苦手

という問題が出ました。

つまり「全部を1つに押し込む」のが苦しかったのです。

Attentionが登場

Attentionは「必要な場所を見に行く」仕組みです。

従来

Attention

つまり、前の情報を全部忘れず、必要な場所に注目できるようになりました。

これでSeq2Seqの弱点がかなり改善されました。

Transformerへ進化

さらに、進化したのがTransformerです。

Transformerは、Seq2Seq + Attention をさらに発展させて「全部の単語同士の関係を同時に見る」ようになりました。

流れで見ると

ここでつながります。

つまり、Transformerは突然出てきたわけではない のです。

GPTとどう関係している？

GPTも、この流れの先にあります。

ざっくり言うと

GPTは、Transformerの仕組みを使いながら、特に「次の単語を予測して文章を作る」方向に特化したものです。

なので、Seq2Seqは「生成AIの祖先のような考え方」と言えます。

混同しやすい用語

Seq2Seq、Attention、Transformerはよく混同します。

理由は、全部

• 文章を扱う
• 生成に使う
• 文脈を見る
• 翻訳などで登場する

からです。

でも役割は違います。

つまり

• Seq2Seqは「考え方」
• Attentionは「改善機構」
• Transformerは「新しい構造」

という違いがあります。

G検定ではどう問われる？

G検定では「Seq2Seqの特徴として適切なものはどれか」のように

• Encoder / Decoder
• 系列変換
• Attentionとの関係
• Transformerとの違い

が問われる可能性があります。

特に注意したいのは、Seq2Seq = Transformer ではない という点です。

Transformerは、Seq2Seqの課題を改善して進化した仕組みです。

この流れを理解しておくと、関連問題にも強くなります。

まとめ

Seq2Seqは「入力系列を出力系列に変換する」という重要な仕組みでした。

流れで見ると

となります。

生成AIは突然生まれたのではなく「前の課題を改善しながら進化してきた」のです。

この流れが見えると AttentionやTransformer、GPTも単なる用語ではなく「なぜ必要になったのか」まで理解できるようになります。

関連記事・おすすめ記事

Transformerはどこで進化したのかを先に知りたい方は、こちらもおすすめです。

関連記事

【G検定対策】Transformerとは？なぜ文章生成が得意なのか？

Attentionが何を改善したのかを整理したい方は、こちらもつながります。

関連記事

【G検定対策】Attentionとは？｜なぜTransformerで重要になったのかをわかりやすく整理

GPTがこの流れの先で何をしているのかを知りたい方は、こちらもおすすめです。

関連記事

【G検定対策】GPTとは？｜Transformerとの違いからわかりやすく整理

公式テキスト

Amazonで確認

Amazonで確認する

楽天市場で確認

楽天市場で確認する

合格時に使用した問題集

Amazonで確認

Amazonで確認する

楽天市場で確認

楽天市場で確認する

運営者

このブログの運営者（文系出身）です。SEO検定1級、ウェブマスター検定1級を取得しました。ブログ運営には「AIの活用は必須」と思いG検定を取得しました。G検定は簡単といわれがちですが1回目は不合格でした。その失敗経験を元に、これから受験する方の助けになればとできるだけわかりやすくG検定対策は解説しています。間違い等あればご指摘いただければ幸いです。