生成AI解説：LLM、自然言語処理の非連続的進化を引き起こしたTransformer構造

Transformerが登場する前、AI（RNNやLSTMなど）は、文章を理解したり翻訳したりする際に、「左から右へ順番に処理する方式」を採用していました。

しかし、この「順番に処理する方式」が、長い文章を読む際に問題を引き起こしました。文頭にある重要な情報が、文末に到達するまでに薄れてしまい、長距離にある単語同士の関係性（長距離依存関係）をしっかりと保つのが難しかったのです。

この問題を解決するために登場したのがTransformerモデルです。

このモデルは、これまでの「順番に処理する方式」を完全に廃止した「セルフ・アテンション（Self-Attention）機構」を採用しています。これにより、自然言語処理の分野に、まさにパラダイムシフトが起こりました。

セルフ・アテンションでは、文章内の（所定の範囲にある）すべての単語間の関係を同時に計算します。これにより、どんなに離れていても、重要な単語同士の関係性を即座に、かつ平等に評価できるようになりました。

一方で、セルフ・アテンションではすべての単語を同時に処理するため、単語の「順番」という情報が失われてしまいます。

そのため、モデルが元の文での単語の位置を把握できるように、位置情報を特定のパターンに変換し、単語の中にその情報を埋め込みました(Positional Encoding)。これにより、AIは「どの位置にある単語が、どの位置にある単語と深く関係しているのか」を正確に計算できるようになりました。

さらにTransformerは、このセルフ・アテンションを並列に複数系統実行します（Multi-Head Attention）。もちろん同じ処理を複数実行するわけではなく評価する関係性の基軸が異なります。

例えば、ある系統では単語の文法的観点で、別の経路では意味論的観点で、というように複数の観点での評価を実施しています。このような多角的な視点からの分析により文脈を把握する能力を高めています。

LLMの文章生成のフロー

LLMがセルフ・アテンションを使って計算を行うためには、まず文章をデジタルな形に変換する必要があります（STEP1）。その後、実際の予測を行っていきます（STEP2）

STEP 1：トークン化と数値表現

入力された文章を意味の最小単位であるトークンに分割します。

ここでは、分割される単位が「単語」であるものとして説明します（実際には、日本語対応のLLMではトークンは単語ではありません）。

次に、それぞれのトークンを、AIが理解できる言語に変換します。この言語の形式は多次元のベクトルです。

STEP 2：単語の予測とループ

LLM（大規模言語モデル）が実際に文章を生成する際は、次に来る単語を一つずつ予測し、それを繰り返すことで文章を構築していきます。