うつりゆく時代 11 （ＡＩ）
| （４）生成AIについて 以下では、前回も取り上げたNewton（別冊）『よくわかる人工知能のすべて』株式会社ニュートンプレス（2024年7月）の「２ ChatGPTと生成AI（協力 松尾豊/横田理央）」（34～47頁）を紹介する形でまとめてみます。 ① 生成AIとChatGPTの関係 先ず、この二つはどのような関係にあるか見てみます。 同書では「生成AI（Generative AI）とは，人間の指示に応じて適切な文章や画像，音楽、動画などを生成してくれるAI（人工知能）のことである」（36頁）と紹介されています。 ChatGPTはこの生成AIの一種になります。オープンAI（Open AI）が2018年にGPTを公開し、2022年11月にChat GPTを世に出しまして。生成AIにはそのほかGoogle社のGeminiや画像生成AIなどもあります。また、このホームページのNo．635（9月20日）のひろせ君の書き込みで「AIの進化が加速した要因をClaude Falle.1（生成AI）に尋ねてみました」とありますが、Claude Falleはアメリカのアンスロピック（Anthropic）社が2026年6月に発表した大規模言語モデル（LLM）でこの分野の生成ＡＩです。 また、人間と対話するChatGPTのようなシステムを「チャットポット」と言うそうです。ChatGPTの出現までは融通が利かない、見当違いの回答をするなどの実用性の低い「ルールベース型」のチャットポットが使われていました。これに対して、ChatGPTは質問の文脈や意図を考慮して回答を生成する、つまり「答えを探しだすだけではなく、つくりだすのが生成AI」（36頁）という特徴を持っています。これが生成AIを広く普及させた理由になりますが、次にこのような技術がなぜ可能になったかをChatGPTを例に見てみます。 ② ChatGPT ← GPT ← Transformerの関係 先ず、これら3つの内容を整理しておきます。 ChatGPTとは「人の質問に対してAIが回答することでさまざまなタスクをこなす，『AIチャットサービス』の一種」（38頁）です。 そして「ChatGPTに使われているAIが『GPT（Generative Pre-trained Transformer）』」（38頁）で、GPTは「大規模言語モデル」とよばれるAIの一種で「人の言語（自然言語）を理解するための基盤となる」（38頁）ものです。「具体的には，GPTは文や文の断片をあたえられると，その『つづき』としてどんな単語があらわれやすいかを次々に予測することで文章を出力する」（38頁）ということです。 この中のTransformerとは「あたえられた文章中の単語どうしの意味的な関係性を広く学習することができるアルゴリズム。もともとは機械翻訳の研究において，ある単語を別の単語のどの単語に訳せばよいかを正しく把握するアルゴリズムとして開発された」（39頁）ということです。 このTransformer という技術によって、GPTが長く複雑な文章を生成できることになりました。Transformer以前の自然言語処理には「再帰型ニューラルネットワーク（RNN）」が用いられていましたが、処理に時間がかかり、単語どうしの関係をつかみにくいという欠点がありました。そのためTransformerでは「自己注意機構（Self-Attention）」が用いられ、「これによって処理スピードが向上し，膨大な量の学習データを用いて巨大なニューラルネットワークを訓練する『大規模言語モデル（Large Language Model: LLM）』を実現でき・・・その結果，性能が飛躍的に向上した」（40頁）ということです。 この言語モデルでは、文中の単語を、向きと長さをもつ「ベクトル」に変換し、ベクトルの「内積」の値を計算し、ある単語ベクトルに対しほかのすべての単語ベクトルとの内積を計算することで単語どうしの「距離」の近さを測る（距離が近いほど意味が近くなる）という方法が用いられているそうです。 このような方法で大量の文章データを学習したのがGPTですが、どのように学習したのでしょうか。これは「穴埋め問題」を解いて可能にしたということです。以下にこの本で取り上げられた例を挙げます。 「可愛いからネコが好き」という文章に対し ⅰ 「可愛いからネコが〇」という穴埋め問題をつくる ⅱ これをGPTに正解になるまで繰り返し解かせる ⅲ ⅰとⅱを繰り返し、さまざまな文章について穴埋め問題を解かせる 「これによりGPTは，文章生成のみならず翻訳や計算など，インターネット上に文章データが存在するものなら何でも幅広く学ぶことができ」（45頁）、この方法の利点は、従来の方法では人間がAIに学習させる解答を示して非常に手間がかかっていたが、人の手を加える必要がなくなったため「膨大な文章データを自動的に事前学習させることが可能になり，性能が飛躍的に向上した」（45頁）とのことです。 この事前学習の後、質問や指示に対し適切な（もっとも確率の高い）単語を出力して文章（回答）を構成するとのことです。同書の例は以下のようです。 ⅰ 事前学習をもとに「今日 は ？」のつづきを書くタスクを与える ⅱ 事前学習のもとで「今日 は 晴れて ？」を出力したとする・・・ ⅲ このように単語をくりかえして「今日は晴れているので自転車に乗って・・のように出力して文章を生成することになります。 しかし、学習済みのGPTだけでは人との対話は十分ではありません。事前学習の後、人が微調整をする必要があります。これは，「大規模言語モデル『GPT』を，対話サービス『ChatGPT』にするプロセスだといえるだろう。事前学習ずみの言語モデルを目的に合わせて微調整することを『ファインチューニング』という」（46頁）、という方法がなされているとのことです。 |
| Anthropic社が日本の書籍を大量購入していたらしい、と報じられていました。販売元はコメントしていませんが、あり得ます。ＡＩにとっては、学習量が価値を高める重要な手段となりますが、去年の今頃は、日本語には十分対応していない、英語でプロンプトを書いた方がいい、と言われていたくらいですが、年明けに公開されたClaudeは、各バージョンとも見事な日本語で応えてくれ、驚いていました。 （Claude Falle.1は、Claude Fable 5.1のことだと思います。他にも、Opus 5.5やSonnet 5など、データ処理能力によっていくつかのモデルがあります。） 今では、たいていの会話型ＡＩで日本語が普通に使えます。エージェントでは、一部を除いてまだまだ英語ありき、のような感じですが。 どの生成ＡＩも、最初は英語すら理解しなかったはずで、昨年の中国のロボット運動会でヨチヨチ歩きだったフィジカルＡＩが今年は人間より早く疾走した如く、意外にもＡＩは学習データが必要なのです。 書籍や文字データ、運動経験は学習しやすい分野かもしれませんが、人間の感情や倫理にまで学習の分野が及び始めると、本当に人間の存在意義が脅かされ始めそうに思います。 https://news.yahoo.co.jp/articles/212f2a1ec5d3862735a3a456429c4d816bf5d178 |