大規模言語モデル（Llm）とは？仕組みや種類一覧、活用 ...

大規模言語モデル（LLM）とは？仕組みや種類一覧、活用サービス、課題を紹介 #AI - Qiita 11 いいねしたユーザー一覧へ移動 22 X（Twitter）でシェアする Facebookでシェアする はてなブックマークに追加する more_horiz 記事を削除する close 一度削除した記事は復旧できません。 この記事の編集中の下書きも削除されます。 削除してよろしいですか？ キャンセル 削除する delete info この記事は最終更新日から1年以上が経過しています。 @ skillup_ai ( スキルアップAI ) 大規模言語モデル（LLM）とは？仕組みや種類一覧、活用サービス、課題を紹介 DeepLearning AI LLM 11 投稿日 2024年01月05日 こんにちは。スキルアップAI編集部です。ChatGPTなどの生成AIサービスが登場して以降、個人だけではなく、ビジネスにおいても生成AIが利用されるようになりました。この生成AIについて理解を深めるのであれば、LLMに関する知識が欠かせません。 そこでこの記事では、 LLMの概要や仕組み、種類一覧、活用サービス、課題 などを網羅的に紹介していきます。LLMや生成AIについて詳しく知りたい方は、ぜひ最後までご覧ください。 <目次> 大規模言語モデル（LLM）とは 補足：大規模言語モデル（LLM）の基本構造 大規模言語モデル（LLM）の今後・将来性 大規模言語モデル（LLM）の主なモデル・種類一覧 大規模言語モデル（LLM）で実現できること 大規模言語モデル（LLM）を活用した代表サービス一覧 独自の大規模言語モデル（LLM）開発を目指している企業 大規模言語モデル（LLM）の課題 大規模言語モデル（LLM）に関するおすすめの学習講座/セミナー/コミュニティ まとめ 大規模言語モデル（LLM）とは 大規模言語モデル（LLM：Large Language Models）とは、 膨大な「計算量」「データ量」「パラメータ数」で構築された自然言語処理モデル です。パラメータ数に関する定義はありませんが、数十億以上のパラメータをもつ言語モデルを指すのが一般的です。当然ですが、パラメータ数が多くなると、使用するデータセットも巨大になります。 パラメータ数が多いと、より高度な言語生成能力をもつようになります。その結果、 自然で流暢なテキストの生成や、複雑な質問への回答などが可能となる のです。 生成AIとの違い 生成AI とは、ユーザからの指示を受けて、その指示に対応する テキストや画像、動画や音楽などを出力するAI です。大規模言語モデル（LLM）は言語モデルでありテキストを生成するため、生成AIの一種といえます。 自然言語処理（NLP）との違い 自然言語処理（NLP） とは、 コンピュータに人間の言語を理解・処理させる技術 です。LLMはこの自然言語処理の技術を用いて、テキストを生成します。つまり、LLMで用いられている技術そのものが自然言語処理です。 機械学習との違い 機械学習とは、 コンピュータが大量のデータを学習してパターンやルールを見つけ出し、予測や意思決定を行う技術 です。生成AIは機械学習を応用した分野であり、生成AIの一種であるLLMも機械学習の一つといえます。 補足：大規模言語モデルの基本構造 ここでは、大規模言語モデルの基本構造について紹介します。 言語モデル 言語モデルとは、 人間が話したり書いたりする言葉を、単語の出現確率でモデル化したもの です。言語モデルの例として、下記などが挙げられます。 GPT BERT ELMo Transformer-XL アテンション（Attention） アテンション（Attention）とは、 どのデータに注目すべきかを表現するように設計された機構の総称 であり、自然言語処理や画像処理で用いられます。 次に紹介するTransformerでは、アテンションのみの学習で高い精度が実現されました。アテンションの仕組みを最初に提案した以下の論文も参考となるでしょう。 arXiv「 Neural Machine Translation by Jointly Learning to Align and Translate 」 トランスフォーマー（Transformer） トランスフォーマー（Transformer）とは、自然言語処理におけるブレークスルーの契機となったモデルであり、 近年の言語モデルに必須の技術 です。GPTなどの有名な言語モデルも、Transformerをベースとしています。エンコーダとデコーダで構成されているのが特徴です。 Transformerは、Self-Attention機構が鍵 となっています。これにより、 文中の単語間の相互関係を捉えられるため、より深い言語理解が可能 となりました。 出典：arxiv 「 Attention Is All You Need 」 大規模言語モデル（LLM） 大規模言語モデル（LLM）は、 パラメータ数が多い言語モデル です。上述したように、パラメータ数に関する定義はまだありませんが、 数十億以上のパラメータをもつ言語モデル のことを指すことが多いです。 大規模言語モデルにおける文章生成原理として、ある単語の次にくる可能性が確率的に最も高い単語を、順次出力する仕組みとなっています。 GPT-3 GPT-3とは、2020年に OpenAI から発表された大規模言語モデル です。GPT-1のパラメータ数は1億1700万個、GPT-2のパラメータ数は15億個であったのに比べて、GPT-3のパラメータ数は1750億個と大幅に増加しました。 事前学習は、コンテキスト内学習という方法で行われます。ファインチューニングを行わなくても、さまざまなタスクに対して高い性能を発揮できるのが特徴です。 基盤モデル（Foundation Model） 基盤モデル（Foundation Model）とは、大量のデータを学習させ、ファインチューニングなどによって、 さまざまな下流タスクに適応できる大規模モデル です。上述したGPT-3のほかにも、OpenCALMなどがこれに該当します。 大規模言語モデル（LLM）の今後・将来性 大規模言語モデル（LLM）は大きな注目を集めており、将来性のある技術です。 なぜなら、LLMの技術はビジネスだけではなく、 医療や教育など、さまざまな産業において応用できる からです。数多くの産業において、テキストの生成やデータ分析などの幅広いタスクを自動化するのに役立つでしょう。 また、LLMの特徴として、 多言語に対応できる 点が挙げられます。これにより、世界中の情報をリアルタイムで活用することが可能となり、イノベーションの促進が期待されています。 大規模言語モデル（LLM）の主なモデル・種類一覧 大規模言語モデル（LLM）の主なモデル・種類は下記の通りです。 モデル名 概要 開発企業 発表年 BERT 発表当時は自然言語処理において高い技術を誇り、大きな注目を集めた。文章を文頭・文末の双方向から学習し、文脈を理解できる特徴をもつ。 Google 2018年 GPT-3 Transformerをベースとする1,750億個のパラメータをもつ巨大なモデルであり、人間のように文章を生成する能力をもつ。パラメータ数はGPT-2の15億個から飛躍的に増加した。 OpenAI 2020年 GPT-4 GPT-3よりもさらに高度な性能をもつモデルで、テキストのみでなく画像や音声の入力も可能に。パラメータ数は推定約100兆個で、最大約 25,000単語まで取り込むことが可能。 OpenAI 2023年 OpenCALM 日本語データセットを用いて一から事前学習している日本語特化のLLM。コンテキスト長はGPT-NeoX（ EueutherAI がオープンソースとして公開した、GPT-3に似た構造をもつモデル）と同様の2048である。 サイバーエージェント 2023年 PaLM2 Bard 内で利用されているLLMであり、GCP上で提供されている。日本語を含む100以上の言語と、20以上のプログラミング言語で学習している。 Google 2023年 大規模言語モデル（LLM）で実現できること 大規模言語モデル（LLM）で実現できることの例として、下記が挙げられます。 文章の生成 情報の抽出 プログラミング 翻訳 それぞれ具体例を交えて紹介していきます。 文章の生成 LLMは文章の生成が可能です。例えば、特定のトピックに関する記事の作成を指示すると、情報を網羅したわかりやすい文章を作成してくれます。ほかにも、キャッチコピーの作成など、クリエイティブな文章の作成もできます。 情報の抽出 情報の抽出においても、LLMは役立ちます。例えば、商品に対するレビューから顧客の感情や意見を分析し、ポジティブなフィードバックとネガティブなフィードバックを区別して、抽出することが可能です。 プログラミング プログラミングにおいて、コードの自動生成やバグの修正にも対応できます。例えば、簡単なアプリケーションの開発や特定の機能の実装を指示すると、適切なコードを生成してくれます。 翻訳 LLMは、一つの言語から別の言語への高品質な翻訳を行えます。これにより、ビジネス文書や学術論文などをタイムリーに閲覧することが可能になり、情報の流動性が向上します。 大規模言語モデル（LLM）を活用した代表サービス一覧 大規模言語モデル（LLM）を活用した代表サービスの特徴や搭載しているモデルなどを紹介していきます。 ChatGPT ChatGPT とは、 OpenAIがリリースしたAIチャットサービス です。対話型の言語モデルを使用しており、人間のように自然な会話形式で回答できます。 リリース後5日間でユーザ数100万人、2ヶ月間でユーザ数1億人を突破し、大きな注目を集めました。現在では、ビジネスにおける活用も進み、多くの企業にChatGPTが導入されています。 Bing AI Bing AIは、 Microsoft社が提供するAIチャットサービス です。「GPT-4」を採用しており、ChatGPTと同様にスムーズな回答を提供します。 Bing AIはMicrosoft社の検索エンジンであるBingに搭載されており、チャット機能を使った高度な検索を行えることや、最新情報にもとづいて回答できる特徴があります。 Bard Bardは Google社が提供するAIチャットサービス であり、ChatGPTに対抗するサービスとして登場しました。ほか2つのサービスと同様に、指示に応じた回答を提供します。 無料で利用でき、かつ最新の情報を反映しています。また、質問内容と同じことを Google検索したり、GmailなどGoogle社のほかのサービスとの連携も可能です。 独自の大規模言語モデル（LLM）開発を目指している企業 独自の大規模言語モデル（LLM）開発を目指している企業をピックアップして、開発内容や目的などを紹介していきます。 Turing株式会社 Turing株式会社は、完全自動運転を実現するために、国産LLMの開発に着手したことを発表しました。「完全自動運転の実現には、人間と同等以上にこの世界を理解した自動運転AIが必要である」という気づきから、資金を集めて、LLMの開発に取り組んでいます。 参考： 自動運転EV開発のチューリング、自動運転のための国産LLM（大規模言語モデル）開発に着手 株式会社サイバーエージェント サイバーエージェントは、独自の日本語LLMを開発したことを発表しました。すでに130億パラメータまで開発が完了しており、別途国内最大級のLLM開発も予定しています。今後は、産学連携などの取り組みを通して、国内における自然言語処理技術の発展に貢献していく予定です。 参考： サイバーエージェント、独自の日本語LLM（大規模言語モデル）開発──国内最大級のLLM開発も予定 カラクリ株式会社 カラクリ株式会社は、カスタマーサポート業務に特化した内製の大規模言語モデルの研究開発に着手していることを発表しました。本開発は、LLMの実用化を目的とした「カラクリGPTラボ」の取り組みの一環であり、国産AIモデルの実用化などの検証を引き続き促進する予定です。 参考： カラクリGPTラボ、カスタマーサポートに特化したLLMの研究開発に着手 株式会社リコー 株式会社リコーは、いち早くLLMを活用して独自のAIを開発してきた企業です。AWS環境上でBERTを用い、コールセンターのVoC分析サービスを稼働させています。さらにGPT-3を活用して、より自社に適した「AI開発プラットフォーム」の構築に取り組んでいます。 参考： リコー、大規模言語モデル（LLM）による独自のAI開発、「GPT-X時代」に向け進化中 大規模言語モデル（LLM）の課題 大規模言語モデル（LLM）の課題として、次の3つが挙げられます。 ハルシネーションが起こる可能性がある 情報漏洩のリスクがある 学習データによっては回答に偏りが出てしまう ハルシネーションが起こる可能性がある ハルシネーションとは、LLMが事実にもとづかない誤った情報をあたかも事実のように生成する現象です。これは、LLMが関連性のある言葉を見つけて回答するという性質をもつことが原因です。 そのため、生成された情報を鵜呑みにするのではなく、事実確認が必要な情報に関しては、必ず根拠や裏付けを自ら確認したり、 信頼できる情報源をもとに判断する ようにしましょう。 情報漏洩のリスクがある LLMは、入力した情報を学習する性質をもつため、機密性の高いデータや個人情報を入力するのは危険です。誤って入力してしまうと、それらの情報が別の場所で出力される可能性があり、情報漏洩のリスクが生じます。 情報漏洩の課題に関しては、プライバシー保護やデータ匿名化などLLMを適切に管理することで防げる場合もありますが、 個人個人の意識が大切 になります。 学習データによっては回答に偏りが出てしまう LLMは、Web上の文章や書籍、論文などのさまざまな情報を用いて学習しています。そのため、データの時期や分野、内容によっては、回答に偏りが出てしまう場合があります。 対策としては、 プロンプトで必要な情報を与えたり、Web検索エンジンなどの外部の情報源に接続したりする などの方法が有効です。 大規模言語モデル（LLM）に関するおすすめの学習講座、セミナー、コミュニティ 大規模言語モデル（LLM）に関してさらに理解を深めるのであれば、以下で紹介する学習講座やセミナー、コミュニティがおすすめです。 大規模言語モデル（LLM）利活用講座 本講座は、LLMの仕組みや使い方を学び、豊富なハンズオンで実践力を身につけることを目的としています。大規模言語モデルの仕組みや利用方法を理解したい方、GPTサービスを活用したアプリを開発したい方などにおすすめです。 大規模言語モデル（LLM）利活用講座 ビジネスパーソンのための対話型生成AI講座 本講座は、ビジネスパーソンがプロンプトエンジニアリングを習得することを目的としています。生成AIの概要を理解した上で、プロンプトエンジニアリングについて学ぶ流れとなっているため、短時間でもスキルを習得しやすいです。仕事でChatGPTなどの生成AIを活用している、すべてのビジネスパーソンにおすすめの講座です。 ビジネスパーソンのための対話型生成AI講座 スキルアップAIキャンプ スキルアップAIキャンプは、AI人材育成・組織構築支援のプロフェッショナルであるスキルアップAIが主催する勉強会です。データ分析・AI開発で頻出のキーワードを掘り下げるテーマから、今後活用が期待されている最先端技術まで、幅広く取り上げています。ChatGPTをはじめ、生成AIに関するテーマも取り上げています。 毎週無料で実施しているため、ぜひお気軽にご参加ください。 スキルアップAIキャンプ オープンコミュニティ オープンコミュニティでは自然言語処理やLLMに関する議論・情報共有が行われています。代表的なコミュニティプラットフォームとしては、下記などが挙げられます。 Hugging Face GitHub Discord まとめ この記事では、大規模言語モデル（LLM）の概要や仕組み、活用サービスや課題などを紹介しました。LLMは注目されている革新的な技術であり、すでにさまざまな業界で導入が進んでいます。 LLMに関する理解をより深めたい方には、スキルアップAIが実施している講座や勉強会がおすすめです。ChatGPTをはじめとした生成AIを活用して、さらにビジネスを発展させていきましょう。 ☆☆☆ スキルアップAIのメールマガジンでは会社のお知らせや講座に関するお得な情報を配信しています。配信を希望される方は こちら また、SNSでも様々なコンテンツをお届けしています。興味を持った方は是非チェックしてください♪ Twitterは こちら Facebookは こちら LinkedInは こちら スキルアップAI公式YouTube AIビジネスチャンネルは こちら 11 いいねしたユーザー一覧へ移動 22 comment 0 コメント一覧へ移動 新規登録して、もっと便利にQiitaを使ってみよう あなたにマッチした記事をお届けします 便利な情報をあとで効率的に読み返せます ダークテーマを利用できます ログインすると使える機能について 新規登録 ログイン 11 いいねしたユーザー一覧へ移動 22 more_horiz 記事を削除する close 一度削除した記事は復旧できません。 この記事の編集中の下書きも削除されます。 削除してよろしいですか？ キャンセル 削除する delete