GMOメディア、IT分野でのAI大規模言語モデル（LLM）の能力差を解明した論文が「2024年度 人工知能学会全国大会」にて採択

　GMOインターネットグループのGMOメディア株式会社（代表取締役社長：森 輝幸　以下、GMOメディア）が2024年3月11日（月）に発表した「大規模言語モデルの日本語実践的評価：JGLUEとIT パスポート試験を用いた比較分析」をテーマとした研究論文が、「2024年度 人工知能学会全国大会」（主催：一般社団法人人工知能学会）に採択されました。 　本研究では、大規模言語モデル（LLM）が持つ推論能力（正確な解答を導き出す力）や問題解決能力の特徴を分析することで、LLMごとのIT分野における能力差を解明しました。


「大規模言語モデルの日本語実践的評価：JGLUEとIT パスポート試験を用いた比較分析」
https://college.coeteco.jp/ai-education-research-itpassport-results

　今年で38回目となる「人工知能学会全国大会」は、人工知能に関連する国内の研究者が一堂に集い、研究成果を発表する場として開催され、人工知能に関連する最新の技術動向や新しい研究成果、アイデアなどの発表、意見交換や交流が行われます。
　このたび採択された論文は、執筆者のGMOメディアの羽中田 将(はちゅうだ・まさし)が、2024年5月28日（火）から31日（金）に開催される、「2024年度 人工知能学会全国大会」3日目（5月30日（木））のポスターセッションにて発表します。

【論文の概要】


■サマリー
・現在公開されている大規模言語モデル（LLM）のIT分野における推論・問題解決能力を、ITパスポート試験を解答させた。
・結果から、IT分野の問題に対して一定程度論理的な解答を導き出すことが期待できることが判明した。
・最も解答の精度が高かったのは「ELYZA-japanese-Llama-2-7b-instruct」で正答率は72.3%だった。
・LLMに補助的にITパスポート試験に関するヒント（プロンプト）を入力することで、ほとんどのLLMでヒントを与えない場合よりも出力（解答）の精度を上げることができた。

■背景と目的
　現在、各方面でChatGPTをはじめとする大規模言語モデル（LLM）の評価が行われており、医療や法律といった特定の専門分野での有用性に関する評価も進められています。今回、IT分野においてLLMがどの程度の能力を持っているかを解明することを目的に研究を実施しました。

■ 結論
　IT分野での正確な解答を導き出す力はLLMのモデル間で差異があり、IT分野に関してLLMに質問をする場合は、ある程度有効的に活用できるLLM（「gpt-3.5-turbo-1106」「gpt-4-11-6-preview」「ELYZA-japanese-Llama-2-7b-instruct」）と、活用に注意しなければならないLLMがあることが分かりました。

■論文執筆者
・羽中田 将（GMOメディア株式会社　サービス開発部　シニアエンジニア）
　現サービス開発部AIチーム。2018年入社。2020年まで、技術推進室でレコメンドやデータ分析基盤の作成。その後、サービス開発部インフラチームのDBA(Database Administrator)で、MySQLの運用を担当し、2023年よりAIチーム発足に伴い、社内データ活用やAIの推進を行う。

【調査結果の活用方法と展望】


　専門分野に特化するチューニングを施していない汎用的なLLMでも、一定の精度でIT分野の正確な解答を期待できるため、ITパスポート試験の学習においても、誤りがある可能性を踏まえた上で、「分からない単語や概念について質問する」「練習問題を作成する」などの活用方法は、一定程度有効であると言えます。
　本研究において、各LLMに得意分野や不得意分野があることが判明したことは、価値があると考えています。今後も、こうした研究方法により他の資格試験を用いたLLMの評価分析を行っていく予定です。そして、それらの結果をもとに、資格試験をはじめとした学習にLLMを活用した授業の提案や対策講座の開発を促進してまいります。
　GMOメディアは、今後もAIに関する研究を推進し、その結果を各事業へ生かす取り組みを積極的に行ってまいります。

【GMOメディア株式会社について】（URL：https://www.gmo.media/）


　GMOメディアは、創業以来インターネット上で自社開発・自社運営のサービス群であるメディア事業を中心に展開しています。現在はプログラミング教育ポータル「コエテコ」と美容医療の情報に特化した「キレイパス」の2事業を投資育成し、それぞれプログラミング教室や医療機関のDXを支援するサービスも展開しています。
　さらに、ソリューション事業としてメディア運営で培ったノウハウを基にポイントサイトの構築を支援する「GMOリピータス」と アフィリエイトASP「AffiTown」など提携パートナーの収益化のサポートも行っています。

以上

【GMOメディア株式会社】（URL：https://www.gmo.media/）
会社名　GMOメディア株式会社　（東証グロース市場　証券コード：6180）
所在地　東京都渋谷区桜丘町26番1号　セルリアンタワー
代表者　代表取締役社長　森　輝幸
事業内容　■メディア事業　　　■ソリューション事業
資本金　7億6,197万円

【GMOインターネットグループ株式会社】（URL：https://www.gmo.jp/）
会社名　GMOインターネットグループ株式会社　（東証プライム市場　証券コード：9449）
所在地　東京都渋谷区桜丘町26番1号　セルリアンタワー
代表者　代表取締役グループ代表　熊谷　正寿
事業内容　■インターネットインフラ事業　■インターネット広告・メディア事業
　　　　　■インターネット金融事業　　　■暗号資産事業
資本金　50億円

※記載されている会社名・製品名は、各社の商標、もしくは登録商標です。
Copyright (C) 2024 GMO Media, Inc. All Rights Reserved.