3,113円
GMOメディアのニュース
*13:01JST GMOメディア---「日本語言語モデルの実践的評価」研究によりIT分野での大規模言語モデル(LLM)の能力差を解明
GMOメディア<6180>は11日、「日本語言語モデルの実践的評価」研究によりIT分野での大規模言語モデル(LLM)の能力差を解明したと発表。
現在、各方面でChatGPTをはじめとする大規模言語モデル(LLM)の評価が行われており、医療や法律といった特定の専門分野での有用性に関する評価も進められている。今回、IT分野においてLLMがどの程度の能力を持っているかを解明することを目的に研究を実施。
「大規模言語モデルの日本語実践的評価:JGLUEとITパスポート試験を用いた比較分析」をテーマとした研究を実施、現在公開されている大規模言語モデル(LLM)のIT分野における推論・問題解決能力を、ITパスポート試験を解答させた。
結果から、IT分野の問題に対して一定程度論理的な解答を導き出すことが期待できることが判明、最も解答の精度が高かったのは「ELYZA-japanese-Llama-2-7b-instruct」で正答率は72.3%だった。
また、LLMに補助的にITパスポート試験に関するヒント(プロンプト)を入力することで、ほとんどのLLMでヒントを与えない場合よりも出力(解答)の精度を上げることができた。
これにより、IT分野での正確な解答を導き出す力はLLMのモデル間で差異があり、IT分野に関してLLMに質問をする場合は、ある程度有効的に活用できるLLM(「gpt-3.5-turbo-1106」「gpt-4-11-6-preview」「ELYZA-japanese-Llama-2-7b-instruct」)と、活用に注意しなければならないLLMがあることが分かった。
<SI>
現在、各方面でChatGPTをはじめとする大規模言語モデル(LLM)の評価が行われており、医療や法律といった特定の専門分野での有用性に関する評価も進められている。今回、IT分野においてLLMがどの程度の能力を持っているかを解明することを目的に研究を実施。
「大規模言語モデルの日本語実践的評価:JGLUEとITパスポート試験を用いた比較分析」をテーマとした研究を実施、現在公開されている大規模言語モデル(LLM)のIT分野における推論・問題解決能力を、ITパスポート試験を解答させた。
結果から、IT分野の問題に対して一定程度論理的な解答を導き出すことが期待できることが判明、最も解答の精度が高かったのは「ELYZA-japanese-Llama-2-7b-instruct」で正答率は72.3%だった。
また、LLMに補助的にITパスポート試験に関するヒント(プロンプト)を入力することで、ほとんどのLLMでヒントを与えない場合よりも出力(解答)の精度を上げることができた。
これにより、IT分野での正確な解答を導き出す力はLLMのモデル間で差異があり、IT分野に関してLLMに質問をする場合は、ある程度有効的に活用できるLLM(「gpt-3.5-turbo-1106」「gpt-4-11-6-preview」「ELYZA-japanese-Llama-2-7b-instruct」)と、活用に注意しなければならないLLMがあることが分かった。
<SI>
この銘柄の最新ニュース
GMOメディのニュース一覧- GMOメディア---「コエテコStudy byGMO」、小平高校の「情報1」定期考査に採用 2025/03/24
- 生成AIで教務DXを加速! 東京都立小平高等学校が実施のCBT形式定期考査に「コエテコStudy byGMO」が採用 2025/03/18
- GMOメディア Research Memo(12):配当性向を50%以上から65%以上に引き上げ、株主優待制度を導入 2025/03/18
- GMOメディア Research Memo(11):人的資本経営として社員のIT・AIリテラシー向上に取り組む 2025/03/18
- GMOメディア Research Memo(10):学び・美容医療領域の売上拡大等により持続的成長目指す 2025/03/18
マーケットニュース
- ADR日本株ランキング~日本郵政など全般買い優勢、シカゴは大阪比385円高の37735円~ (03/25)
- シカゴ日経平均先物 大取終値比 385円高 (3月24日) (03/25)
- 【本日の見通し】ドル高基調どこまで続くか (03/25)
- 24日の米国市場ダイジェスト:NYダウは597ドル高、柔軟な関税計画で安心感 (03/25)
おすすめ条件でスクリーニングされた銘柄を見る
GMOメディアの取引履歴を振り返りませんか?
GMOメディアの株を取引したことがありますか?みんかぶアセットプランナーに取引口座を連携すると売買履歴をチャート上にプロットし、自分の取引を視覚的に確認することができます。
アセットプランナーの取引履歴機能とは
※アセプラを初めてご利用の場合は会員登録からお手続き下さい。