3,089円
GMOメディアのニュース
*13:01JST GMOメディア---「日本語言語モデルの実践的評価」研究によりIT分野での大規模言語モデル(LLM)の能力差を解明
GMOメディア<6180>は11日、「日本語言語モデルの実践的評価」研究によりIT分野での大規模言語モデル(LLM)の能力差を解明したと発表。
現在、各方面でChatGPTをはじめとする大規模言語モデル(LLM)の評価が行われており、医療や法律といった特定の専門分野での有用性に関する評価も進められている。今回、IT分野においてLLMがどの程度の能力を持っているかを解明することを目的に研究を実施。
「大規模言語モデルの日本語実践的評価:JGLUEとITパスポート試験を用いた比較分析」をテーマとした研究を実施、現在公開されている大規模言語モデル(LLM)のIT分野における推論・問題解決能力を、ITパスポート試験を解答させた。
結果から、IT分野の問題に対して一定程度論理的な解答を導き出すことが期待できることが判明、最も解答の精度が高かったのは「ELYZA-japanese-Llama-2-7b-instruct」で正答率は72.3%だった。
また、LLMに補助的にITパスポート試験に関するヒント(プロンプト)を入力することで、ほとんどのLLMでヒントを与えない場合よりも出力(解答)の精度を上げることができた。
これにより、IT分野での正確な解答を導き出す力はLLMのモデル間で差異があり、IT分野に関してLLMに質問をする場合は、ある程度有効的に活用できるLLM(「gpt-3.5-turbo-1106」「gpt-4-11-6-preview」「ELYZA-japanese-Llama-2-7b-instruct」)と、活用に注意しなければならないLLMがあることが分かった。
<SI>
現在、各方面でChatGPTをはじめとする大規模言語モデル(LLM)の評価が行われており、医療や法律といった特定の専門分野での有用性に関する評価も進められている。今回、IT分野においてLLMがどの程度の能力を持っているかを解明することを目的に研究を実施。
「大規模言語モデルの日本語実践的評価:JGLUEとITパスポート試験を用いた比較分析」をテーマとした研究を実施、現在公開されている大規模言語モデル(LLM)のIT分野における推論・問題解決能力を、ITパスポート試験を解答させた。
結果から、IT分野の問題に対して一定程度論理的な解答を導き出すことが期待できることが判明、最も解答の精度が高かったのは「ELYZA-japanese-Llama-2-7b-instruct」で正答率は72.3%だった。
また、LLMに補助的にITパスポート試験に関するヒント(プロンプト)を入力することで、ほとんどのLLMでヒントを与えない場合よりも出力(解答)の精度を上げることができた。
これにより、IT分野での正確な解答を導き出す力はLLMのモデル間で差異があり、IT分野に関してLLMに質問をする場合は、ある程度有効的に活用できるLLM(「gpt-3.5-turbo-1106」「gpt-4-11-6-preview」「ELYZA-japanese-Llama-2-7b-instruct」)と、活用に注意しなければならないLLMがあることが分かった。
<SI>
この銘柄の最新ニュース
GMOメディのニュース一覧- GMOメディア---連結子会社における会社分割(吸収合併)による事業承継 2025/03/14
- GMOメディア---子会社GMOビューティーの吸収分割による事業承継 2025/03/12
- 連結子会社における会社分割(吸収分割)による事業承継に関するお知らせ 2025/03/11
- 「第25期定時株主総会招集ご通知」の一部修正について 2025/03/04
- [PTS]デイタイムセッション終了 15時30分以降の上昇941銘柄・下落1397銘柄(東証終値比) 2025/03/03
マーケットニュース
- 国内株式市場見通し:米国株は調整局面入りだが、日本株は相対的に底堅いか (03/15)
- 来週の【重要イベント】米小売売上高、日銀金融会合、FOMC (3月17日~23日) (03/15)
- 新興市場見通し:グロース市場250指数は今年安値圏からの反発を試す展開に (03/15)
- 米国株式市場見通し:値ごろ感はあるが、正念場の米国株 (03/15)
おすすめ条件でスクリーニングされた銘柄を見る
GMOメディアの取引履歴を振り返りませんか?
GMOメディアの株を取引したことがありますか?みんかぶアセットプランナーに取引口座を連携すると売買履歴をチャート上にプロットし、自分の取引を視覚的に確認することができます。
アセットプランナーの取引履歴機能とは
※アセプラを初めてご利用の場合は会員登録からお手続き下さい。