論文の概要: Specialized Decision Models vs. General-Purpose LLMs: Benchmarking Jev Across Knowledge, Reasoning, and Multilingual Tasks
- arxiv url: http://arxiv.org/abs/2610.11978v1
- Date: Thu, 08 Oct 2026 13:52:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 02:36:54.063088
- Title: Specialized Decision Models vs. General-Purpose LLMs: Benchmarking Jev Across Knowledge, Reasoning, and Multilingual Tasks
- Title（参考訳）: 特殊決定モデルと汎用LLM:知識・推論・多言語課題のベンチマーク
- Abstract要約: Jevは"System One"モデルで、テキストを生成する代わりに、任意のオプションの選択を返す。
我々は、知識、推論、多言語理解に関する13の多重選択ベンチマークでJevを評価した。
- 参考スコア（独自算出の注目度）: 24.979908853569317
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Jev is a "System One" model that returns a choice among given options instead of generating text. We study how such a specialized decision model compares with general-purpose large language models (LLMs). We evaluate Jev on 13 multiple-choice benchmarks covering knowledge, reasoning, and multilingual understanding, and compare it with 19 LLMs in three tiers: frontier, representative, and small. Jev is competitive with frontier LLMs on knowledge and commonsense benchmarks and obtains the best score on MMLU-Redux and ARC-Challenge. Outside mathematics, it also outperforms most representative LLMs and all small LLMs. However, it falls behind on mathematical word problems: on MathQA, it is 17.7 points below the frontier median and scores lower than all 19 LLMs. These results indicate that a specialized decision model can match general-purpose LLMs on decisions that rely mainly on knowledge, but not on decisions that require multi-step calculation.
- Abstract（参考訳）: Jevは"System One"モデルで、テキストを生成する代わりに、任意のオプションの選択を返す。
本研究では,このような特殊な決定モデルと汎用大規模言語モデル(LLM)を比較した。
我々は、知識、推論、多言語理解をカバーした13のマルチ選択ベンチマークでJevを評価し、フロンティア、代表、小の3階層の19のLLMと比較した。
Jev は知識と常識のベンチマークでフロンティアの LLM と競合し、MMLU-Redux と ARC-Challenge で最高のスコアを得る。
数学以外では、最も代表的なLLMと全ての小さなLLMよりも優れています。
MathQAでは、フロンティア中央値より17.7ポイント低く、19のLLMよりも低いスコアである。
これらの結果は,多段階計算を必要とする決定には依存せず,知識に大きく依存する決定において,汎用LSMと専門的な決定モデルが一致できることを示唆している。
関連論文リスト
- Blind to the Human Touch: Overlap Bias in LLM-Based Summary Evaluation [89.52571224447111]
大規模言語モデル(LLM)の判断は、要約のようなタスクのために、伝統的なアルゴリズムベースのメトリクスと併用されることが多い。
要約領域における人書き応答と重なる関数としてLLM判定バイアス分析を提案する。
論文 参考訳（メタデータ） (2026-02-07T19:39:28Z) - PolyMath: Evaluating Mathematical Reasoning in Multilingual Contexts [85.78821098963607]
PolyMathは18の言語と4つの難易度をカバーする多言語数学的推論ベンチマークである。
我々のベンチマークは、包括性、言語多様性、高品質な翻訳の難しさを保証する。
論文 参考訳（メタデータ） (2025-04-25T15:39:04Z) - CLR-Bench: Evaluating Large Language Models in College-level Reasoning [17.081788240112417]
大規模言語モデル(LLM)は、様々な言語理解タスクで顕著な性能を示した。
複雑な大学レベルの推論において,LLMを包括的に評価するためにCLR-Benchを提案する。
論文 参考訳（メタデータ） (2024-10-23T04:55:08Z) - SciEx: Benchmarking Large Language Models on Scientific Exams with Human Expert Grading and Automatic Grading [100.02175403852253]
LLM(Large Language Models)の一般的な用途は、科学的トピックに関するタスクを実行することである。
そこで本稿では,大学生のこのような課題に対する評価方法に着想を得たSciExを提案する。
我々は,新しいベンチマークを用いて,最先端のLLMの性能評価を行った。
論文 参考訳（メタデータ） (2024-06-14T21:52:21Z) - Evaluating the Elementary Multilingual Capabilities of Large Language Models with MultiQ [16.637598165238934]
大規模言語モデル(LLM)は、世界中の英語話者の大多数を含むすべての人にサービスを提供する必要がある。
近年の研究では、意図した用途に制限があるにもかかわらず、多くの言語でLSMを促すことが示されている。
我々は、27.4kのテスト質問に答える基本的なオープンエンド質問のための新しい銀標準ベンチマークであるMultiQを紹介する。
論文 参考訳（メタデータ） (2024-03-06T16:01:44Z) - Artifacts or Abduction: How Do LLMs Answer Multiple-Choice Questions Without the Question? [15.308093827770474]
大規模言語モデル(LLM)が選択のみのプロンプトで複数選択質問応答(MCQA)を実行できるかどうかを探索する。
このプロンプトは11/12ケースで過半数のベースラインを上回り、精度は0.33まで向上する。
我々は、暗記、選択力学、質問推論について、深いブラックボックス分析を行う。
論文 参考訳（メタデータ） (2024-02-19T19:38:58Z) - Large Language Models: A Survey [66.39828929831017]
大規模言語モデル(LLM)は、広範囲の自然言語タスクにおける強力なパフォーマンスのために、多くの注目を集めている。
LLMの汎用言語理解と生成能力は、膨大なテキストデータに基づいて数十億のモデルのパラメータを訓練することで得られる。
論文 参考訳（メタデータ） (2024-02-09T05:37:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。