論文の概要: System1-Arena: Which Decisions Can Be Left to System 1?

• arxiv url: http://arxiv.org/abs/2610.21244v1
• Date: Thu, 15 Oct 2026 04:40:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:16.180696
• Title: System1-Arena: Which Decisions Can Be Left to System 1?
• Title（参考訳）: System1-Arena: System 1に残る決定は?
• Abstract要約: 大型言語モデル(LLM)は、フィッシングのフラグ付けや人間へのエスカレートなど、決定的な決定をすることが多い。 System1-Arenaは、すべてのモデルに同じ決定要求を与え、それらの確率をスコアするベンチマークである。 テキスト分類と知識、適用された決定、評価と制御、エージェントとアクションの4つのグループである。
• 参考スコア（独自算出の注目度）: 72.4486135716456
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) often make discrete decisions, such as flagging phishing or escalating to a human. System-1 models, such as Jev and the OpenAI Decisions API, return probabilities over options in a single forward pass, while System-2 approaches generate reasoning steps. Which decisions can System-1 models handle, and which require generative reasoning? We introduce System1-Arena, a benchmark that gives all models the same decision requests and scores their probabilities. It contains 92k questions across 105 tasks from 268 public sources, in four groups: text classification and knowledge, applied decisions, evaluation and control, and agent and action. It also includes 138 closed-loop environments, from web shopping and SWE-bench coding control to robotics, games, and driving; in real-time mode, the world evolves while a model decides. We evaluate 30 models: 7 closed LLMs, 13 open LLMs read at the answer token, and 10 System-1 models. The largest System-1 models match or exceed fast closed LLMs in non-agentic accuracy, with better-calibrated probabilities at one-quarter of the latency. A reasoning LLM is the most accurate, at about 70x the cost of a fast LLM. In closed loops, large open LLMs succeed most often (up to 32.9%); small System-1 models rarely succeed.
• Abstract（参考訳）: 大型言語モデル(LLM)は、フィッシングのフラグ付けや人間へのエスカレートなど、決定的な決定をすることが多い。 JevやOpenAI Decisions APIのようなSystem-1モデルは、単一のフォワードパスでオプションよりも確率を返すが、System-2アプローチは推論ステップを生成する。 System-1モデルはどの決定を処理でき、どの決定は生成的推論を必要とするのか? System1-Arenaは、すべてのモデルに同じ決定要求を与え、それらの確率をスコアするベンチマークである。 これには、テキスト分類と知識、適用された決定、評価と制御、エージェントとアクションの4つのグループを含む、268の公開ソースから105タスクにわたる92kの質問が含まれている。 ウェブショッピングやSWEベンチのコーディングコントロールからロボティクス、ゲーム、運転まで、138のクローズドループ環境が含まれています。 7個の閉LLM、13個のオープンLLMが応答トークンで読み上げられ、10個のSystem-1モデルが評価された。 最大のSystem-1モデルは、非エージェント精度で高速閉LLMと一致または超過し、レイテンシの4分の1でより良いキャリブレーションの確率を持つ。 LLMの推理は最も正確で、高速なLLMの約70倍のコストである。 クローズドループでは、大きなオープンLLMが最も頻繁に成功し(最大32.9%)、小さなSystem-1モデルは滅多に成功しない。

関連論文リスト

• FunDM: Cheap & Label-Free Decision Models from Frozen Language Models [0.0]
  ラベルなしの小さな決定ヘッドは、凍結した言語モデルの多重選択精度の約99%を回復することができる。 このモデルをFunDM(Fun Decision Model)と呼ぶ。 トレーニング用の正解ラベルを使わずに、完全モデルの解答確率をKL発散で学習する。
  論文  参考訳（メタデータ） (2026-10-12T17:47:28Z)
• General Decision Models: Benchmarking and Insights Beyond Jev [43.119878552608924]
  一般的な決定モデルは、構造化された判断と選択のためのLLMの効率的な代替品として登場した。 JEValは10のアプリケーションドメインにわたる36のデータセットから11,257のインスタンスからなるベンチマークである。 一般的な決定モデルは、利用可能な証拠から決定を解くことができれば最も競争力があるが、専門家の知識を必要とすると弱くなることを示す。 本研究では,オープンウェイト LLM 独自の推論を単一パスのファーストトケイン決定に内在させる内在的 Jev-4B と内在的 Jev-27B を提案する。
  論文  参考訳（メタデータ） (2026-10-02T18:47:00Z)
• Pinocchio: Fast Uncertainty Estimates for Black-Box Language Models [73.50370994588927]
  ブラックボックスAPIモデルから応答の正しさを推定する外部キャリブレータであるPinocchioを紹介する。 我々のモデルは、不確実な推定を生成するために1つのフォワードパスしか必要とせず、ターゲットモデルのロジット、重み、または内部状態へのアクセスを必要としない。
  論文  参考訳（メタデータ） (2026-09-21T16:48:50Z)
• Reasoning with Confidence: Efficient Verification of LLM Reasoning Steps via Uncertainty Heads [104.9566359759396]
  データ駆動の不確実性スコアに基づくステップレベルの推論検証の軽量な代替案を提案する。 本研究は, LLMの内部状態が不確実性を符号化し, 信頼性の高い検証信号として機能することが示唆された。
  論文  参考訳（メタデータ） (2025-11-09T03:38:29Z)
• From System 1 to System 2: A Survey of Reasoning Large Language Models [72.87412996793957]
  基礎的な大規模言語モデルは、迅速な意思決定では優れているが、複雑な推論には深みがない。 OpenAIのo1/o3とDeepSeekのR1は、数学やコーディングといった分野のエキスパートレベルのパフォーマンスを実証している。
  論文  参考訳（メタデータ） (2025-02-24T18:50:52Z)
• None of the Others: a General Technique to Distinguish Reasoning from Memorization in Multiple-Choice LLM Evaluation Benchmarks [0.9831489366502301]
  本稿では,これまで見られたトークンや概念から正解を完全に解離する,複数選択質問に対する一般的な変分手法を提案する。 この手法を用いて、英語とスペイン語で利用可能な2つのデータセットに基づいて、最先端のプロプライエタリおよびオープンソースLLMを評価する。 その結果, MMLUでは平均57%, UNED-Access 2024では50%の精度低下がみられた。
  論文  参考訳（メタデータ） (2025-02-18T14:32:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。