論文の概要: Truncated Reasoning Under a Budget: Evaluating System-1 Models as Decision-makers

• arxiv url: http://arxiv.org/abs/2610.25768v1
• Date: Mon, 19 Oct 2026 04:29:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 11:41:15.055685
• Title: Truncated Reasoning Under a Budget: Evaluating System-1 Models as Decision-makers
• Title（参考訳）: 予算下における縮合推論:システム1モデルを意思決定者として評価する
• Abstract要約: System-1決定モデルは、推論応答を発生させることなく候補オプションを選択する。 Jevはテスト済みの予算で500から16,000のトークンを強制的に答えるよりも高い平均精度を達成する。
• 参考スコア（独自算出の注目度）: 8.772080755948897
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) often generate more reasoning tokens than needed. Limiting the reasoning budget reduces cost, but forcing an answer from an incomplete trace can hurt accuracy. System-1 decision models select among candidate options without producing a reasoning response. We evaluate Jev as a decision reader of truncated reasoning across seven LLM reasoners and five multiple-choice benchmarks (35 pairs). Jev achieves higher mean accuracy than forced answering at tested budgets from 500 to 16,000 tokens, including the estimated costs of reasoning and answering. At a 1,500-token budget, it improves accuracy by 4.1 pp overall and 8.6 pp on truncated questions, with significant gains in 17 pairs under Holm-corrected bootstrap tests. Offline replay estimates 34.5% of the full-run cost, with a 1.13 pp accuracy loss. A policy selected on training folds saves 71.3% of the estimated full-run cost on held-out folds, with a 0.58 pp accuracy loss. We also find that Jev shows strong question-only accuracy, exceeding 500-token forced answering on average (68.0% vs. 65.5%), although this advantage varies by benchmark. These findings suggest that System-1 decision models can complement LLM reasoning and reduce the need for costly reasoning completion.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、必要以上に推論トークンを生成することが多い。 推論予算の制限はコストを削減するが、不完全なトレースから答えを強制することは精度を損なう。 System-1決定モデルは、推論応答を発生させることなく候補オプションを選択する。 Jev を 7 つの LLM 推論器と 5 つの多重選択ベンチマーク (35 対) にまたがる不規則な推論の判定対象として評価した。 Jevは、500から16,000トークンの試験済みの予算において、推論と回答の見積コストを含む、強制的な回答よりも高い平均精度を達成する。 1500の予算で、総合で4.1pp、難問で8.6ppの精度が向上し、ホルムの修正されたブートストラップテストでは17対で大幅に上昇した。 オフラインのリプレイはフルランコストの34.5%と見積もられており、精度は1.13ppである。 訓練用折り目で選択された政策は、ホールドアウト折り目で推定される全走コストの71.3%を節約し、精度は0.58ppである。 また、Jevは500-tokenを平均で上回り(68.0%対65.5%)、高い質問のみの精度を示しているが、この利点はベンチマークによって異なる。 これらの結果から,システム1決定モデルがLCM推論を補完し,コストのかかる推論完了の必要性を低減できることが示唆された。

関連論文リスト

• System X: An LLM Decision Model That Replies from Its Own KV Cache [2.1956992918521805]
  決定モデルは供給されたオプションよりも確率を返すが、デプロイされたエージェントは言葉で返信する必要がある。 本稿では,大言語モデル (LLM) 決定モデルである System X を紹介する。 System X v4はQwen3-1.7B、データの再バランス、教師が書き直した返信ターゲットを使用する。
  論文  参考訳（メタデータ） (2026-10-18T18:40:50Z)
• ProbePO: Sparse Probes, Redistributed Credit for Critic-Free LLM Reinforcement Learning [55.716259164434234]
  検証可能な報酬からの強化学習は、個々の推論ステップが結果にどのように貢献するかを解明し、すべての推論軌道に1つの終末報酬を割り当てる。 GRPOは、すべてのレスポンストークンに対してグループ正規化された利点をブロードキャストする一方、よりきめ細かいアプローチは、ポリシー更新に使用されるデータを変更可能な、高密度な補助的なロールアウトや分岐スキームに依存することが多い。 限定的なロールアウト予算で、どの部分的なソリューションを評価すべきで、どのように価値を評価すればよいのか。 ProbePOは報酬のない不確実性スコアで部分解法状態を選択し、上限条件下で期待された検証者報酬を推定する
  論文  参考訳（メタデータ） (2026-10-17T07:19:05Z)
• Fast Models, Slow Evidence: A Paired and Self-Audited Evaluation of System-1 Decision Models for LLM Agent Harnesses [6.778374627376906]
  System-1決定モデルは、クラス確率で単一のフォワードパスでそのような質問に答える。 オープンウェイト (Laya) モデルとホスト (Jev) System-1 モデルとのペア評価を行った。
  論文  参考訳（メタデータ） (2026-10-01T05:57:14Z)
• Knowing When Thinking Is Not Enough: Teaching Small Reasoning Models to Reason Beyond Their Parametric Knowledge [63.752287291668786]
  テスト時間計算のスケールは、言語モデル推論を改善する強力な方法である。 自己閉じ込めは、既に現在の状態から到達可能な解に確率質量を大半を凝縮することを示す。 選択的なクエリフレームワークであるFlyByを導入し、まず4Bと8Bの変種をトレーニングする。
  論文  参考訳（メタデータ） (2026-09-28T05:07:24Z)
• When Learned Context Planning Fails to Beat Strong Retrieval: A Controlled Study of Planning, Routing, and Reranking for Long-Context QA [10.720985236309462]
  学習されたコンテキストプランニングは、それらに対する答えモデルが原因になる前に証拠原子を選択する。 この学習した選択が、強い検索、ルーティング、予算付きセレクタ、制御の再ランク付け後の長文多重選択QAを改善するかどうかを検証する。
  論文  参考訳（メタデータ） (2026-09-22T19:12:16Z)
• CARRE: Counterfactual Action Retrieval and Reason Evaluation for Explainable Churn Prescription [5.823033362443801]
  CARREは,検索強化候補生成,費用対効果評価,大規模言語モデル(LLM)推論を組み合わせた3段階のフレームワークである。 IBM Telco Customer Churnデータセットでは、CARREは通常のSHAPベースラインよりも79.8%高い平均モデル予測リスク削減を実現している。
  論文  参考訳（メタデータ） (2026-09-09T06:08:02Z)
• Step-wise Rubric Rewards for LLM Reasoning [72.17879367869503]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、大規模言語モデルの推論を改善するために広く使われている。 正しい回答の18.2%は間違っているが、肯定的な報酬がある。 6つの数学的推論ベンチマークで、SRaRはRaRの平均精度を3.57ポイント改善した。
  論文  参考訳（メタデータ） (2026-05-17T07:08:14Z)
• Correct Answers from Sound Reasoning: Verifiable Process Supervision for Language Models [94.68358825189738]
  本稿では,予測精度と推論品質を協調的に最適化する検証済み領域の学習後フレームワークを提案する。 我々は,エンジン信号に対して推論ステップを確定的に検証できる制御テストベッドであるチェスのVPSを評価する。 VPSは、推論品質を著しく向上させながら精度を保ち、勝利率エラーを最大30%削減し、一貫性をほぼ飽和状態に回復する。
  論文  参考訳（メタデータ） (2026-04-03T15:19:46Z)
• The Price Reversal Phenomenon: When Cheaper Reasoning Models End Up Costing More [76.93600828673503]
  リストAPIの価格設定は、実際のコストに対する信頼性の低いプロキシである。 思考トークンのコストの削減は、ランキングの反転を70%削減します。 この結果から,コスト意識モデル選択と透過的な要求毎のコスト監視の必要性が示唆された。
  論文  参考訳（メタデータ） (2026-03-25T06:07:39Z)
• LLM-as-a-Judge for Scalable Test Coverage Evaluation: Accuracy, Operational Reliability, and Cost [1.7133809948345597]
  構造化評価を用いた受入テスト評価のための実運用対応フレームワークを提案する。 正確性、運用上の信頼性、コストにまたがる最初の包括的分析を提供する。 私たちは、データセット、フレームワーク、そしてデプロイをサポートするためのコードをリリースします。
  論文  参考訳（メタデータ） (2025-12-01T03:19:33Z)
• Benchmarking Reasoning Robustness in Large Language Models [76.79744000300363]
  新規データや不完全データでは,性能が著しく低下することがわかった。 これらの結果は、厳密な論理的推論に対するリコールへの依存を浮き彫りにした。 本稿では,情報不足によって引き起こされる幻覚を利用して推論ギャップを明らかにする,Math-RoBと呼ばれる新しいベンチマークを提案する。
  論文  参考訳（メタデータ） (2025-03-06T15:36:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。