論文の概要: Not All Errors Are Equal: Consequence-Aware Reasoning Compute Allocation

• arxiv url: http://arxiv.org/abs/2606.04402v1
• Date: Wed, 03 Jun 2026 03:29:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-04 20:44:18.513029
• Title: Not All Errors Are Equal: Consequence-Aware Reasoning Compute Allocation
• Title（参考訳）: すべてのエラーが等しくなるわけではない:コンシークエンス・アウェアがコンピュータのアロケーションを推論する
• Authors: Jingbo Wen, Liang He, Ziqi He,
• Abstract要約: 本稿では,結果認識型テスト時間計算アロケーションを提案する。 我々はSWE-bench Liteの実験を行い、Multi-SWE-bench mini上でのクロスデータセット動作を評価する。
• 参考スコア（独自算出の注目度）: 5.523004155648451
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern reasoning models can allocate different amounts of test-time computation, such as thinking tokens, model calls, or compute budget, to different tasks. Existing methods generally drive this allocation by predicted difficulty and spend more compute where it is expected to raise accuracy. This implicitly assumes that all failures cost the same, since an accuracy objective weights every task equally. However, such an assumption does not hold in deployment: A typo in a log message and a migration that corrupts a production database both count as one benchmark failure, but their real-world costs are fundamentally different. To fill this gap, we propose consequence-aware test-time compute allocation. Instead of routing compute only by predicted difficulty, we use a lightweight predictor to estimate from the issue text how costly a task would be if solved incorrectly. The scheduler then routes higher-consequence tasks to larger compute tiers or higher thinking budgets under the same total budget. We conduct main experiments on SWE-bench Lite and evaluate cross-dataset behavior on Multi-SWE-bench mini, covering 700 software-engineering tasks in total. Our results reveal that consequence and difficulty are approximately orthogonal under various annotations, and that current thinking models do not allocate compute sufficiently according to consequence. Moreover, our issue-only predictor never misclassifies a high-consequence task as low-consequence across the 300 SWE-bench tasks. Under matched compute budgets, our consequence-aware scheduler reduces cost-weighted loss by 22% to 33% relative to difficulty-aware routing; in particular, the priority-aware variant, which routes by per-task cost scaled by the marginal-utility signal, crosses 30%, and its deployable predictor-driven version retains over 90% of the oracle gain.
• Abstract（参考訳）: 現代の推論モデルは、思考トークン、モデル呼び出し、計算予算など、さまざまな量のテスト時間計算を異なるタスクに割り当てることができる。 既存の手法は一般的に、予測困難によってこの割り当てを駆動し、精度を高めると予測される計算により多くの費用を費やす。 これは、正確さがすべてのタスクを均等に重み付けするため、すべての障害が同じコストである、と暗黙的に仮定する。 ログメッセージのタイプミスと、プロダクションデータベースを破損させるマイグレーションは、どちらも1つのベンチマーク失敗とみなすが、実際のコストは根本的に異なる。 このギャップを埋めるため,結果認識型テスト時間計算アロケーションを提案する。 予測困難によってのみ計算をルーティングする代わりに、軽量な予測器を使用して問題テキストからタスクが誤って解決された場合のコストを見積もる。 スケジューラは、同じ予算の下で、より高いコンシーレンスタスクをより大きな計算層または高い思考予算にルーティングする。 我々は、SWE-bench Liteのメイン実験を行い、Multi-SWE-bench mini上で、700のソフトウェアエンジニアリングタスクを網羅して、クロスデータセット動作を評価する。 その結果、様々なアノテーションの下では、結果と難易度は概ね直交しており、現在の思考モデルでは、結果に応じて十分な計算を割り当てていないことが明らかとなった。 さらに,問題のみの予測器は,300 SWE-benchタスクにおいて,ハイコンシークエンスタスクを低コンシークエンスタスクと誤分類することはない。 一致した計算予算の下では、結果認識スケジューラは、難易度対応ルーティングと比較してコスト重み付け損失を22%から33%削減する。

関連論文リスト

• Scaling Laws for Agent Harnesses via Effective Feedback Compute [53.68149869349268]
  emphEffective Feedback Compute (EFC)は、情報的、有効、非冗長な場合にのみフィードバックを信用し、その後の決定のために保持するトレースレベルのスケーリング座標である。 EFCベースの座標は、生の計算ベースラインよりも失敗率を常に予測する。
  論文  参考訳（メタデータ） (2026-05-28T09:45:47Z)
• Adaptive Test-Time Compute Allocation for Reasoning LLMs via Constrained Policy Optimization [18.737087162461563]
  テストタイムの計算スケーリングは、大規模言語モデルのパフォーマンスを向上させるための強力なレバーとなっている。 しかし、これらのテクニックを有限の推論予算の下で展開するには、現在のシステムがほとんど無視する決定が必要である。 我々はこれを制約付き最適化問題(平均計算予算の予測精度を最大化する)として定式化し、2段階のソルベ・テン・ラーンパイプラインで解いた。
  論文  参考訳（メタデータ） (2026-04-16T10:39:22Z)
• MagicAgent: Towards Generalized Agent Planning [73.21129030631421]
  汎用エージェント計画に特化して設計された基盤モデルである textbfMagicAgent について述べる。 多様な計画タスクにまたがる高品質なトラジェクトリを生成する軽量でスケーラブルな合成データフレームワークを提案する。 MagicAgent-32B と MagicAgent-30B-A3B は様々なオープンソースベンチマークにおいて優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2026-02-22T01:39:16Z)
• Predictive Scheduling for Efficient Inference-Time Reasoning in Large Language Models [6.002670452103349]
  大規模言語モデル(LLM)は複雑な推論タスクにおいて最先端の精度を達成する。 しかし、クエリ毎に固定されたトークン予算を使用することで、簡単な入力の過剰計算とハードな入力の過小計算につながる。 プラグイン・アンド・プレイのフレームワークであるPredictive Schedulingを導入する。このフレームワークは軽量な予測器を事前実行し、各クエリの最適な推論の長さや難易度を全世代前に推定する。
  論文  参考訳（メタデータ） (2026-02-01T13:58:23Z)
• Towards a Science of Scaling Agent Systems [79.64446272302287]
  エージェント評価の定義を定式化し,エージェント量,コーディネーション構造,モデル,タスク特性の相互作用として,スケーリング法則を特徴付ける。 協調指標を用いて予測モデルを導出し,R2=0をクロスバリデーションし,未知のタスク領域の予測を可能にする。 ツールコーディネーショントレードオフ: 固定的な計算予算の下では, ツールヘビータスクはマルチエージェントのオーバーヘッドから不均衡に悩まされ, 2) 能力飽和: 調整が減少または負のリターンを, 単一エージェントのベースラインが45%を超えると達成できる。
  論文  参考訳（メタデータ） (2025-12-09T06:52:21Z)
• Think Right: Learning to Mitigate Under-Over Thinking via Adaptive, Attentive Compression [68.69801176669843]
  本稿では,冗長なステップを誘発し,難易度を推定するオンラインポストトレーニングRL手法を提案する。 TRAAC(Think Right with Adaptive, Attentive Compression)は、絶対精度が平均8.4%向上する。 我々のモデルは数学データセットに基づいて訓練されているが、分布外データセットの精度と効率性を示す。
  論文  参考訳（メタデータ） (2025-10-02T02:00:20Z)
• $\texttt{SPECS}$: Faster Test-Time Scaling through Speculative Drafts [55.231201692232894]
  $textttSPECS$は、投機的デコードにインスパイアされた遅延対応のテスト時間スケーリングメソッドである。 我々の結果は、$textttSPECS$matchはビームサーチの精度を上回り、最大$sim$19.1%のレイテンシを削減していることを示している。
  論文  参考訳（メタデータ） (2025-06-15T05:50:05Z)
• Plan and Budget: Effective and Efficient Test-Time Scaling on Large Language Model Reasoning [19.258292534503887]
  Plan-and-Budgetは、複雑なクエリをサブクエストに分解し、適応スケジューリングを使用して推定複雑性に基づいてトークン予算を割り当てる、モデルに依存しないテストタイムフレームワークである。 Plan-and-Budgetは、様々なタスクやモデルにわたる推論効率を改善し、最大で70%の精度向上、39%のトークン削減、および$E3$の+187.5%の改善を実現している。
  論文  参考訳（メタデータ） (2025-05-22T01:56:29Z)
• Value-Based Deep RL Scales Predictably [100.21834069400023]
  本研究は, 地域社会が病的行動に不安を抱いているにもかかわらず, 価値に基づく非政治的RL法が予測可能であることを示す。 SAC、BRO、PQLの3つのアルゴリズムを使って、DeepMind Control、OpenAI gym、IsaacGymの3つのアプローチを検証する。
  論文  参考訳（メタデータ） (2025-02-06T18:59:47Z)
• Planning with Dynamically Estimated Action Costs [2.8326418377665346]
  実際のAI計画アプリケーションには、アクションコストに関する情報が不可欠だ。 近年のアプローチでは、データからしばしば学習されるブラックボックス外部アクションコスト推定器が計画段階で適用されている。 本稿では,行動コストを考慮した決定論的計画の一般化を提案する。
  論文  参考訳（メタデータ） (2022-06-08T21:10:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。