論文の概要: What Effort Level Should I Choose? On the Economics of Reasoning Effort in LLM Agents

• arxiv url: http://arxiv.org/abs/2610.34491v1
• Date: Sun, 25 Oct 2026 18:33:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.623838
• Title: What Effort Level Should I Choose? On the Economics of Reasoning Effort in LLM Agents
• Title（参考訳）: 何の努力を選ぼうか? LLM エージェントの試行的努力の経済性について
• Abstract要約: 生成モデルは、推論時間計算のスケールを可能にする推論の取り組みセットを、ますます公開します。 プロプライエタリモデルとオープンウェイトモデルの両方に対する作業レベルの反実効果を測定する。 高い労力は、合計で精度を上げることができるが、少ない労力で解決したタスクでは、しばしば失敗する。
• 参考スコア（独自算出の注目度）: 16.589715810241614
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generative models increasingly expose a reasoning effort setting that lets users scale inference-time compute, trading higher cost for potentially improved performance. Users must choose an effort level before knowing whether extra reasoning will help, and even a successful run does not reveal whether the effort purchased was necessary. Reasoning effort is therefore a credence good: buyers observe the outcome but cannot assess the marginal value of the computation they paid for. In this work, we measure the counterfactual effect of effort levels on both proprietary and open-weight models on four benchmarks, spanning single-call reasoning and long-horizon agentic tasks. Effort, it turns out, does not consistently preserve tasks that lower effort solves, can overspend, and can change trajectory behavior. First, we find that although higher effort can raise accuracy in aggregate, it frequently fails on tasks that lower effort solved. Second, on the subset of easy tasks that every effort level solves, higher effort is generally more costly, with the highest effort level costing up to 42x as much as the lowest. Lastly, effort changes not only how many tokens are used, but also how agents solve tasks: at higher effort, agents verify their own work more heavily and more often search for solutions than work through problems directly, both of which lengthen trajectories without necessarily altering the outcome. These findings show that naively choosing the highest level is not only cost-inefficient but also offers no guarantee of the best instance-level performance. A simple alternative, starting at the lowest effort and escalating only after a verified failure, matches or improves on fixed top effort across all models and benchmarks at lower cost for most proprietary models.
• Abstract（参考訳）: 生成モデルでは、推論時間計算をスケールするための推論作業の設定がますます公開され、パフォーマンス改善のためのより高いコストのトレーディングが可能になる。 ユーザーは、余分な理由が役立つかどうかを知る前に、作業レベルを選択しなければならない。 買い手は結果を観察するが、支払った計算の限界値を評価することはできない。 本研究では,4つのベンチマークにおいて,プロプライエタリモデルとオープンウェイトモデルの両方に対する作業レベルの反実的効果を計測する。 努力は、低い労力が解決し、オーバースペンドでき、軌道の振る舞いを変えることができるタスクを一貫して保持するわけではないことが判明した。 第一に、より高い労力が集約の精度を高めることができるが、より少ない労力で解決されるタスクに頻繁に失敗する。 第二に、すべての作業レベルが解決する簡単なタスクのサブセットにおいて、高い作業は一般的によりコストがかかり、最も高い作業レベルは最低の42倍までコストがかかります。 最後に、どれだけのトークンが使われているかだけでなく、エージェントがタスクをどう解決するかも変化します。 これらの結果から,最高レベルの選択がコスト非効率であるだけでなく,最高のインスタンスレベルのパフォーマンスの保証が得られないことが示唆された。 単純な代替策として、最小限の取り組みから始まり、検証された失敗の後にのみエスカレートし、ほとんどのプロプライエタリなモデルにおいて、より低コストで、すべてのモデルとベンチマークの固定された最上位の取り組みにマッチまたは改善する。

関連論文リスト

• When Faster Decisions Do Not Make Better Agents: An Empirical Study of Jev in Agent Workflows [13.654207263751156]
  最近のJevの出現は、意思決定を迅速かつ低コストで行う機会を提供する。 ローカルな貯蓄を効率的にかつ信頼性の高いタスク完了に変換できるかどうかを検討する。 4500件のタスク実行において、タスクの有効性、決定レベルおよびタスクレベルのリソース使用、実行動作を共同で評価する。
  論文  参考訳（メタデータ） (2026-10-09T06:45:23Z)
• Ares: Adaptive Reasoning Effort Selection for Efficient LLM Agents [30.48395228595732]
  Aresは、マルチステップエージェントタスク用に調整された、ステップごとの動的推論作業選択のためのフレームワークである。 我々は、ステップ完了に要する最小の推論労力を識別するデータ生成パイプラインを開発する。 ツール使用エージェントのTAU-Bench,ディープ検索エージェントのBrowseComp-Plus,WebエージェントのWebArenaなど,さまざまなエージェントタスクに対してAlesを評価した。
  論文  参考訳（メタデータ） (2026-03-09T03:17:29Z)
• Sample Smart, Not Hard: Correctness-First Decoding for Better Reasoning in LLMs [72.82403830490084]
  我々は、復号規則は正確さによって校正されるべきであり、自信だけではならないと論じている。 Greedy-Threshold はこの目標を達成するための単純な戦略を提案します。 この結果から,不確実性の下での復号化が問題視され,数学や一般推論のベンチマークで有意な差がみられた。
  論文  参考訳（メタデータ） (2025-10-07T14:46:12Z)
• RRO: LLM Agent Optimization Through Rising Reward Trajectories [52.579992804584464]
  大規模言語モデル (LLM) は様々なタスクにおいて異常な性能を示した。 実際には、エージェントは特定の重要なステップの結果に敏感で、タスクを失敗する可能性がある。 この問題を軽減するために,Reward Rising Optimization (RRO)を提案する。
  論文  参考訳（メタデータ） (2025-05-27T05:27:54Z)
• Runaway is Ashamed, But Helpful: On the Early-Exit Behavior of Large Language Model-based Agents in Embodied Environments [54.67512489842682]
  大規模言語モデル(LLM)は、複雑な実施環境において、強力な計画と意思決定能力を示す。 LLMをベースとしたエージェントの早期退避行動を探究する第一歩を踏み出す。
  論文  参考訳（メタデータ） (2025-05-23T08:23:36Z)
• Guiding Through Complexity: What Makes Good Supervision for Hard Math Reasoning Tasks? [74.88417042125985]
  複雑さの異なるタスクにおいて、様々な品質レベルで監視データを提供する様々なデータ駆動戦略について検討する。 ハードタスクの監視における結果エラー率が高い場合でも、そのようなデータによるトレーニングは、より簡単なサブタスクの監督を完璧に上回ります。 また,本研究の結果から,タスク・インスペクションとサブタスク・インスペクションを補完することで,顕著なパフォーマンス向上が期待できることがわかった。
  論文  参考訳（メタデータ） (2024-10-27T17:55:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。