Fugu-MT 論文翻訳(概要): PORA: Learning When More Reasoning Pays Off for LLM Agents

論文の概要: PORA: Learning When More Reasoning Pays Off for LLM Agents

arxiv url: http://arxiv.org/abs/2610.27119v1
Date: Mon, 19 Oct 2026 18:17:29 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-21 21:58:47.453431
Title: PORA: Learning When More Reasoning Pays Off for LLM Agents
Title（参考訳）: PORA:LLMエージェントにもっと推論する時を学習する
Abstract要約: LLMエージェントは、複数のステップでタスクを実行し、フィードバックに基づいてアクションを修正します。より長い推論は、後のエラーを防止して最終的なタスク結果を改善することができるが、将来の決定に必要な予算容量も利用する。 Paired Outcome-guided Reasoning Allocation (PORA)を提案する。
参考スコア（独自算出の注目度）: 51.398031320201916
License: http://creativecommons.org/licenses/by/4.0/
Abstract: LLM agents perform tasks over multiple steps and revise their actions based on feedback. As the total reasoning budget is often limited and must support future steps, the agent must choose between short and long reasoning before each action. Longer reasoning may improve the final task outcome by preventing later errors, but it also uses budget capacity that may be needed for future decisions. This creates two challenges: estimating the downstream value of long reasoning and deciding when that value is worth using the remaining budget. We propose Paired Outcome-guided Reasoning Allocation (PORA), which learns this decision by comparing short and long reasoning from the same interaction state. During training, \method{} completes the task twice from each selected state, once with a short reasoning allowance and once with a long allowance, and compares their final quality and total processing to estimate when longer reasoning is valuable. During inference, a controller weighs this estimate against learned prices on remaining-budget pressure and chooses either short or long reasoning without running both alternatives. We evaluate PORA across application, memory, code, retail, and mathematics tasks, achieving strong results across all settings. On BFCL memory, it exceeds the strongest existing method by 17.4--32.9 percentage points. Within the same agent, it matches or exceeds always using long reasoning on code and mathematics with 50.6% fewer actor tokens and 31.2% fewer model requests, respectively.
Abstract（参考訳）: LLMエージェントは、複数のステップでタスクを実行し、フィードバックに基づいてアクションを修正します。総推論予算は制限され、将来のステップをサポートする必要があるため、エージェントは各アクションの前に短い推論と長い推論のいずれかを選択する必要がある。より長い推論は、後のエラーを防止して最終的なタスク結果を改善することができるが、将来の決定に必要な予算容量も利用する。これは2つの課題を生み出します。長い推論の下流の値を推定し、その価値が残りの予算を使っていつ価値になるかを決めます。 Paired Outcome-guided Reasoning Allocation (PORA)を提案する。トレーニング中、\method{} は選択された各状態からタスクを2回完了し、1回は短い推論許容値、もう1回は長い許容値で完了し、最終的な品質と全体処理を比較して、より長い推論が価値があるかを見積もる。推論中、コントローラは、残予算圧力の学習価格に対してこの見積を測り、両方の代替手段を走らせることなく、短いか長い推論を選択する。アプリケーション、メモリ、コード、小売、数学のタスクにまたがるPORAを評価し、すべての設定で強力な結果を得る。 BFCLメモリでは17.4-32.9ポイントという最強の既存手法を超える。同じエージェント内では、コードと数学の長い推論を使い、アクタートークンが50.6%減少し、モデル要求が31.2%減少している。

関連論文リスト

Nice Fold or Hero Call: Learning Budget-Efficient Thinking for Adaptive Reasoning [9.687158786222994]
大規模な推論モデル(LRM)は、拡張推論によって問題解決を改善するが、しばしばテスト時間計算を誤って配置する。我々は,投資コストに配慮した報酬の下で,GRPOと行動開始を組み合わせた2段階の枠組みであるBudget-Efficient Thinking (BET)を提案する。 BETは、全体的なパフォーマンス改善を達成しながら、推論トークンを平均で55%削減する。
論文参考訳（メタデータ） (2026-05-12T06:51:31Z)
Not All Turns Are Equally Hard: Adaptive Thinking Budgets For Efficient Multi-Turn Reasoning [14.194667934432443]
逐次計算割当問題としてマルチターン推論を定式化し,多目的マルコフ決定過程としてモデル化する。我々は,グローバル・パー・プロブレム・トークン制約を尊重しつつ,タスクの精度を最大化する予算配分政策であるターン・アダプティブ・バッジを提案する。我々は,すべてのサブクエストの計画が利用可能であるシステムに対して,会話履歴と過去および将来のサブクエストに基づいてトークンを予算化する予算配分政策であるTAB All-SubQを提案し,ベースライン上で最大40%のトークンを節約する。
論文参考訳（メタデータ） (2026-04-06T20:48:51Z)
MentorCollab: Selective Large-to-Small Inference-Time Guidance for Efficient Reasoning [85.05204262206296]
大きな推論モデル(LRM)は、長い思考の連鎖を生成することによって、強い性能を達成するが、その推論コストは高い。小型言語モデル(SLM)はより効率的であるが、多段階推論タスクでは困難である。本研究では, LRM が SLM を選択的かつ簡潔にガイドする推論時協調手法である MentorCollab を提案する。
論文参考訳（メタデータ） (2026-02-05T04:58:16Z)
DTS: Enhancing Large Reasoning Models via Decoding Tree Sketching [54.98126916293868]
大規模推論モデル(LRMs)は、精度を低下させる、非常に長い連鎖のトレースを生成する。本稿では,高エントロピートークンを分岐することで推論空間をスケッチするモデル非依存デコーディングフレームワークを提案する。このアプローチは、追加のトレーニングや監督を必要とせず、効率と正確性を両立させる最適解を近似する。
論文参考訳（メタデータ） (2025-11-01T17:41:28Z)
Train Long, Think Short: Curriculum Learning for Efficient Reasoning [51.506559652495476]
長さ制御推論のためのカリキュラム学習戦略を提案する。当社の手法は寛大なトークン予算から始まり、トレーニングをしながら徐々に厳格化します。 GSM8K、MATH500、SVAMP、College Math、GSM+の実験は、カリキュラムベースのトレーニングが固定予算ベースラインを一貫して上回ることを示した。
論文参考訳（メタデータ） (2025-08-12T13:48:03Z)
Thinking Short and Right Over Thinking Long: Serving LLM Reasoning Efficiently and Accurately [29.018731931275138]
大規模言語モデル(LLM)は、所定の要求に応答するChain-of-Thought推論を生成することで、より優れた機能を得ることができる。しかし,2つのスケーリング次元を取り入れた場合,システム効率は2つの理由から著しく低下する。本稿では,効率的なLLM推論のためのサービスフレームワークであるSARTについて述べる。
論文参考訳（メタデータ） (2025-05-19T16:34:56Z)
SelfBudgeter: Adaptive Token Allocation for Efficient LLM Reasoning [43.91094438704087]
SelfBudgeterは、アダプティブな制御可能な推論フレームワークで、推論の前に予算推定メカニズムを組み込む。本稿では,問題複雑度に応じて予算を動的に割り当てることにより,平均応答長61%の圧縮が得られることを示す。
論文参考訳（メタデータ） (2025-05-16T14:08:04Z)
O1-Pruner: Length-Harmonizing Fine-Tuning for O1-Like Reasoning Pruning [98.3430004984531]
精度を維持しながら推論オーバーヘッドを最小限に抑えるため,Longth-Harmonizing Fine-Tuning (O1-Pruner)を提案する。私たちのコードはもうすぐhttps://github.com/StarDewXXX/O1-Pruner.comで公開されます。
論文参考訳（メタデータ） (2025-01-22T01:35:11Z)
DetermLR: Augmenting LLM-based Logical Reasoning from Indeterminacy to Determinacy [76.58614128865652]
非決定性から決定性への進化として推論過程を再考する新しい視点であるDetermLRを提案する。まず、既知の条件を次の2つのタイプに分類する: 決定的および不決定的前提これは、推論プロセスのオール方向を提供し、不決定的データを段階的決定的洞察に変換する際のLCMを導く。我々は、利用可能な施設の保存と抽出、推論メモリによる推論パスの自動化、そしてその後の推論ステップに関する歴史的推論の詳細を保存する。
論文参考訳（メタデータ） (2023-10-28T10:05:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。