論文の概要: CARE-PO: Controllable Tool-Call Efficiency for LLM Agents
- arxiv url: http://arxiv.org/abs/2611.12125v2
- Date: Thu, 12 Nov 2026 04:22:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:32.883966
- Title: CARE-PO: Controllable Tool-Call Efficiency for LLM Agents
- Title(参考訳): CARE-PO:LLM剤の制御可能な工具コール効率
- Abstract要約: 外部ツールコールはLLMエージェントの大きな実行コストであり、トレーニング目標はほぼタスク完了と一致している。
いくつかのメソッドは、呼び出し数を減らすために目的に効率の報奨を与えるが、独自の問題を導入する。
本稿ではこれらの問題を緩和するためにCARE-PO(Controllable Anchored Relative Effective Policy Optimization)を提案する。
- 参考スコア(独自算出の注目度): 15.835290920508143
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: External tool calls are a major running cost of an LLM agent, while its training objectives align almost exclusively with task completion. In a step-level diagnosis of Qwen3.5 trajectories at two model sizes on GAIA, a long-horizon tool-use benchmark, we find that most contain removable calls, at a similar rate at both sizes. Some methods add an efficiency reward to the objective to reduce the call count, but introduce problems of their own: the anchor they price calls against is computed from the policy's own rollouts (e.g., the group's shortest correct rollout) and so moves with the policy; training can drift toward a collapsed policy that issues no tool call at all, a degeneracy seen in published reports and in our 27B baseline; and a training run delivers a single operating point, so the user cannot trade efficiency against capability. We present CARE-PO (Controllable Anchored Relative Efficiency Policy Optimization) to mitigate these problems. The efficiency reward prices calls against a reference budget anchored to the task's own difficulty and fixed before training. Injecting a successful trajectory from the training data into each online GRPO rollout group and charging for evidence a trajectory never gathers ease the drift toward a collapsed call count. Shaping the cost curve by an effort tag in the prompt yields an efficiency and a capability operating point from a single training run. On GAIA, five of the six operating points across three model sizes improve on their base model in success rate and call count at once. On four held-out multi-hop benchmarks the result is size-dependent: at 27B and 4B success rate is held or raised at a lower call count, while at 9B both operating points trade success rate for fewer calls. The call count remains well above zero throughout training at all three sizes.
- Abstract(参考訳): 外部ツールコールはLLMエージェントの大きな実行コストであり、トレーニング目標はほぼタスク完了と一致している。
GAIAの2つのモデルサイズでのQwen3.5トラジェクトリのステップレベル診断では、ほとんどの場合、両方のサイズで、取り外し可能な呼び出しを含んでいることが判明した。
いくつかの方法は、呼び出し数を減らそうとする目的に効率の報奨を与えるが、独自の問題を導入する: それらに対する料金の請求は、ポリシー自身のロールアウト(例えば、グループの最短の正しいロールアウト)から計算され、ポリシーと共に動く。
本稿ではこれらの問題を緩和するためにCARE-PO(Controllable Anchored Relative Effective Policy Optimization)を提案する。
効率報酬の価格は、タスクの難易度に固定され、トレーニング前に固定された基準予算に対するものである。
トレーニングデータから成功した軌道をオンラインGRPOロールアウトグループに注入し、証拠を充電すると、軌道は決して集まりません。
作業タグによるコスト曲線をプロンプトで形成すると、単一のトレーニングランから効率性と能力運用ポイントが得られる。
GAIAでは、3つのモデルサイズにまたがる6つの運用ポイントのうち5つが、成功率のベースモデルを改善し、一度に呼び出し回数をカウントする。
4つのホールドアウトマルチホップベンチマークでは、結果はサイズに依存しており、27Bと4Bの成功率は低いコール数で保持または上昇される。
呼び出し回数は3つのサイズでトレーニングを通してゼロ以上である。
関連論文リスト
- Grow the Harness, Not the Context: From Strategy-Free Scaffolds to Reusable Specialist Agents [40.22528682803753]
大きな言語モデル(LLM)エージェントは、しばしば関連するタスクのストリームを処理するが、標準的なハーネスは、各タスクのコンテキスト内で同じ制御決定を再構築するようモデルに繰り返し要求する。
タスク固有のセマンティック推論のためのLCMコールを保存しながら、繰り返し制御を再利用可能なコードに変換することができるかどうかを検討する。
我々は,障害誘導型トレーニングパラダイムであるGrowing Harnessを紹介し,エージェント自身を戦略のない足場から学習する。
論文 参考訳(メタデータ) (2026-09-22T17:40:45Z) - Critical-State RL: Diagnosing Trainable States for Multi-Turn Tool Use [54.30773141960395]
マルチターンインタラクションにおけるトレーニング可能な状態を特定するために、Critical-State RLを導入する。
それぞれの報酬がタスク成功に対するアクションの効果を捉えているかどうか、参照ポリシーよりも改善できるかどうかを評価する。
Berkeley Function Calling Leaderboard (BFCL) v4の実験では、診断選択された州でのトレーニングと代替州でのトレーニングを比較している。
論文 参考訳(メタデータ) (2026-09-21T17:57:20Z) - Occamy-1.0: Open Pareto-frontier 35B Intelligence for Co-work [51.29186915859486]
本稿では, ポストトレーニング後のQwen3.6-35B-A3Bチェックポイントをさらにトレーニングし, コスト効率の良いコワークモデルであるOccamy-1.0を提案する。
我々は,複数のハーネスにまたがる再生可能な長距離軌跡を捕捉し,段階的なポストトレーニングを用いて補完的な実行機能を開発し,統合する。
論文 参考訳(メタデータ) (2026-09-04T03:32:26Z) - When Not to Imitate: Boundary-Aware Skill Memory for Reliable Tool-Use LLM Agents [62.10623192614306]
過去の成功からスキルを抽出することは、Large Language Model (LLM)エージェントの効率的な進化に不可欠である。
textbfBoundary-Aware Skill Memory (BASM)を提案する。
BASMは、成功度の高いスキルメモリベースラインを一貫して上回る。
論文 参考訳(メタデータ) (2026-08-23T10:16:06Z) - TRACE: Turn-level Reward Assignment via Credit Estimation for Long-Horizon Agents [51.523913302114266]
TRACE(Turn-level Reward Assignment via Credit Estimation)は、エージェント強化学習のための高密度クレジットアサインメント手法である。
ツールコール境界における状態遷移としてロールアウトを表現し、凍結参照モデルからゴールド・アンサー・ログ確率を取得し、それらをログ比の状態値に変換し、それらの値の時間差変化としてアクション毎の報酬を導出する。
純粋なRLを用いたベースモデルツール使用能力を大幅に向上させ、冷間開始制御された微調整ステージ、エージェント訓練ステージ、ライブWebデータによるトレーニングを不要とした。
論文 参考訳(メタデータ) (2026-07-15T16:16:42Z) - Knowing When to Ask: Segment-Level Credit Assignment for LLM Tool Use [0.0]
textbfCARL(textbfCompetence-textbfAware textbfReinforcement textbfL)を提案する。
モデル自身のロールアウトに対して、パラメトリックな知識がどこに十分で、外部の助けを必要とするかを学ぶために、評論家を訓練する。
AUC 0.93の7Bでのツール依存の質問とパラメトリックで解ける質問を分離する。
論文 参考訳(メタデータ) (2026-05-27T00:11:31Z) - Trajectory2Task: Training Robust Tool-Calling Agents with Synthesized Yet Verifiable Data for Complex User Intents [52.30603055218294]
Trajectory2Taskは,3つの現実的なユーザシナリオの下で大規模なツール使用を研究するための,検証可能なデータ生成パイプラインである。
有効なツールコールトラジェクトリを、制御されたインテント適応を伴うユーザ向けタスクに変換する。
我々は、生成された複雑なユーザシナリオタスクに対して、7つの最先端のLCMをベンチマークし、頻繁な障害を観察する。
論文 参考訳(メタデータ) (2026-01-28T00:36:13Z) - Train Long, Think Short: Curriculum Learning for Efficient Reasoning [51.506559652495476]
長さ制御推論のためのカリキュラム学習戦略を提案する。
当社の手法は寛大なトークン予算から始まり、トレーニングをしながら徐々に厳格化します。
GSM8K、MATH500、SVAMP、College Math、GSM+の実験は、カリキュラムベースのトレーニングが固定予算ベースラインを一貫して上回ることを示した。
論文 参考訳(メタデータ) (2025-08-12T13:48:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。