論文の概要: Reconciling Process Supervision with Outcome-Based Credit in Agentic Policy Optimization
- arxiv url: http://arxiv.org/abs/2608.31077v1
- Date: Mon, 31 Aug 2026 16:51:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:31.524245
- Title: Reconciling Process Supervision with Outcome-Based Credit in Agentic Policy Optimization
- Title（参考訳）: エージェント・ポリシー最適化におけるアウトカム・クレジットによるプロセス・スーパービジョンの再構築
- Abstract要約: 我々は、特権付き監督を成果ベースアクションクレジットに変換するTASPOを紹介する。
3つのエージェントベンチマークで、TASPOはGRPOよりも10.6%改善し、目に見えないタスクを一般化する。
- 参考スコア（独自算出の注目度）: 13.354353071601379
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Outcome-based reinforcement learning provides verified feedback for language-model agents, but assigns trajectory-level advantage uniformly to all decisions, yielding coarse credit over long-horizon interactions. On-policy self-distillation offers finer supervision by re-evaluating sampled behavior with privileged information (PI) available only during training. However, fine-grained supervision is not necessarily fine-grained credit: PI-induced likelihood changes describe how additional information alters policy preference, but do not directly determine how an executable action should inherit the verified task outcome. This creates a supervision-credit gap. Privileged signals may be irrelevant to the current interaction state, operate at a token granularity misaligned with executable decisions, and lack the outcome semantics required for reinforcement. We introduce TASPO, which converts privileged supervision into outcome-grounded action credit. TASPO constructs decision-applicable PI from verified successful experience, aggregates PI-induced likelihood shifts at the executable-action level, and converts relative action support into positive, bounded, mean-preserving weights on the original trajectory advantage. Thus, the verified outcome determines the update direction and average scale, while PI only redistributes credit across actions. Across three agentic benchmarks, TASPO improves over GRPO by 10.6\% and generalizes better to unseen tasks. Further analysis indicates that TASPO reduces supervision mismatch and that action-level assignment stabilizes the policy optimization process. These findings offer the community another interesting perspective.
- Abstract（参考訳）: 結果に基づく強化学習は、言語モデルエージェントに対して検証されたフィードバックを提供するが、軌道レベルの優位性を全ての決定に均一に割り当て、長い水平相互作用よりも粗い信用を与える。
オンラインの自己蒸留は、トレーニング中にのみ利用できる特権情報(PI)を用いてサンプリングされた振る舞いを再評価することで、より詳細な監視を提供する。
しかし、きめ細かい監督は必ずしもきめ細かなクレジットではない:PIによって引き起こされる可能性の変化は、追加情報が政策の嗜好をどのように変えるかを記述するが、実行可能アクションが検証されたタスク結果をどのように継承するかを直接決定しない。
これにより、監督とクレディットのギャップが生じる。
原始的な信号は、現在の相互作用状態とは無関係であり、トークンの粒度で実行可能決定と不一致に動作し、強化に必要な結果のセマンティクスが欠如している。
我々は、特権付き監督を成果ベースアクションクレジットに変換するTASPOを紹介する。
TASPOは、評価された成功経験から決定適用可能なPIを構築し、PIによって誘導される確率シフトを実行可能アクションレベルで集約し、相対的な作用支援を元の軌道上の正、有界、平均保存重みに変換する。
このように、検証された結果が更新方向と平均スケールを決定する一方で、PIはアクション間でクレジットを再分配するのみである。
3つのエージェントベンチマークで、TASPOはGRPOよりも10.6\%改善し、目に見えないタスクを一般化する。
さらなる分析により、TASPOは監督ミスマッチを減らし、アクションレベルの割当がポリシー最適化プロセスの安定化を図っている。
これらの発見は、コミュニティにもう1つの興味深い視点を与えます。
関連論文リスト
- PGPO: Potential-Guided Policy Optimization for Multi-Turn Agentic Tasks [41.82007055765541]
マルチターンエージェントタスクに対する潜在的誘導型ポリシー最適化を提案する。
各ロールアウトグループ内のアンカー状態群戻り統計から経験的状態ポテンシャルを推定する。
その後、隣接する状態間の潜在的な差異から行動上の利点を導き出し、軌道間クレジットの伝播を可能にする。
論文 参考訳（メタデータ） (2026-09-02T07:44:16Z) - LOTAPO: Leave-One-Turn Attribution for Self-Generated Process Rewards in Multi-Turn Search Reasoning [12.013691798765594]
LOTAPOは、後戻り一ターン属性に基づく自己生成プロセススーパービジョン手法である。
各検索ターンに対して、LOTAPOはターンとその検索観察を固定[DELETE]プレースホルダーで置き換える。
このAnswer-Likelihood Gainは、すべての下流相互作用を保存しながらターンの寄与を推定する。
論文 参考訳（メタデータ） (2026-07-15T06:55:28Z) - TRIAGE: Role-Typed Credit Assignment for Agentic Reinforcement Learning [10.917273110894469]
エージェント強化学習では、環境に配慮した行動にクレジットを割り当てる必要がある。
標準GRPOは全てのアクショントークンに対する一様優位性として最終検証結果を使用する。
本稿では,ロール型クレジット代入フレームワークであるTRIAGEを提案する。
論文 参考訳（メタデータ） (2026-06-30T17:48:07Z) - APPO: Agentic Procedural Policy Optimization [28.730334202611257]
エージェントRLを2つの視点から研究する:textitwhere to branchと、ブランチ後のクレジットの割り当て方法
本稿では、分岐とクレジットの割り当てを粗い相互作用単位から細かな決定点にシフトするAPPOを提案する。
APPOは、強力なエージェントRLベースラインを4ポイント近く改善し、効率的なツールコールを維持し、振る舞いの解釈可能性を維持する。
論文 参考訳（メタデータ） (2026-06-10T17:47:07Z) - TRACE: A Unified Rollout Budget Allocation Framework for Efficient Agentic Reinforcement Learning [52.67756371231985]
検証可能な報酬を伴う強化学習(RLVR)は、大規模言語モデルにおける推論とエージェント的行動を強化するための有望なアプローチである。
本稿では,Tree Rollout Allocation for Contrastive Exploration (TRACE)について紹介する。
技術的には、TRACEはロールアウト予算をルートと中間プレフィックスの両方に割り当てている。
論文 参考訳（メタデータ） (2026-06-09T17:16:03Z) - PBSD: Privileged Bayesian Self-Distillation for Long-Horizon Credit Assignment [35.978805768172656]
ロングホライゾンのエージェントタスクは、結果ベース強化学習の基本的なクレジット割り当て課題となる。
PBSD (Privileged Bayesian Self-Distillation) はベイズが校正した自己蒸留法である。
論文 参考訳（メタデータ） (2026-06-08T11:20:58Z) - TAPO: Tool-Aware Policy Optimization via Credit Transfer for Multimodal Search Agents [54.08846865906602]
ツール強化マルチモーダルサーチエージェントにおいて,クレジットミス割り当てをGRPOの系統的障害モードとして特徴付ける。
本稿では,情報取得ツールのパラメータ決定性を利用したツール・アウェア・ポリシー・オプティマイズ(TAPO)を提案する。
論文 参考訳（メタデータ） (2026-06-04T07:15:43Z) - VeriGate: Verifier-Gated Step-Level Supervision for GRPO [51.26100506256885]
グループ相対政策最適化は、検証者に基づく結果報酬を伴う推論モデルをトレーニングするための効果的なレシピである。
GRPO の検証子付き拡張である VeriGate を提案し,これらの制限を3つの設計選択で解決する。
We show that VeriGate improves average accuracy around 20% and 12% for 1.5B and 7B models respectively。
論文 参考訳（メタデータ） (2026-05-28T18:20:32Z) - RICE-PO: Turning Retrieval Interactions into Credit Signals for Reasoning Agents [37.33108522642245]
本稿では,検索インタラクションを局所的な学習信号に変換する,批判のないポリシー最適化フレームワークであるRICE-POを提案する。
BRIGHTとBEIRでは、RICE-POはプロンプトベースのエージェントとグループベースのRLベースラインを同じレシーバー設定で一貫して上回る。
論文 参考訳（メタデータ） (2026-05-25T21:56:29Z) - OLIVIA: Online Learning via Inference-time Action Adaptation for Decision Making in LLM ReAct Agents [74.20327254615854]
大規模言語モデルエージェントは、シーケンシャルな意思決定タスクを解決するために、推論、行動選択、観察をインターリーブする。
LLMエージェントの既存の推論時間適応法は、主にプロンプトや検索に依存している。
提案するOLIVIAは,ReAct型エージェントのための推論時行動適応フレームワークである。
論文 参考訳（メタデータ） (2026-05-11T19:28:20Z) - Verified Critical Step Optimization for LLM Agents [67.05296684575445]
クリティカルステップ最適化は、検証されたクリティカルステップに優先学習を集中する。
メソッドは、専門家のデモンストレーションではなく、失敗するポリシーの軌道から始まります。
GAIA-Text-103とXBench-DeepSearchの実験では、CSOはSFTベースラインよりも37%、相対的に26%改善している。
論文 参考訳（メタデータ） (2026-02-03T11:41:02Z) - Gaming the Judge: Unfaithful Chain-of-Thought Can Undermine Agent Evaluation [76.5533899503582]
大規模言語モデル(LLM)は、エージェントのパフォーマンスを評価するために、ますます裁判官として使われている。
このパラダイムは、エージェントのチェーン・オブ・シークレット(CoT)推論が内部の推論と環境状態の両方を忠実に反映していることを暗黙的に仮定している。
我々は、操作された推論だけで、様々なWebタスクにまたがる800の軌跡に対して、最先端のVLM審査員の偽陽性率を最大90%向上させることができることを実証した。
論文 参考訳（メタデータ） (2026-01-21T06:07:43Z) - Agentic Reinforcement Learning with Implicit Step Rewards [92.26560379363492]
大規模言語モデル (LLMs) は強化学習 (agentic RL) を用いた自律的エージェントとして発展している。
我々は,標準RLアルゴリズムとシームレスに統合された一般的なクレジット割り当て戦略であるエージェントRL(iStar)について,暗黙的なステップ報酬を導入する。
我々は,WebShopとVisualSokobanを含む3つのエージェントベンチマークと,SOTOPIAにおける検証不可能な報酬とのオープンなソーシャルインタラクションについて評価した。
論文 参考訳（メタデータ） (2025-09-23T16:15:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。