論文の概要: UniOPSD: Unifying Outcome and Hindsight Feedback for Agentic Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2609.34810v1
- Date: Mon, 28 Sep 2026 10:13:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 02:38:51.253793
- Title: UniOPSD: Unifying Outcome and Hindsight Feedback for Agentic Reinforcement Learning
- Title（参考訳）: UniOPSD:エージェント強化学習における成果と隠れたフィードバックの統合
- Abstract要約: 適応型ローカルクレジット仲裁によりフィードバックソースを統一するUniOPSD(Unified On-Policy Self-Distillation)を導入する。
Qwen2.5-3B-Instruct と Qwen2.5-7B-Instruct により、UniOPSD は ALFWorld の成功率 82.8% と 833.6% 、WebShop の成功率 75.0% と 82.0% それぞれ 455.3% と 449.8% を達成している。
- 参考スコア（独自算出の注目度）: 23.174164520936326
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reinforcement learning has become an effective approach to training language model agents, but sparse and delayed outcome rewards provide limited guidance for credit assignment across long interaction sequences. Recent work on on-policy self-distillation (OPSD) offers complementary supervision by evaluating a policy's sampled responses under privileged training-time context. However, our diagnostics show that positive average agreement between outcome and hindsight feedback coexists with substantial local disagreement, raising the question of how to allocate influence between them at each decision. We introduce UniOPSD (Unified On-Policy Self-Distillation), which unifies these feedback sources through adaptive local credit arbitration. UniOPSD constructs comparable credit estimates from environmental returns and successful-peer hindsight at shared interaction anchors. Historical agreement determines the global mixing level, while current signal availability and relative precision adjust each source's influence at individual decisions. The episode-level outcome contribution is retained, and bounded token modulation refines the fused step credit for policy optimization. With Qwen2.5-3B-Instruct and Qwen2.5-7B-Instruct, UniOPSD achieves ALFWorld success rates of $82.8\%$ and $83.6\%$, WebShop success rates of $75.0\%$ and $82.0\%$, and Search-QA aggregate accuracies of $45.3\%$ and $49.8\%$, respectively. On 3B WebShop, UniOPSD improves over SDAR by $7.0$ percentage points. Our code is available at https://github.com/Zenghuang-Fu/Uniopsd
- Abstract（参考訳）: 強化学習は、言語モデルエージェントの訓練に有効なアプローチとなっているが、疎度と遅延した結果報酬は、長期の相互作用シーケンスにまたがるクレジット代入の限定的なガイダンスを提供する。
近年のOPSD (On-policy Self-distillation) に関する研究は、特権的な訓練時間環境下での政策のサンプル応答を評価することによって、補完的な監視を提供する。
しかし,本診断では,結果と後視フィードバックの正の平均的一致が相当な局所的不一致と一致していることが示され,各決定における影響の配分に関する疑問が提起された。
UniOPSD(Unified On-Policy Self-Distillation)を導入する。
UniOPSDは、環境リターンと共有相互作用アンカーにおける成功ピアの後見から、同等の信用推定を構成する。
歴史的合意は、グローバルな混合レベルを決定する一方で、現在の信号の可用性と相対的精度は、個々の決定においてそれぞれのソースの影響を調整する。
エピソードレベルの結果コントリビューションは保持され、境界トークン変調はポリシー最適化のための融合ステップクレジットを洗練させる。
Qwen2.5-3B-Instruct と Qwen2.5-7B-Instruct により、UniOPSD は ALFWorld の成功率は 82.8 %$ と 8,3.6 %$, WebShop の成功率は 75.0 %$ と 82.0 %$, Search-QA の総和は 45.3 %$ と 4.9.8 % である。
3B WebShopでは、UniOPSDはSDARよりも7.0ドルポイント改善している。
私たちのコードはhttps://github.com/Zenghuang-Fu/Uniopsdで利用可能です。
関連論文リスト
- Self-Confirming Superposition Traps in Reinforcement Learning [62.71685993550818]
強化学習はエージェントのポリシーによって選択されたデータに基づいて表現し、その結果のリターンを使って次の選択を導く。
これらのデータに対して表現フィッティングがグローバルに最適である場合でも,このループは低リターンポリシーを維持可能であることを示す。
論文 参考訳（メタデータ） (2026-09-26T21:56:26Z) - On-Policy Self-Distillation in Diffusion Models [89.32656931795293]
強化学習は、拡散モデルと人間の好みやタスク固有の目的とを一致させることができるが、エンドポイント報酬は、中間的偏見予測をどのように変更すべきかを規定していない。
そこで我々は、DiffusionOPSDを、画像レベルの報酬誘導を明示的なターゲットに変換して、サンプルクエリにおけるクリーンな出力予測を行うオンライン自己蒸留フレームワークとして導入する。
SD 3.5-Mとステップ蒸留したZ-Image-Turboを用いて、2つのバックボーンと10個の評価器で20の報酬マッチング設定のうち19のファイナルホールトアウトスコアを達成した。
論文 参考訳（メタデータ） (2026-08-25T14:55:24Z) - WDL-OPD: Weak-Driven On-Policy Distillation via Mixture-Constrained Co-Training [48.290951447286744]
WDL-OPDは2つの訓練可能なポリシーを持つ混合制約付き協調訓練法である。
アンカーポリシはロールアウト毎に生成し、補助ポリシは同じ訪問状態を評価し、それらのトークン分布の幾何学的混合を逆KLで凍結教師にマッチングする。
凍結はPD$2とW2S-OPDと密接に関連するアンカープラスコントラストのプロキシターゲットを回復させるが,ジョイントトレーニングは静的デルタが表現できない分岐レベル自由度を生成する。
論文 参考訳（メタデータ） (2026-08-10T11:22:53Z) - AgentOPSD: Recursive Self-Distillation for Agentic Reinforcement Learning [58.76655851910778]
AgentOPSDは、エージェント強化学習におけるターンレベルのクレジット割り当てのための、批判のない再帰的手法である。
ALFWorld, WebShop, Search-QA上のAgentOPSDを2つのスケールでQwen2.5モデルを用いて評価する(3B, 7B)。
論文 参考訳（メタデータ） (2026-08-06T13:00:59Z) - Between-User Collapse Under Popularity-Biased Feedback: A Centered-Covariance Theorem and Computable Phase Boundary [0.0]
我々は,人気度の高いBPRトレーニングが,協調フィルタリング埋め込みのユーザ間幾何学にどう影響するかを考察する。
定常アイテムによる人気バイアスのあるフィードバックの下では、$C$は安定した状態に収束する。
次に、その効果の限界について検討する。
論文 参考訳（メタデータ） (2026-08-03T17:33:25Z) - $β$-OPSD: Deriving with Policy Optimization, Training with Self-Distillation [85.07190808882523]
オンライン自己蒸留は推論言語モデルを改善するための有望なアプローチである。
我々は,$-OPSDがバニラOPSDを一貫して上回ることを示す。
論文 参考訳（メタデータ） (2026-07-30T17:41:16Z) - Counterfactual Shapley Credit Assignment [49.39649767581182]
クレディ・アサインメント・問題(CAP)は、効率的かつ説明可能な強化学習(RL)エージェントを開発するための基礎である。
対実共有($-value)を通じて信用と責任を判断する新しい枠組みである対実共有($-value)を導入する。
我々は、$$-valuesを計算し、優先順位付き軌道再生(PTR)と組み合わせた新しいポリシーメソッドのクラス$-PPOを可能にする一貫した推定器を導出する。
論文 参考訳（メタデータ） (2026-07-18T23:28:20Z) - StepOPSD: Step-Aware Online Preference Distillation for Agent Reinforcement Learning [6.365332042924078]
本稿では,ロールアウト後の自己蒸留フレームワークであるStepOPSDについて紹介する。
StepOPSDは、軌跡をアクション中心のステップセグメントに分解し、後見豊かな教師コンテキスト下でそれらを再構成する。
より小さい_clipは広範囲に安定化された局所信頼領域として作用するが、最適な大域混合強度_mixはタスク依存のままである。
論文 参考訳（メタデータ） (2026-05-26T15:07:03Z) - Multi-Dimensional Behavioral Evaluation of Agentic Stock Prediction Systems Using Large Language Model Judges with Closed-Loop Reinforcement Learning Feedback [1.2362187555287152]
ファイナンスにおける予測評価は、ポイント予測エラーに基づく集計精度測定と予測精度テストに依存している。
本稿では,中間決定プロセス自体を評価することによって,精度試験を補完する行動予測評価手法を提案する。
論文 参考訳（メタデータ） (2026-05-07T06:31:34Z) - Redistributing Rewards Across Time and Agents for Multi-Agent Reinforcement Learning [14.852334980733369]
共用型マルチエージェント強化学習において、各エージェントの共用報酬への貢献を阻害する信用割り当ては重要な課題である。
本稿では、この制約から信用モデリングを分離するアプローチであるTAR(Temporal-Agent Reward Redistribution)を導入する。
本手法は,モデル精度によらず最適ポリシーが維持されることを保証するPBRSと等価であることを示す。
論文 参考訳（メタデータ） (2025-02-07T12:07:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。