論文の概要: Stabilizing On-Policy Targeted Guidance in Agentic Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2611.05266v2
• Date: Wed, 04 Nov 2026 17:41:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 03:25:57.796674
• Title: Stabilizing On-Policy Targeted Guidance in Agentic Reinforcement Learning
• Title（参考訳）: エージェント強化学習におけるオンライン目標誘導の安定化
• Abstract要約: 本研究では,ターン単位のテキストフィードバックから,政治的自己蒸留の目的を通じて学習するフレームワークについて検討する。 目標の自己蒸留と基準ごとのRL報酬を組み合わせることで成功し、フィードバックを限定して、ポリシーが特に失敗する場所を転換する。
• 参考スコア（独自算出の注目度）: 139.34756544165558
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Naive on-policy RL is often bottlenecked by the capabilities of the base model --- insufficient coverage can result in an inability to learn from certain rewards. At the same time, rewards in modern post-training systems often come from rich textual sources, e.g. judge models with a rubric of criteria. Can we utilize such structures to provide a rich directional signal that enables improving on otherwise difficult to optimize rewards? In this work, we examine a framework we refer to as targeted guidance that learns from per-turn textual feedback via an on-policy self-distillation objective. Our focus is not only on directly improving hard-to-optimize behaviors, but on how to do so throughout the training process without degrading baseline RL performance. Over a range of settings across an agentic multi-turn software engineering environment, we find success by combining targeted self-distillation with a per-criteria RL reward, and by limiting feedback to turns where the policy specifically fails. We further examine the design choices that lead to stable entropy and reduce oscillatory behavior throughout training.
• Abstract（参考訳）: 政治上のRLは、ベースモデルの能力によってボトルネックになることが多い -- カバーが不十分なため、特定の報酬から学べない可能性がある。 同時に、現代のポストトレーニングシステムの報酬は、リッチなテキストソース(例えば、基準の粗末な判断モデル)から生まれることが多い。 このような構造を利用して、報酬の最適化が困難であるような、リッチな指向性信号を提供できるか? 本研究は, 政治自己蒸留の目的を通じて, ターン毎のテキストフィードバックから学習する, ターゲットガイダンスとして言及するフレームワークについて検討する。 私たちの焦点は、最適化の難しい振る舞いを直接改善することだけでなく、ベースラインのRLパフォーマンスを低下させることなく、トレーニングプロセス全体を通してそれをどのように行うかに焦点を当てています。 エージェント的マルチターンソフトウェアエンジニアリング環境におけるさまざまな設定において、ターゲットの自己蒸留と基準単位のRL報酬を組み合わせ、フィードバックを制限して、ポリシーが特に失敗する場所を転換することで、成功を見出す。 さらに,安定なエントロピーにつながる設計選択や,トレーニングを通しての振動挙動の低減について検討する。

関連論文リスト

• SEED: Self-Evolving On-Policy Distillation for Agentic Reinforcement Learning [38.54413500261524]
  アウトカムベース強化学習(RL)は、実用的な最適化パラダイムを提供するが、その疎度な軌道レベルの報酬は、中間決定に関する限られたガイダンスを提供する。 筆者らは,自己進化型フレームワークSEED(Self-Evolving On-Policy Distillation)を提案する。
  論文  参考訳（メタデータ） (2026-07-16T09:57:18Z)
• Self-evolving LLM agents with in-distribution Optimization [60.05867547965365]
  大規模言語モデル(LLM)は最近、複雑な環境で対話的なエージェントのための強力なコントローラとして登場した。 本稿では,自動プロセス・リワードラベリングとポリシー学習を統一するLDMエージェントの自己進化フレームワークであるQ-Evolveを提案する。 我々は,AlfWorld,WebShop,ScienceWorldの手法を評価し,Q-Evolveがサンプル効率,堅牢性,全体的なタスク性能において高いベースラインを達成していることを示す。
  論文  参考訳（メタデータ） (2026-06-05T15:09:52Z)
• Explicit Critic Guidance for Aligning Diffusion Models [27.6704888666835]
  拡散後学習のための状態整列型アクター批判フレームワークを提案する。 提案手法は, グループリレーショナルRLとアクタークリティックベースラインを, シングルリワード, マルチリワードベンチマークで連続的に上回っている。
  論文  参考訳（メタデータ） (2026-05-26T22:20:51Z)
• RLAF: Reinforcement Learning from Automaton Feedback [8.266016076430516]
  複雑で歴史に依存した報酬構造を持つ環境における強化学習(RL)は、従来の手法に重大な課題をもたらす。 本稿では,学習プロセスの指導にオートマトンに基づくフィードバックを活用する新しいアプローチを提案し,決定論的有限オートマトン(DFA)から導出される選好に,明示的な報酬関数を置き換える。 本研究は,非マルコフ報酬の処理において,オートマトンに基づく選好の利点を強調し,従来の報酬モデルに代わる,スケーラブルで効率的で人間に依存しない代替手段を提供する。
  論文  参考訳（メタデータ） (2025-10-17T15:17:01Z)
• Agentic Reinforcement Learning with Implicit Step Rewards [92.26560379363492]
  大規模言語モデル (LLMs) は強化学習 (agentic RL) を用いた自律的エージェントとして発展している。 我々は,標準RLアルゴリズムとシームレスに統合された一般的なクレジット割り当て戦略であるエージェントRL(iStar)について,暗黙的なステップ報酬を導入する。 我々は,WebShopとVisualSokobanを含む3つのエージェントベンチマークと,SOTOPIAにおける検証不可能な報酬とのオープンなソーシャルインタラクションについて評価した。
  論文  参考訳（メタデータ） (2025-09-23T16:15:42Z)
• RAGEN: Understanding Self-Evolution in LLM Agents via Multi-Turn Reinforcement Learning [125.96848846966087]
  対話型エージェントとしての大規模言語モデル(LLM)のトレーニングには,ユニークな課題がある。 強化学習は静的タスクの進行を可能にする一方で、マルチターンエージェントRLトレーニングは未探索のままである。 本稿では、軌道レベルのエージェントRLのための一般的なフレームワークであるStarPOを提案し、LLMエージェントのトレーニングと評価のためのモジュールシステムであるRAGENを紹介する。
  論文  参考訳（メタデータ） (2025-04-24T17:57:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。