論文の概要: PATS: Policy-Aware Training Scaffolding for Agentic Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2607.21419v2
• Date: Thu, 30 Jul 2026 03:55:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-31 12:52:12.246214
• Title: PATS: Policy-Aware Training Scaffolding for Agentic Reinforcement Learning
• Title（参考訳）: PATS : エージェント強化学習のための政策意識学習支援
• Abstract要約: ダイナミックトレーニングの足場としてスキルを再構築する,ポリシ中心のトレーニングパラダイムを提案する。 当社のフレームワークPATSは,最新のポリシーからエビデンスカードにロールアウトグループを変換し,タスク固有の評価を用いて,その後のロールアウトで使用されるコンテキストを調整する。
• 参考スコア（独自算出の注目度）: 8.197606162420145
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In long-horizon LLM agent reinforcement learning, weak policies often repeat similar failures, producing uninformative rollout trajectories and limiting effective policy optimization. Existing skill-centric methods improve exploration by optimizing, filtering, or internalizing reusable skills. However, they remain centered on the skills themselves rather than being designed as adaptive training-time support for the evolving policy. To address this, we propose a policy-centric training paradigm that reframes skills as a dynamic training scaffold. Our framework, PATS, converts rollout groups from the latest policy into evidence cards and uses task-specific evaluation to adjust the context used in subsequent rollouts. Concrete guidance helps weak policies to complete challenging tasks. As policy improves, redundant context is revised or removed to reduce reliance on explicit guidance while preserving useful rollout variation. The policy is optimized with environmental rewards using standard RLVR, and the training scaffold is discarded at deployment. Across ALFWorld, WebShop, and seven search-augmented QA benchmarks, PATS achieves performance competitive with SOTA baselines while using 25%-50% fewer tokens.
• Abstract（参考訳）: 長期LLMエージェント強化学習では、弱いポリシーはしばしば同様の失敗を繰り返し、非形式的なロールアウト軌道を生成し、効果的なポリシー最適化を制限する。 既存のスキル中心の手法は、再利用可能なスキルの最適化、フィルタリング、内部化によって探索を改善する。 しかし、彼らは進化する政策に対する適応的なトレーニングタイムのサポートとして設計されるのではなく、スキルそのものに重点を置いている。 そこで本研究では,ダイナミックトレーニングの足場としてスキルを再設計する,ポリシー中心のトレーニングパラダイムを提案する。 当社のフレームワークPATSは,最新のポリシーからエビデンスカードにロールアウトグループを変換し,タスク固有の評価を用いて,その後のロールアウトで使用されるコンテキストを調整する。 具体的なガイダンスは、弱い政策が困難なタスクを完了するのに役立ちます。 ポリシーの改善に伴い、冗長なコンテキストが修正または削除され、明示的なガイダンスへの依存が軽減され、便利なロールアウトのバリエーションが保護される。 このポリシーは、標準のRLVRを使用して環境報酬を最適化し、トレーニングの足場はデプロイ時に破棄される。 ALFWorld、WebShop、および7つの検索強化されたQAベンチマークを通じて、PATSはトークンを25%から50%削減しながら、SOTAベースラインと競合するパフォーマンスを達成する。

関連論文リスト

• SPyCE: Skill-Policy Co-evolution for Multimodal Agents [12.105041985483167]
  階層型スキルライブラリにトラジェクトリを蒸留し,強化学習を通じて更新するフレームワークであるSPyCEを提案する。 トレーニング中、ポリシーモデルはそのロールアウトをガイドするために回収されたスキルに条件を課し、スキルライブラリはポリシーによって生成された貴重なロールアウトを使用して進化する。 8つのベンチマークの実験では、SPyCEはRLベースとメモリベースの両方のベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-07-15T14:01:48Z)
• LLM-as-a-Tutor: Policy-Aware Prompt Adaptation for Non-Verifiable RL [64.4276583943816]
  検証不能な指導のための強化学習は、報酬信号としてプロンプト固有のルーリックを持つ裁判官に依存している。 最近の手法は、トレーニング中にこれらのルーリックを進化するポリシーに適応させるが、トレーニングのプロンプト自体は静的のままである。 この静的なアプローチは、しばしば急激な困難と政策能力の間に重大なミスアライメントをもたらし、裁判官は差別的な報酬信号を取り戻すことができない。
  論文  参考訳（メタデータ） (2026-07-05T17:05:13Z)
• Beyond Action Residuals: Real-World Robot Policy Steering via Bottleneck Latent Reinforcement Learning [42.74142065376427]
  本稿では,Z-Perturbation Reinforcement Learning (ZPRL)を提案する。 現実世界では、ZPRLは模倣ベースポリシーよりも4つのタスクの平均成功率を33.7%向上させる。
  論文  参考訳（メタデータ） (2026-05-19T14:43:26Z)
• Learning to Learn-at-Test-Time: Language Agents with Learnable Adaptation Policies [48.31565681022125]
  テスト・タイム・ラーニング(TTL)は、言語エージェントが推論時に環境と繰り返し対話することで、その性能を反復的に改善することを可能にする。 我々は,人間の直感に基づく手作業ではなく,タスク環境から最適な適応ポリシーを学ぶべきだと論じている。 本稿では,2段階最適化問題として効果的な適応ポリシーの発見を定式化するMeta-TTLを提案する。
  論文  参考訳（メタデータ） (2026-04-01T12:41:01Z)
• Learning in Context, Guided by Choice: A Reward-Free Paradigm for Reinforcement Learning with Transformers [55.33468902405567]
  本稿では、事前学習とデプロイの両方が好みのフィードバックにのみ依存する新しい学習パラダイム、In-Context Preference-based Reinforcement Learning (ICPRL)を提案する。 ICPRLは、厳密なコンテキスト内一般化を可能にし、完全な報酬管理で訓練されたICRLメソッドに匹敵するパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-02-09T03:42:16Z)
• A Step Back: Prefix Importance Ratio Stabilizes Policy Optimization [58.116300485427764]
  強化学習のポストトレーニングは、大きな言語モデルにおける推論の振る舞いを引き出すことができる。 トークンレベルの補正は、オフポリシーネスの度合いが大きい場合、不安定なトレーニングダイナミクスにつながることが多い。 我々は,最小固定率 (MinPRO) を簡易かつ効果的に提案する。
  論文  参考訳（メタデータ） (2026-01-30T08:47:19Z)
• Stabilizing Policy Gradients for Sample-Efficient Reinforcement Learning in LLM Reasoning [77.92320830700797]
  強化学習は、大規模言語モデルの推論機能を実現する上で中心的な役割を果たしてきた。 本稿では,ポリシー更新時の曲率情報を追跡し,活用するトラクタブルな計算フレームワークを提案する。 アルゴリズムであるCurvature-Aware Policy Optimization (CAPO)は、不安定な更新に寄与するサンプルを特定し、それらをマスクアウトする。
  論文  参考訳（メタデータ） (2025-10-01T12:29:32Z)
• Relative Entropy Pathwise Policy Optimization [66.03329137921949]
  そこで本稿では,Q値モデルをオンライントラジェクトリから純粋に訓練するオンラインアルゴリズムを提案する。 安定トレーニングのための制約付き更新と探索のためのポリシを組み合わせる方法を示し、価値関数学習を安定化させる重要なアーキテクチャコンポーネントを評価する。
  論文  参考訳（メタデータ） (2025-07-15T06:24:07Z)
• On-Policy RL with Optimal Reward Baseline [109.47676554514193]
  On-Policy RL with Optimal reward baseline (OPO) は、新しい簡易強化学習アルゴリズムである。 OPOは、訓練プロセスを実証的に安定化し、探索を強化する、正確なオンライントレーニングの重要性を強調している。 その結果、OPOの優れた性能と訓練安定性を、追加のモデルや正規化条件なしで示すことができた。
  論文  参考訳（メタデータ） (2025-05-29T15:58:04Z)
• FDPP: Fine-tune Diffusion Policy with Human Preference [57.44575105114056]
  人間の嗜好を考慮した微調整拡散政策は、嗜好に基づく学習を通して報酬関数を学習する。 この報酬は、訓練済みの政策を強化学習で微調整するために使われる。 実験により、FDPPは性能を損なうことなく、効果的にポリシーの動作をカスタマイズできることが示されている。
  論文  参考訳（メタデータ） (2025-01-14T17:15:27Z)
• Dynamic Learning Rate for Deep Reinforcement Learning: A Bandit Approach [2.743898388459522]
  深層強化学習(RL)では、学習速度は安定性と性能の両方に重大な影響を及ぼすが、環境と政策が進化するにつれて、トレーニング中に最適な価値がシフトする。 標準崩壊スケジューラは単調収束を仮定し、しばしばこれらのダイナミクスと不一致し、早めまたは遅れた調整をもたらす。 LRRLは、学習手順ではなく、政策性能に基づいて動的に学習率を選択するメタ学習手法である。
  論文  参考訳（メタデータ） (2024-10-16T14:15:28Z)
• Skill-Critic: Refining Learned Skills for Hierarchical Reinforcement Learning [48.75878234995544]
  そこで本研究では,高レベルのスキル選択とともに,低レベルのポリシーを微調整するSkill-Criticアルゴリズムを提案する。 グラナ・トゥリストスポーツにおけるスパース・リワード自律レースタスクを含む,複数のスパース・リワード環境におけるスキル・クリティカルの検証を行った。
  論文  参考訳（メタデータ） (2023-06-14T09:24:32Z)
• Simplifying Deep Reinforcement Learning via Self-Supervision [51.2400839966489]
  自己改善強化学習(Self-Supervised Reinforcement Learning, SSRL)は、純粋に監督された損失を伴うポリシーを最適化する単純なアルゴリズムである。 SSRLは、より安定した性能と実行時間の少ない現代アルゴリズムと驚くほど競合することを示す。
  論文  参考訳（メタデータ） (2021-06-10T06:29:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。