論文の概要: Reinforcement Learning via Advantage Guidance

• arxiv url: http://arxiv.org/abs/2610.19783v2
• Date: Mon, 19 Oct 2026 17:28:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 06:32:45.298806
• Title: Reinforcement Learning via Advantage Guidance
• Title（参考訳）: アドバンテージガイダンスによる強化学習
• Abstract要約: 強化学習は、データに示されるものを上回ることができるポリシーを学ぶという約束を持っている。 本稿では,教師付き学習ほどシンプルで安定した政策最適化が可能であるが,RLほど性能が向上するかどうかを問う。 本稿では,シンプルな教師付き学習構造を有利な条件で維持する,新しいポリシー抽出手法Advantage Guidanceを導入する。
• 参考スコア（独自算出の注目度）: 56.46686476709072
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning (RL) holds the promise of learning a policy that can outperform what is shown in the data. However, in practice, such systems suffer from instability and hyperparameter sensitivity. In contrast, supervised learning provides a stable and scalable training objective, but is fundamentally limited by the quality of the demonstrated behavior. In this paper, we ask whether we can perform policy optimization with something as simple and stable as supervised learning but as performant as RL. Unfortunately, naively training the policy with supervised learning and conditioning on future rewards or advantages typically underperform dedicated RL methods. We introduce a new policy extraction method, Advantage Guidance, that retains the simple supervised learning structure with advantage conditioning while outperforming prior RL methods through effective conditional training and contrastive diffusion guidance during sampling. We show that Advantage Guidance can significantly improve a model's ability to respond to conditional advantage signals, and the contrastive guidance during sampling can use the learned advantage-conditioned policy to target the KL-regularized optimal policy. Empirically, we find that Advantage Guidance significantly outperforms prior state-of-the-art RL methods on 26 long-horizon, sparse reward tasks across datasets with varying degrees of optimality.
• Abstract（参考訳）: 強化学習(Reinforcement Learning, RL)は、データに示されるものより優れているポリシーを学ぶという約束を持っている。 しかし実際には、そのようなシステムは不安定性とハイパーパラメータ感度に悩まされている。 対照的に、教師付き学習は安定的でスケーラブルなトレーニング目標を提供するが、実証された振る舞いの品質によって根本的に制限される。 本稿では,教師付き学習ほどシンプルで安定した政策最適化が可能であるが,RLほど高性能であるかどうかを問う。 残念なことに、教師付き学習と将来の報酬やアドバンテージに基づく条件付けによる政策の訓練は、通常、専用のRLメソッドを過小評価する。 本稿では,従来のRL手法を効果的条件付き学習訓練や,サンプリング中の対照的な拡散誘導を通じて性能を上げつつ,シンプルな教師付き学習構造を有利な条件で維持する,新しいポリシー抽出手法Advantage Guidanceを提案する。 提案手法は, モデルが条件付き有利信号に応答する能力を大幅に向上できることを示すとともに, サンプリング中のコントラストガイダンスでは, 学習した有利条件付きポリシーを用いて, KL規則化された最適ポリシーをターゲットとすることができることを示す。 実験的に、Advantage Guidanceは26の長い水平、スパースな報酬タスクにおいて、様々な最適度を持つデータセットにおいて、最先端のRLメソッドよりも大幅に優れています。

関連論文リスト

• PAWS: Preference Learning with Advantage-Weighted Segments [61.590521943273]
  本稿では,セグメントレベルの優位関数を用いて,ポリシー更新を直接行うセグメントベース優先学習手法を提案する。 シミュレーションされたロボット操作と移動タスクの実験は、PAWSが既存のPbRLアプローチを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2026-06-10T12:00:17Z)
• Coherent Off-Policy Improvement of Large Behavior Models with Learned Rewards [24.576576709809036]
  強化学習は、さらなる経験を用いてポリシーを微調整するために使用することができる。 逆強化学習では、専門家によるデモンストレーションから高密度報酬関数が学習される。 提案手法は,6つのスパース操作タスクすべてに対してpi-0.5を維持・改善し,複雑な操作タスクのうち5つに対して50q 90%の成功率を達成できることを示す。
  論文  参考訳（メタデータ） (2026-06-01T12:49:14Z)
• Learning in Context, Guided by Choice: A Reward-Free Paradigm for Reinforcement Learning with Transformers [55.33468902405567]
  本稿では、事前学習とデプロイの両方が好みのフィードバックにのみ依存する新しい学習パラダイム、In-Context Preference-based Reinforcement Learning (ICPRL)を提案する。 ICPRLは、厳密なコンテキスト内一般化を可能にし、完全な報酬管理で訓練されたICRLメソッドに匹敵するパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-02-09T03:42:16Z)
• Stabilizing Reinforcement Learning with LLMs: Formulation and Practices [61.361819972410046]
  本稿では,REINFORCEなどの政策勾配法において,真のシーケンスレベルの報酬を代用トークンレベルの目的によって最適化できる理由と条件を示す。 この洞察は、RLトレーニングの安定化において、広く採用されているいくつかのテクニックの重要な役割について、原則化された説明を提供する。
  論文  参考訳（メタデータ） (2025-12-01T07:45:39Z)
• Diffusion Guidance Is a Controllable Policy Improvement Operator [98.11511661904618]
  CFGRLは教師付き学習の単純さで訓練されているが、データ内のポリシーをさらに改善することができる。 オフラインのRLタスクでは、信頼性の高いトレンドが観察されます -- ガイダンスの重み付けの増加によって、パフォーマンスが向上します。
  論文  参考訳（メタデータ） (2025-05-29T14:06:50Z)
• Guided Policy Optimization under Partial Observability [36.853129816484845]
  部分的に観察可能な環境下での強化学習(RL)は、不確実性の下での学習の複雑さによって大きな課題を生じさせる。 本稿では,ガイドと学習者を協調訓練するフレームワークであるGPOを紹介する。 理論的には、この学習方式は直接RLに匹敵する最適性を達成し、既存のアプローチに固有の重要な制限を克服する。
  論文  参考訳（メタデータ） (2025-05-21T12:01:08Z)
• Efficient Offline Reinforcement Learning: The Critic is Critical [5.916429671763282]
  オフ・ポリシー強化学習は、教師付きアプローチを超えてパフォーマンスを改善するための有望なアプローチを提供する。 本稿では、まず行動方針を学習し、教師付き学習で批判し、その後に非政治強化学習で改善することによるベスト・オブ・ボス・アプローチを提案する。
  論文  参考訳（メタデータ） (2024-06-19T09:16:38Z)
• Simplifying Deep Reinforcement Learning via Self-Supervision [51.2400839966489]
  自己改善強化学習(Self-Supervised Reinforcement Learning, SSRL)は、純粋に監督された損失を伴うポリシーを最適化する単純なアルゴリズムである。 SSRLは、より安定した性能と実行時間の少ない現代アルゴリズムと驚くほど競合することを示す。
  論文  参考訳（メタデータ） (2021-06-10T06:29:59Z)
• Self-Imitation Advantage Learning [43.8107780378031]
  自己模倣学習は、期待以上のリターンのアクションを奨励する強化学習方法です。 本稿では,ベルマン最適性演算子を改変したオフポリシーRLの自己模倣学習の新たな一般化を提案する。
  論文  参考訳（メタデータ） (2020-12-22T13:21:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。