論文の概要: Locally-Guided Actor-Critic: Training a Goal-conditioned Actor with a Subgoal-aware Critic

• arxiv url: http://arxiv.org/abs/2608.30406v1
• Date: Mon, 31 Aug 2026 08:00:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:31.300421
• Title: Locally-Guided Actor-Critic: Training a Goal-conditioned Actor with a Subgoal-aware Critic
• Title（参考訳）: 局所誘導型アクタークリティカル:サブゴール認識型アクターの訓練
• Abstract要約: 目標条件付き強化学習は、報酬が不足している場合、長い地平線で苦労する。 プランナーは、低レベルの政策を導くためのサブゴールを提供することができるが、テスト時にの使用は、実践的なサブゴール管理の困難をもたらす可能性がある。 代替パラダイムは、高レベルのプランナーを使用して学習を支援し、方針は最終目標にのみ条件付けられている。
• 参考スコア（独自算出の注目度）: 7.048449617310556
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Goal-conditioned reinforcement learning struggles with long horizons when rewards are sparse. While a planner can provide subgoals to guide a low-level policy, its use at test time may introduce practical subgoal management difficulties. An alternative paradigm utilizes a high-level planner to assist learning, while the policy remains conditioned only on the final goal, enabling planner-free deployment. Among these methods, Reinforcement Learning with Imagined Subgoals (RIS) introduces a regularization term that encourages the policy to take the same actions for the final goal as it does for an intermediate goal. This regularization, however, may lead to goal-chaining issues when intermediate goals are low-dimensional. Potential-based reward shaping (PBRS) translates plans into an additional reward while ensuring that the optimal policy remains unchanged. Yet, it can generate deceptive rewards in terminal states. We study these failure cases and first propose an alternative reward shaping method (RS) that removes these deceptive rewards at the expense of theoretical guarantees of PBRS. Similar to this RS variant, we then propose another method named Locally-Guided Actor Critic (LG-AC) that rewards the agent for reaching intermediate goals. Unlike RS, where intermediate rewards are implicit in the shaping signal, we explicitly condition a value estimator on the full sequence of intermediate goals but represent the value function as a sum of subgoal-conditioned value functions, enabling dense hindsight relabeling. We evaluate all these methods in tasks with challenging goal-chaining requirements and empirically highlight specific cases in which either action regularization or reward shaping yield low performance, while LG-AC achieves the best overall performance across tasks.
• Abstract（参考訳）: 目標条件付き強化学習は、報酬が不足している場合、長い地平線で苦労する。 プランナーは低レベルの政策を導くためのサブゴールを提供することができるが、テスト時の使用は実践的なサブゴール管理の困難をもたらす可能性がある。 代替のパラダイムは、高レベルのプランナーを使用して学習を支援する一方で、政策は最終目標にのみ条件付きであり、プランナーフリーなデプロイメントを可能にする。 これらの方法の中で、RIS(Reinforcement Learning with Imagined Subgoals)は、中間目標と同じ目的を達成するための政策を奨励する正規化用語を導入している。 しかし、この正規化は、中間目標が低次元である場合にゴールチェインの問題を引き起こす可能性がある。 可能性に基づく報酬形成(PBRS)は、最適方針が変わらないことを保証しながら、計画を追加報酬に翻訳する。 しかし、終末状態では偽りの報酬を発生させることができる。 本稿では,これらの障害事例について検討し,まずPBRSの理論的保証を犠牲にして,これらの偽りの報酬を除去する代替報酬形成法(RS)を提案する。 このRS変種と同様に、中間目標を達成するためにエージェントに報酬を与える局所誘導アクター批判(LG-AC)と呼ばれる別の手法を提案する。 中間報酬が整形信号で暗黙的であるRSとは異なり、中間目標の完全列に値推定器を明示的に条件付けするが、その値関数を下位条件付き値関数の和として表し、密集した後視的レバーベリングを可能にする。 目標チェイン要求に挑戦するタスクにおいて、これらの手法を全て評価し、アクション正規化または報酬形成が低いパフォーマンスをもたらす特定のケースを実証的に強調する一方、LG-ACはタスク全体で最高の全体的なパフォーマンスを達成する。

関連論文リスト

• VIMPO: Value-Implicit Policy Optimization for LLMs [106.88933849641272]
  GRPOのようなグループ相対的手法は、批評家の訓練を避けるが、典型的には全てのトークンに軌道レベルの利点を割り当てる。 アクター批判的手法は、より密集した学習信号を提供するが、学習価値関数を自身のトレーニング不安定性で要求する。 本稿では,KL-正規化強化学習の最適条件からポリシ実装値関数を導出する,批判のないポリシ最適化手法であるVIMPOを紹介する。
  論文  参考訳（メタデータ） (2026-06-18T09:44:12Z)
• Reward-Conditioned Reinforcement Learning [56.417273471201845]
  Reward-Conditioned Reinforcement Learning (RCRL) は、報酬仕様のファミリーを最適化するために単一のエージェントを訓練するフレームワークである。 RCRLは、報酬パラメータ化のエージェントを条件付け、共有されたリプレイデータから複数の報酬目標を学習する。 その結果、RCRLはシングルタスクトレーニングの単純さを犠牲にすることなく、堅牢でステアブルなポリシを学習するためのスケーラブルなメカニズムを提供することを示した。
  論文  参考訳（メタデータ） (2026-03-05T11:29:17Z)
• Agentic Reinforcement Learning with Implicit Step Rewards [92.26560379363492]
  大規模言語モデル (LLMs) は強化学習 (agentic RL) を用いた自律的エージェントとして発展している。 我々は,標準RLアルゴリズムとシームレスに統合された一般的なクレジット割り当て戦略であるエージェントRL(iStar)について,暗黙的なステップ報酬を導入する。 我々は,WebShopとVisualSokobanを含む3つのエージェントベンチマークと,SOTOPIAにおける検証不可能な報酬とのオープンなソーシャルインタラクションについて評価した。
  論文  参考訳（メタデータ） (2025-09-23T16:15:42Z)
• A General Framework for Off-Policy Learning with Partially-Observed Reward [13.866986480307007]
  文脈的包帯におけるオフ政治学習(OPL)は、期待される目標報酬を最大化する政策を学ぶことを目的としている。 報酬が部分的にしか観察されない場合、OPLの有効性は著しく低下する。 部分観測リワード(HyPeR)のためのハイブリッドポリシ最適化法を提案する。
  論文  参考訳（メタデータ） (2025-06-17T11:58:11Z)
• Adaptive Reward Design for Reinforcement Learning [2.3031174164121127]
  本稿では,RLエージェントをインセンティブとして,論理式で指定されたタスクを可能な限り完了させる報奨関数群を提案する。 学習過程において報酬関数を動的に更新する適応型報酬生成手法を開発した。
  論文  参考訳（メタデータ） (2024-12-14T18:04:18Z)
• Imitating Graph-Based Planning with Goal-Conditioned Policies [72.61631088613048]
  本稿では,目標目標条件ポリシにサブゴール条件ポリシを蒸留する自己シミュレーション方式を提案する。 提案手法は,既存の目標条件付きRL手法のサンプル効率を大幅に向上させることができることを実証的に示す。
  論文  参考訳（メタデータ） (2023-03-20T14:51:10Z)
• Discrete Factorial Representations as an Abstraction for Goal Conditioned Reinforcement Learning [99.38163119531745]
  離散化ボトルネックを適用することにより,目標条件付きRLセットアップの性能が向上することを示す。 分布外目標に対する期待した回帰を実験的に証明し、同時に表現的な構造で目標を指定できるようにします。
  論文  参考訳（メタデータ） (2022-11-01T03:31:43Z)
• Planning to Practice: Efficient Online Fine-Tuning by Composing Goals in Latent Space [76.46113138484947]
  汎用ロボットは、現実世界の非構造環境において困難なタスクを完了するために、多様な行動レパートリーを必要とする。 この問題に対処するため、目標条件強化学習は、コマンド上の幅広いタスクの目標に到達可能なポリシーを取得することを目的としている。 本研究では,長期的課題に対する目標条件付き政策を実践的に訓練する手法であるPlanning to Practiceを提案する。
  論文  参考訳（メタデータ） (2022-05-17T06:58:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。