論文の概要: Improving Offline Goal-Conditioned Reinforcement Learning via Selective Reward Stimulation

• arxiv url: http://arxiv.org/abs/2609.19414v1
• Date: Wed, 16 Sep 2026 20:52:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:54.011748
• Title: Improving Offline Goal-Conditioned Reinforcement Learning via Selective Reward Stimulation
• Title（参考訳）: 選択的リワード刺激によるオフラインゴール・コンディション強化学習の改善
• Abstract要約: オフライン設定における局所推定誤差に対して,ゴール指向値分離がいかに小さいかを検討する。 この分析に動機づけられて、我々はReward Stimulation Implicit Q-Learning (RSIQL)を提案する。 階層的なメソッドとは異なり、RSIQLは別のハイレベルなサブゴナルポリシーを学ばない。
• 参考スコア（独自算出の注目度）: 8.55919915871212
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Goal-conditioned reinforcement learning aims to learn policies that reach specified goals, but remains challenging in offline settings with sparse rewards and long-horizon dependencies. In such settings, goal-completion information can be temporally distant from the early decisions that enable success, while offline value estimation introduces additional error. We study this issue from a reward-propagation perspective and show, in a stylized delayed-goal setting, how goal-directed value separation can become small relative to local estimation error. Motivated by this analysis, we propose Reward Stimulation Implicit Q-Learning (RSIQL), a simple non-hierarchical method that introduces additional reward signals at progress-making intermediate states in offline trajectories. RSIQL uses an auxiliary goal-conditioned value function to identify intermediate states estimated to make progress toward the goal and applies reward stimulation to provide less-delayed training supervision. Unlike hierarchical methods, RSIQL does not learn a separate high-level subgoal policy. Experiments on D4RL goal-reaching benchmarks and OGBench show that RSIQL improves over goal-conditioned IQL on average and achieves performance competitive with hierarchical offline goal-conditioned methods, while retaining a simple flat policy structure.
• Abstract（参考訳）: 目標条件強化学習(Goal-conditioned reinforcement learning)は、特定の目標に達するポリシを学ぶことを目的としている。 このような設定では、ゴール・コンプリート情報は成功を可能にする初期の決定から時間的に遠ざかることができ、一方、オフライン値推定では追加エラーが発生する。 我々は,この問題を報奨伝達の観点から検討し,スタイリングされた遅延ゴール設定において,局所的な推定誤差に対してゴール指向値の分離が小さくなることを示す。 そこで本研究では,非階層的手法であるReward Stimulation Implicit Q-Learning (RSIQL)を提案する。 RSIQLは補助的な目標条件付き値関数を使用して、目標に向かって進むと推定される中間状態を特定し、報奨刺激を適用して、遅延の少ないトレーニング監視を提供する。 階層的なメソッドとは異なり、RSIQLは別のハイレベルなサブゴナルポリシーを学ばない。 D4RLの目標設定ベンチマークとOGBenchの実験によると、RSIQLはゴール条件付きIQLよりも平均的に改善されており、単純なフラットなポリシー構造を維持しながら、階層的なオフライン目標条件付きメソッドと競合するパフォーマンスを実現している。

関連論文リスト

• Locally-Guided Actor-Critic: Training a Goal-conditioned Actor with a Subgoal-aware Critic [7.048449617310556]
  目標条件付き強化学習は、報酬が不足している場合、長い地平線で苦労する。 プランナーは、低レベルの政策を導くためのサブゴールを提供することができるが、テスト時にの使用は、実践的なサブゴール管理の困難をもたらす可能性がある。 代替パラダイムは、高レベルのプランナーを使用して学習を支援し、方針は最終目標にのみ条件付けられている。
  論文  参考訳（メタデータ） (2026-08-31T08:00:40Z)
• Adaptive Coarse-to-Fine Subgoal Refinement for Long-Horizon Offline Goal-Conditioned Reinforcement Learning [16.15046948057208]
  我々は,実行前に遠隔目標を適応的に洗練する完全オフライン目標条件強化学習フレームワークを提案する。 OGBenchの実験は、提案された改善と停止機構を検証し、いくつかの長期的タスクに対してかなりの効果を示した。
  論文  参考訳（メタデータ） (2026-05-27T08:17:01Z)
• PRTS: A Primitive Reasoning and Tasking System via Contrastive Representations [66.94988600664574]
  我々は,目標達成型強化学習を通じて事前学習を再構築するVLA基盤モデルであるtextbfPRTS(textbfPrimitive textbfReasoning and textbfTasking textbfSystem)を提案する。
  論文  参考訳（メタデータ） (2026-04-30T06:14:02Z)
• Efficient Hierarchical Implicit Flow Q-learning for Offline Goal-conditioned Reinforcement Learning [10.729712481687628]
  オフラインゴール条件強化学習(オフラインゴール条件強化学習、英: offline goal-conditioned reinforcement learning、GCRL)は、ゴール条件付きポリシーを報酬のないオフラインデータから学習することを目的とした実践的な強化学習パラダイムである。 本稿では, 平均流速場を階層的ポリシーモデリングに導入する, 目標条件付き平均流路ポリシーを提案する。 提案手法は,OGBenchベンチマークにおいて,状態ベースと画素ベースの両方のタスクに対して高い性能を実現することを示す。
  論文  参考訳（メタデータ） (2026-04-10T05:04:29Z)
• Strict Subgoal Execution: Reliable Long-Horizon Planning in Hierarchical Reinforcement Learning [5.274804664403783]
  SSE(Strict Subgoal Execution)は、グラフベースの階層的RLフレームワークで、単一ステップのサブゴアル到達性を強制する。 SSE は既存の目標条件付き RL および階層型 RL アプローチを効率と成功率の両方で一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2025-06-26T06:35:42Z)
• HIQL: Offline Goal-Conditioned RL with Latent States as Actions [81.67963770528753]
  オフラインデータからゴール条件付きRLの階層的アルゴリズムを提案する。 この階層的な分解によって、推定値関数のノイズに頑健になることを示す。 提案手法は,従来の手法を巧みに操り,高次元画像観察にスケールできるとともに,アクションフリーなデータを容易に利用することができる。
  論文  参考訳（メタデータ） (2023-07-22T00:17:36Z)
• Imitating Graph-Based Planning with Goal-Conditioned Policies [72.61631088613048]
  本稿では,目標目標条件ポリシにサブゴール条件ポリシを蒸留する自己シミュレーション方式を提案する。 提案手法は,既存の目標条件付きRL手法のサンプル効率を大幅に向上させることができることを実証的に示す。
  論文  参考訳（メタデータ） (2023-03-20T14:51:10Z)
• Discrete Factorial Representations as an Abstraction for Goal Conditioned Reinforcement Learning [99.38163119531745]
  離散化ボトルネックを適用することにより,目標条件付きRLセットアップの性能が向上することを示す。 分布外目標に対する期待した回帰を実験的に証明し、同時に表現的な構造で目標を指定できるようにします。
  論文  参考訳（メタデータ） (2022-11-01T03:31:43Z)
• Goal-Conditioned Q-Learning as Knowledge Distillation [136.79415677706612]
  目標条件設定における非政治強化学習と知識蒸留との関連について検討する。 これは,目標の空間が高次元である場合に,目標条件付き非政治強化学習の性能を向上させることを実証的に示す。 また,複数のスパース目標を同時に達成した場合に,この手法を効果的に学習できることを示す。
  論文  参考訳（メタデータ） (2022-08-28T22:01:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。