論文の概要: Direction-Conditioned Policies for Online Goal-Conditioned Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2610.05087v1
• Date: Sun, 04 Oct 2026 09:42:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 23:35:05.210986
• Title: Direction-Conditioned Policies for Online Goal-Conditioned Reinforcement Learning
• Title（参考訳）: オンライン目標達成型強化学習のための方向性決定型政策
• Abstract要約: DCP(Direction-Conditioned Policies)は,CRL(Contrastive Reinforcement Learning)への小さな修正を中心に構築された手法である。 DCPは、以前に訪れた州を、オンライントレーニング中のウェイポイントとして選定し、表現空間におけるその方向と距離に関するポリシーを条件付けする。 DCP は 7 つのタスクにおいて CRL よりも高い最終成功率を達成し、7 つのタスクで目標に近づくまでにより多くの時間を費やすことを示す。
• 参考スコア（独自算出の注目度）: 1.5282767384702272
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Contrastive Reinforcement Learning (CRL) learns representations that estimate goal reachability, yet its policy remains conditioned on raw goals and therefore does not directly exploit the geometry encoded by its critic. We introduce Direction-Conditioned Policies (DCP), a method built around a small modification to CRL: DCP selects previously visited states as waypoints during online training and conditions the policy on their direction and distance in representation space. At deployment, DCP applies the same interface directly to the final goal, requiring neither waypoint selection nor planning. Across nine navigation and manipulation tasks, DCP attains higher final success rates than CRL on seven tasks and spends more time near the goal on seven. Controlled maze experiments further show that DCP captures shortest-path geometry more accurately and that the supplied direction causally influences the actor's behavior. We identify waypoint coverage and ranking as limits to exploration, and show that learned candidate generation improves goal reaching in two controlled mazes.
• Abstract（参考訳）: Contrastive Reinforcement Learning (CRL) は、目標到達可能性を見積もる表現を学習するが、その方針は生の目標に規定されているままであり、したがって、その批評家によってコード化された幾何学を直接利用しない。 DCPは、オンライントレーニング中の経路ポイントとして訪れた状態を選択し、表示空間における方向と距離に関するポリシーを条件に設定する。 デプロイメントでは、DCPは同じインターフェースを最終目標に直接適用し、ウェイポイントの選択も計画も必要としない。 9つのナビゲーションおよび操作タスクで、DCPは7つのタスクでCRLよりも最終成功率が高く、目標に近い7つのタスクでより多くの時間を費やす。 制御された迷路実験は、DCPが最短経路の幾何学をより正確に捉え、供給された方向が俳優の行動に因果的に影響を及ぼすことを示す。 探索の限界としてウェイポイントのカバレッジとランキングを同定し、学習した候補生成が2つの制御された迷路でのゴール到達を改善することを示す。

関連論文リスト

• PathBridger: Subgoal Bridges for Offline Goal-Conditioned Reinforcement Learning [15.88392414749782]
  本稿では,階層型オフラインGCRL法であるPathBridgerを提案する。 評価されたOGBenchタスクに対する実験は、特に多目的キューブ操作タスクにおいて、強力な集約性能を示す。
  論文  参考訳（メタデータ） (2026-08-29T05:33:01Z)
• DAgger Diffusion Navigation: DAgger Boosted Diffusion Policy for Vision-Language Navigation [73.80968452950854]
  Vision-Language Navigation in Continuous Environments (VLN-CE) は、エージェントが自由形式の3D空間を通して自然言語の指示に従う必要がある。 既存のVLN-CEアプローチは通常、2段階のウェイポイント計画フレームワークを使用する。 本稿では,エンドツーエンド最適化VLN-CEポリシとしてDAgger Diffusion Navigation (DifNav)を提案する。
  論文  参考訳（メタデータ） (2025-08-13T02:51:43Z)
• HIQL: Offline Goal-Conditioned RL with Latent States as Actions [81.67963770528753]
  オフラインデータからゴール条件付きRLの階層的アルゴリズムを提案する。 この階層的な分解によって、推定値関数のノイズに頑健になることを示す。 提案手法は,従来の手法を巧みに操り,高次元画像観察にスケールできるとともに,アクションフリーなデータを容易に利用することができる。
  論文  参考訳（メタデータ） (2023-07-22T00:17:36Z)
• Imitating Graph-Based Planning with Goal-Conditioned Policies [72.61631088613048]
  本稿では,目標目標条件ポリシにサブゴール条件ポリシを蒸留する自己シミュレーション方式を提案する。 提案手法は,既存の目標条件付きRL手法のサンプル効率を大幅に向上させることができることを実証的に示す。
  論文  参考訳（メタデータ） (2023-03-20T14:51:10Z)
• Planning to Practice: Efficient Online Fine-Tuning by Composing Goals in Latent Space [76.46113138484947]
  汎用ロボットは、現実世界の非構造環境において困難なタスクを完了するために、多様な行動レパートリーを必要とする。 この問題に対処するため、目標条件強化学習は、コマンド上の幅広いタスクの目標に到達可能なポリシーを取得することを目的としている。 本研究では,長期的課題に対する目標条件付き政策を実践的に訓練する手法であるPlanning to Practiceを提案する。
  論文  参考訳（メタデータ） (2022-05-17T06:58:17Z)
• C-Planning: An Automatic Curriculum for Learning Goal-Reaching Tasks [133.40619754674066]
  ゴール条件強化学習は、ナビゲーションや操作を含む幅広い領域のタスクを解決できる。 本研究では,学習時間における探索を用いて,中間状態を自動生成する遠隔目標獲得タスクを提案する。 E-stepはグラフ検索を用いて最適な経路点列を計画することに対応し、M-stepはそれらの経路点に到達するための目標条件付きポリシーを学習することを目的としている。
  論文  参考訳（メタデータ） (2021-10-22T22:05:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。