Fugu-MT 論文翻訳(概要): PathBridger: Subgoal Bridges for Offline Goal-Conditioned Reinforcement Learning

論文の概要: PathBridger: Subgoal Bridges for Offline Goal-Conditioned Reinforcement Learning

arxiv url: http://arxiv.org/abs/2608.29061v1
Date: Sat, 29 Aug 2026 05:33:01 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-01 18:31:30.828198
Title: PathBridger: Subgoal Bridges for Offline Goal-Conditioned Reinforcement Learning
Title（参考訳）: PathBridger: オフラインゴールコンディション強化学習のためのサブゴアルブリッジ
Abstract要約: 本稿では,階層型オフラインGCRL法であるPathBridgerを提案する。評価されたOGBenchタスクに対する実験は、特に多目的キューブ操作タスクにおいて、強力な集約性能を示す。
参考スコア（独自算出の注目度）: 15.88392414749782
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Offline goal-conditioned reinforcement learning (GCRL) aims to learn policies for reaching diverse goals entirely from fixed trajectory data. Long-horizon offline GCRL remains challenging because sparse goal-reaching signals must be propagated over many steps, while execution errors cannot be corrected through additional environment interaction. Existing methods address these challenges by improving long-range value estimation or reducing the effective decision horizon through subgoals, options, and action chunks. In several hierarchical methods, however, a selected subgoal specifies where to go, while the intervening state-space path remains implicit in an endpoint-conditioned low-level policy. To address this interface, we propose PathBridger, a hierarchical offline GCRL method that explicitly connects subgoal selection to short-horizon execution. PathBridger constructs a state-space bridge toward the selected intermediate endpoint and decodes it into a short executable action chunk using an inverse dynamics model. Experiments across the evaluated OGBench tasks demonstrate strong aggregate performance, with particularly large gains on the multi-object Cube manipulation tasks. Code: https://github.com/SChoish/PathBridger
Abstract（参考訳）: オフライン目標条件強化学習(GCRL)は、固定軌道データから多種多様な目標を達成するための政策を学習することを目的としている。長時間のオフラインGCRLは、小さな目標到達信号を多くのステップで伝播させなければならないが、実行エラーは追加の環境相互作用によって修正できないため、依然として困難である。既存の方法は、これらの課題に対処するために、長距離値の推定を改善したり、サブゴール、オプション、アクションチャンクを通じて効果的な意思決定地平線を減らしたりしている。しかし、いくつかの階層的な方法では、選択されたサブゴールはどこに行くかを指定するが、インターバル状態空間パスはエンドポイント条件の低レベルポリシーで暗黙的に残る。このインタフェースを実現するために,階層型オフラインGCRL法であるPathBridgerを提案する。 PathBridgerは選択した中間エンドポイントに向けて状態空間ブリッジを構築し、逆ダイナミクスモデルを使用して短い実行可能なアクションチャンクにデコードする。評価されたOGBenchタスクに対する実験は、特に多目的キューブ操作タスクにおいて、強力な集約性能を示す。コード:https://github.com/SChoish/PathBridger

関連論文リスト

Extreme Motion Generation via Hybrid Null-Space Control for Straight-Line Path Following [10.975583425374532]
本稿では, マニピュレータの作業空間内で, 予め定義された軌道に沿った経路長を最大化する「極端運動生成」について検討する。本稿では,RLベースとモデルベースコントローラを正規化した連接限界距離に応じて切り替えるステップレベルハイブリッドコントローラを提案する。提案手法を7-DoF Franka FR3を用いて一万進路追従タスクに適用し,平均ロールアウト期間をモデルベースベースラインより27%延長した。
論文参考訳（メタデータ） (2026-06-02T09:33:08Z)
Adaptive Coarse-to-Fine Subgoal Refinement for Long-Horizon Offline Goal-Conditioned Reinforcement Learning [16.15046948057208]
我々は,実行前に遠隔目標を適応的に洗練する完全オフライン目標条件強化学習フレームワークを提案する。 OGBenchの実験は、提案された改善と停止機構を検証し、いくつかの長期的タスクに対してかなりの効果を示した。
論文参考訳（メタデータ） (2026-05-27T08:17:01Z)
Chain-of-Goals Hierarchical Policy for Long-Horizon Offline Goal-Conditioned RL [25.40364932514488]
本稿では,自己回帰シーケンスモデルとして階層的意思決定を再構築する新しい枠組みを提案する。 CoGHPは、強いオフラインベースラインを一貫して上回り、長期タスクのパフォーマンスを改善している。
論文参考訳（メタデータ） (2026-02-03T11:11:03Z)
Push Smarter, Not Harder: Hierarchical RL-Diffusion Policy for Efficient Nonprehensile Manipulation [8.7216199131049]
HeRDは階層的な強化学習拡散政策であり、プッシュタスクを高レベルの目標選択と低レベルの軌道生成という2つのレベルに分解する。我々は、中間空間目標を選択するための高レベル強化学習エージェントと、それに到達するための実用的で効率的な軌道を生成するための低レベル目標条件拡散モデルを用いる。この結果から,階層的制御を低レベル計画に組み込むことが,スケーラブルで目標指向の非包括的操作において有望な方向であることが示唆された。
論文参考訳（メタデータ） (2025-12-10T21:40:22Z)
Multistep Quasimetric Learning for Scalable Goal-conditioned Reinforcement Learning [72.24831946301613]
主な問題は、観測のペア間の時間的距離をどのように見積もるかである。これらの手法を,擬似距離に適合する実用的なGCRL法にどのように組み込むかを示す。また,本手法は実世界のロボット操作領域で縫合できることを示す。
論文参考訳（メタデータ） (2025-11-11T01:28:10Z)
Test-Time Graph Search for Goal-Conditioned Reinforcement Learning [56.13800388912632]
オフライン目標条件強化学習(GCRL)は、テスト時にユーザが指定した目標に到達するポリシーを訓練する。 GCRLタスクを解決するための軽量な計画手法であるTTGS(Test-Time Graph Search)を導入する。 TTGSは任意の状態空間距離やコスト信号を受け入れ、データセット状態の上に重み付きグラフを構築し、凍結ポリシーが実行する一連のサブゴールを高速に検索する。
論文参考訳（メタデータ） (2025-10-08T17:20:53Z)
Offline Goal-conditioned Reinforcement Learning with Quasimetric Representations [72.24831946301613]
目標条件強化学習(GCRL)へのアプローチは、しばしば学習状態表現を用いて目標達成ポリシーを抽出する。本稿では,この2つのフレームワークを,準計量表現空間(三角不等式)の構造と適切な追加制約を用いて統合し,最適ゴール獲得を可能にする後続表現を学習する手法を提案する。提案手法は,* 準距離パラメータ化を用いて,* 準距離* と * 準距離* を学習し,* 準距離* と *stochastic* の環境においても,* 準距離* を学習することができる。
論文参考訳（メタデータ） (2025-09-24T18:45:32Z)
Flattening Hierarchies with Policy Bootstrapping [5.528896840956629]
本稿では,重み付けされた重要度サンプリングを施したサブゴール条件ポリシをブートストラップすることで,フラットな(階層的でない)目標条件ポリシーをトレーニングするアルゴリズムを提案する。提案手法は,大規模状態空間における高次元制御へのスケーリングの鍵となる(部分)ゴール空間上の生成モデルの必要性を排除している。
論文参考訳（メタデータ） (2025-05-20T23:31:30Z)
Action-Quantized Offline Reinforcement Learning for Robotic Skill Learning [68.16998247593209]
オフライン強化学習(RL)パラダイムは、静的な行動データセットを、データを収集したポリシーよりも優れたパフォーマンスのポリシーに変換するためのレシピを提供する。本稿では,アクション量子化のための適応型スキームを提案する。 IQL,CQL,BRACといった最先端のオフラインRL手法が,提案手法と組み合わせることで,ベンチマークのパフォーマンスが向上することを示す。
論文参考訳（メタデータ） (2023-10-18T06:07:10Z)
HIQL: Offline Goal-Conditioned RL with Latent States as Actions [81.67963770528753]
オフラインデータからゴール条件付きRLの階層的アルゴリズムを提案する。この階層的な分解によって、推定値関数のノイズに頑健になることを示す。提案手法は,従来の手法を巧みに操り,高次元画像観察にスケールできるとともに,アクションフリーなデータを容易に利用することができる。
論文参考訳（メタデータ） (2023-07-22T00:17:36Z)
Planning to Practice: Efficient Online Fine-Tuning by Composing Goals in Latent Space [76.46113138484947]
汎用ロボットは、現実世界の非構造環境において困難なタスクを完了するために、多様な行動レパートリーを必要とする。この問題に対処するため、目標条件強化学習は、コマンド上の幅広いタスクの目標に到達可能なポリシーを取得することを目的としている。本研究では,長期的課題に対する目標条件付き政策を実践的に訓練する手法であるPlanning to Practiceを提案する。
論文参考訳（メタデータ） (2022-05-17T06:58:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。