論文の概要: Escaping Path Mirages in Offline Goal-Conditioned Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2610.40130v1
• Date: Thu, 29 Oct 2026 14:21:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-31 05:25:12.516214
• Title: Escaping Path Mirages in Offline Goal-Conditioned Reinforcement Learning
• Title（参考訳）: オフラインゴールコンディション強化学習における経路ミラージュの回避
• Abstract要約: ブランチ対応グラフプランニング(BGP)は、高可変点をグラフノードとして識別することで、分岐構造をキャプチャする。 BGPは、高度に長期にわたる環境においても、信頼性の高い目標到達を可能にする。
• 参考スコア（独自算出の注目度）: 3.45252688470832
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Offline goal-conditioned reinforcement learning remains challenging in stochastic long-horizon settings, where compounding value estimation errors hinder reliable goal reaching. While prior methods have sought to address this challenge through various approaches, a key challenge remains path mirage, where agents overcommit to spuriously successful trajectories in offline datasets induced by stochasticity, often leading to failure on difficult tasks. To address this issue, we propose Branch-aware Graph Planning (BGP), which captures stochastic branching structures by identifying high-variability points as graph nodes and designing goal-conditioned edges with segmented learning to avoid unreliable branches and reduce unnecessary stochasticity along paths. As a result, BGP enables reliable goal reaching even in highly stochastic long-horizon environments, and experiments on diverse OGBench tasks show that it substantially outperforms prior state-of-the-art offline goal-conditioned RL methods. Our implementation is available at https://umlic.github.io/papers/BGP/.
• Abstract（参考訳）: オフラインの目標条件付き強化学習は、確率的長期的設定において依然として困難であり、複雑な値推定誤差は信頼性の高い目標到達を妨げる。 従来の手法では、様々なアプローチでこの問題に対処しようとしたが、重要な課題はパスミラージュであり、エージェントは確率性によって引き起こされるオフラインデータセットにおいて、突如として成功したトラジェクトリに過度にコミットし、しばしば困難なタスクに失敗する。 本稿では,グラフノードとして高可変点を同定し,分割学習による目標条件付きエッジを設計することにより,確率的分岐構造を把握し,信頼できない分岐を避け,経路に沿った不必要な確率性を低減できる分岐対応グラフプランニング(BGP)を提案する。 その結果、BGPは、高度に確率的な長距離環境でも信頼性の高いゴール到達を可能にし、多様なOGBenchタスクの実験により、最先端のオフラインゴール条件RL手法よりも大幅に優れていることが示された。 私たちの実装はhttps://umlic.github.io/papers/BGP/で利用可能です。

関連論文リスト

• Diffusion Subgoal Planning for Long-Horizon Offline Goal-Conditioned Reinforcement Learning [61.648564263928485]
  textbfDSPは、ゴール条件付きサブゴールに対する誘導的生成推論として高レベルの計画を行う。 textbfDSPは、様々なナビゲーションや操作タスクにおいて、以前のメソッドよりも優れています。
  論文  参考訳（メタデータ） (2026-09-28T08:22:49Z)
• Adaptive Coarse-to-Fine Subgoal Refinement for Long-Horizon Offline Goal-Conditioned Reinforcement Learning [16.15046948057208]
  我々は,実行前に遠隔目標を適応的に洗練する完全オフライン目標条件強化学習フレームワークを提案する。 OGBenchの実験は、提案された改善と停止機構を検証し、いくつかの長期的タスクに対してかなりの効果を示した。
  論文  参考訳（メタデータ） (2026-05-27T08:17:01Z)
• Clipping Bottleneck: Stabilizing RLVR via Stochastic Recovery of Near-Boundary Signals [83.0127582612634]
  Near-boundary Rescue (NSR) は最小限のプラグ・アンド・プレイの修正であり、失った信号を回復するために、アウト・オブ・バウンドトークンを保持する。 NSRはトレーニングの安定性を大幅に改善し、DAPOやGSPOといった強力なベースライン上で一貫したゲインを提供する。
  論文  参考訳（メタデータ） (2026-05-21T16:45:31Z)
• HELP: HyperNode Expansion and Logical Path-Guided Evidence Localization for Accurate and Efficient GraphRAG [53.30561659838455]
  大きな言語モデル(LLM)は、しばしば固有の知識境界と幻覚に苦しむ。 Retrieval-Augmented Generation (RAG) は、マルチホップ推論に不可欠な構造的相互依存性をしばしば見落としている。 ヘルプは、複数の単純でマルチホップなQAベンチマークで競合性能を達成し、グラフベースのRAGベースラインよりも28.8$times$のスピードアップを実現している。
  論文  参考訳（メタデータ） (2026-02-24T14:05:29Z)
• Strict Subgoal Execution: Reliable Long-Horizon Planning in Hierarchical Reinforcement Learning [5.274804664403783]
  SSE(Strict Subgoal Execution)は、グラフベースの階層的RLフレームワークで、単一ステップのサブゴアル到達性を強制する。 SSE は既存の目標条件付き RL および階層型 RL アプローチを効率と成功率の両方で一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2025-06-26T06:35:42Z)
• HIQL: Offline Goal-Conditioned RL with Latent States as Actions [81.67963770528753]
  オフラインデータからゴール条件付きRLの階層的アルゴリズムを提案する。 この階層的な分解によって、推定値関数のノイズに頑健になることを示す。 提案手法は,従来の手法を巧みに操り,高次元画像観察にスケールできるとともに,アクションフリーなデータを容易に利用することができる。
  論文  参考訳（メタデータ） (2023-07-22T00:17:36Z)
• Swapped goal-conditioned offline reinforcement learning [8.284193221280216]
  本稿では、決定論的Qアドバンテージポリシー勾配(DQAPG)と呼ばれる一般的なオフライン強化学習手法を提案する。 実験では、DQAPGは様々なベンチマークタスクにおいて、最先端のゴール条件付きオフラインRLメソッドよりも優れている。
  論文  参考訳（メタデータ） (2023-02-17T13:22:40Z)
• C-Learning: Horizon-Aware Cumulative Accessibility Estimation [29.588146016880284]
  本研究では,所定の地平線内の所定の状態から目標の到達可能性を測定する累積アクセシビリティ関数の概念を導入する。 これらの関数は、オフライン相互作用から学習できる繰り返し関係に従うことを示す。 我々は,複数ゴールの離散的かつ連続的な制御タスクの集合に対するアプローチを評価する。
  論文  参考訳（メタデータ） (2020-11-24T20:34:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。