論文の概要: Do Better Goal Representations Improve Goal-Conditioned Reinforcement Learning?

• arxiv url: http://arxiv.org/abs/2609.39901v1
• Date: Wed, 30 Sep 2026 15:02:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.953456
• Title: Do Better Goal Representations Improve Goal-Conditioned Reinforcement Learning?
• Title（参考訳）: ゴール表現の改善はゴールの強化学習を改善するか?
• Abstract要約: 目標条件強化学習は、目標が政策にどのように表現されるかに大きく依存する。 決定論的迷路における時間-距離目標の正確な表現を構築することにより、これをオフラインGCRLで研究する。 同じ介入をエージェントの現在の状態に適用することは成功を2倍以上にし、状態経路が真のボトルネックであることを明らかにする。
• 参考スコア（独自算出の注目度）: 0.2981315866322933
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Goal-conditioned reinforcement learning (GCRL) relies heavily on how target goals are represented to the policy. While recent methods encode goals via temporal distance, occupancy, or controllability, it remains unclear how much downstream performance actually depends on representation quality. We study this in offline GCRL by constructing an exact temporal-distance goal representation in deterministic mazes. We then systematically corrupt its geometric quality while keeping the downstream learner fixed. Across OGBench navigation tasks and two algorithms, large changes in goal-representation quality produce almost no change in performance. However, applying the same interventions to the agent's current state more than doubles success, revealing the state pathway as the true bottleneck. Building on this insight, we show that simple random Fourier positional encodings substantially improve performance on the hardest navigation tasks without map information or objective modifications. Overall, our findings suggest that in state-based offline navigation, improving how the agent's current state is represented matters far more than refining the goal representation. Code will be released soon.
• Abstract（参考訳）: 目標条件強化学習(GCRL)は、目標が政策にどのように表現されるかに大きく依存している。 最近の手法では、時間的距離、占有率、制御可能性を通じて目標を符号化しているが、下流のパフォーマンスが実際にどの程度表現品質に依存しているかは定かではない。 決定論的迷路における時間-距離目標の正確な表現を構築することにより、これをオフラインGCRLで研究する。 そして、下流の学習者を固定しながら、その幾何学的品質を体系的に破壊する。 OGBenchナビゲーションタスクと2つのアルゴリズムの間、ゴール表現品質の大きな変化は、ほとんど性能の変化をもたらす。 しかし、エージェントの現在の状態に同じ介入を適用することは成功を2倍以上にし、状態経路を真のボトルネックとして明らかにする。 この知見に基づいて、単純なランダムなフーリエ位置符号化が、地図情報や客観的な修正を伴わずに、最も困難なナビゲーションタスクの性能を大幅に向上することを示す。 全体としては、状態ベースのオフラインナビゲーションにおいて、エージェントの現在の状態がどのように表現されているかを改善することは、ゴール表現を洗練することよりもはるかに重要であることを示唆している。 コードはまもなくリリースされる。

関連論文リスト

• Occupancy Reward Shaping: Improving Credit Assignment for Offline Goal-Conditioned Reinforcement Learning [31.421592852664546]
  我々は、世界モデルに格納された時間情報が、世界の基盤となる幾何学をエンコードする方法を定式化する。 得られた方法である Occupancy Rewarding は、スパース報酬設定におけるクレジット代入の問題を大幅に軽減する。
  論文  参考訳（メタデータ） (2026-04-22T14:41:56Z)
• What matters for Representation Alignment: Global Information or Spatial Structure? [64.67092609921816]
  表現アライメント(REPA)は、強い事前訓練された視覚エンコーダから中間拡散特徴への表現を蒸留することにより、生成訓練を導く。 本稿では,対象表現のどの側面が生成に重要であるか,そのテクスト・グロバル・リビジョン・セマンティック・情報について検討する。 我々はREPAの標準射影層を単純な畳み込み層に置き換え、外部表現のための空間正規化層を導入する。
  論文  参考訳（メタデータ） (2025-12-11T16:39:53Z)
• Dual Goal Representations [57.43956630070019]
  目標条件強化学習(GCRL)のための二重目標表現を導入する。 双対ゴール表現は「他の全ての状態から時間距離の集合」によって状態を特徴づける 両目標表現は、20のステートおよびピクセルベースのタスクにおいて、オフラインのゴール取得性能を一貫して改善することを示す。
  論文  参考訳（メタデータ） (2025-10-08T07:07:39Z)
• HIQL: Offline Goal-Conditioned RL with Latent States as Actions [81.67963770528753]
  オフラインデータからゴール条件付きRLの階層的アルゴリズムを提案する。 この階層的な分解によって、推定値関数のノイズに頑健になることを示す。 提案手法は,従来の手法を巧みに操り,高次元画像観察にスケールできるとともに,アクションフリーなデータを容易に利用することができる。
  論文  参考訳（メタデータ） (2023-07-22T00:17:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。