論文の概要: An Informational Curse of Horizon in Goal-Conditioned Policy Learning

• arxiv url: http://arxiv.org/abs/2610.09247v1
• Date: Wed, 07 Oct 2026 00:20:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.652644
• Title: An Informational Curse of Horizon in Goal-Conditioned Policy Learning
• Title（参考訳）: ゴール・コンディション型政策学習における水平方向の情報曲線
• Abstract要約: 目標達成の地平線拡大は,政策の一般化と性能を著しく低下させる可能性がある。 本稿では,この現象を,行動と後可視目標との条件付き相互情報の水平方向依存性の減少として説明する。
• 参考スコア（独自算出の注目度）: 6.898262858873448
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The difficulty of learning goal-reaching policies is often attributed to a "curse of horizon" that manifests as bias accumulation in temporal-difference backups and noisy advantage estimates. In this work, we identify an additional informational curse of horizon in goal-conditioned policy learning, where increasing the goal relabeling horizon can significantly reduce policy generalization and performance. Through a series of controlled experiments with oracle planners, we decouple the goal horizons sampled during training from those that the policy is asked to reach at test time. Even when evaluated only on a sequence of nearby subgoals, goal-conditioned behavioral cloning (BC) policies suffer from severe, training horizon-dependent performance degradation that is mitigated by reinforcement learning (RL) objectives. We explain this phenomenon as a horizon-dependent decrease in the conditional mutual information between actions and hindsight-relabeled goals, and find empirically that both BC and RL policies trained on longer-horizon goals exhibit a shift in sensitivity from goal to state information, as measured by the policy's input Jacobians. Motivated by this observation, we find that distilling the input Jacobians of short-horizon policies into long-horizon policies yields significant performance gains, especially in combinatorial manipulation tasks. Taken together, our results highlight goal relabeling horizon as an important consideration when learning generalist policies from offline data.
• Abstract（参考訳）: 目標達成ポリシーを学習することの難しさは、時差バックアップのバイアス蓄積とノイズの多い利点推定として現れる「地平線図」に起因することが多い。 本研究では,目標条件付き政策学習における地平線に関する追加的な情報的呪いを同定し,その場合,目標を許容する地平線の増加は,政策の一般化と性能を著しく低下させる。 オラクルプランナーによる一連の制御された実験を通じて、トレーニング中にサンプリングされたゴールの地平線と、ポリシーがテスト時に到達するよう求められるものとを分離する。 目標条件付き行動クローン (BC) 政策は, 近隣のサブゴールに対してのみ評価される場合であっても, 強化学習 (RL) の目的によって緩和される, 高度かつ水平依存的な性能劣化に悩まされる。 我々は,この現象を,行動と後向きの目標間の条件付き相互情報の水平方向依存性の低下として説明し,より長い水平目標に基づいて訓練されたBCとRLの政策が,政策の入力ジャコビアンによって測定されたように,目標から状態情報への感度の変化を示すことを実証的に見出した。 この観察により,短期水平政策の入力ジャコビアンを長期水平政策に蒸留すると,特に組合せ操作タスクにおいて顕著な性能向上が得られることがわかった。 この結果から,オフラインデータから一般政策を学習する上で,地平線を緩和する目的が重要視された。

関連論文リスト

• Efficient Hierarchical Implicit Flow Q-learning for Offline Goal-conditioned Reinforcement Learning [10.729712481687628]
  オフラインゴール条件強化学習(オフラインゴール条件強化学習、英: offline goal-conditioned reinforcement learning、GCRL)は、ゴール条件付きポリシーを報酬のないオフラインデータから学習することを目的とした実践的な強化学習パラダイムである。 本稿では, 平均流速場を階層的ポリシーモデリングに導入する, 目標条件付き平均流路ポリシーを提案する。 提案手法は,OGBenchベンチマークにおいて,状態ベースと画素ベースの両方のタスクに対して高い性能を実現することを示す。
  論文  参考訳（メタデータ） (2026-04-10T05:04:29Z)
• Option-aware Temporally Abstracted Value for Offline Goal-Conditioned Reinforcement Learning [19.341894845618445]
  オフライン目標条件強化学習(GCRL)は、豊富な状態行動軌跡データセットから目標達成ポリシーをトレーニングする実践的な学習パラダイムを提供する。 本稿では、時間差学習プロセスに時間的抽象化を組み込んだOTAと呼ばれる、オプション対応の時間的抽象価値学習を提案する。 我々は、最近提案されたオフラインGCRLベンチマークであるOGBenchから、OTAを用いて学習した高レベルポリシーが、複雑なタスクに対して高い性能を達成することを実験的に示す。
  論文  参考訳（メタデータ） (2025-05-19T05:51:11Z)
• Conformal Off-Policy Evaluation in Markov Decision Processes [53.786439742572995]
  強化学習は、データから効率的な制御ポリシーを特定し評価することを目的としている。 この学習タスクのほとんどの方法は、Off-Policy Evaluation (OPE)と呼ばれ、正確さと確実性を保証するものではない。 本稿では,目標方針の真報を含む区間を所定の確信度で出力するコンフォーマル予測に基づく新しいOPE手法を提案する。
  論文  参考訳（メタデータ） (2023-04-05T16:45:11Z)
• Imitating Graph-Based Planning with Goal-Conditioned Policies [72.61631088613048]
  本稿では,目標目標条件ポリシにサブゴール条件ポリシを蒸留する自己シミュレーション方式を提案する。 提案手法は,既存の目標条件付きRL手法のサンプル効率を大幅に向上させることができることを実証的に示す。
  論文  参考訳（メタデータ） (2023-03-20T14:51:10Z)
• Goal-conditioned Offline Reinforcement Learning through State Space Partitioning [9.38848713730931]
  オフライン強化学習(RL)は、オフラインデータセットのみを使用してシーケンシャルな決定ポリシーを推論することを目的としている。 我々は,その利点にもかかわらず,分散シフトやマルチモダリティ問題を完全に解決するには,このアプローチは依然として不十分である,と論じる。 本稿では,帰納的バイアスの新たな源となる相補的優位性に基づく重み付け手法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T14:52:53Z)
• Mutual Information Regularized Offline Reinforcement Learning [76.05299071490913]
  我々は、データセットにおける状態と行動間の相互情報の観点から、オフラインRLにアプローチする新しいMISAフレームワークを提案する。 この下位境界の最適化は、オフラインデータセット上での一段階改善されたポリシーの可能性の最大化と等価であることを示す。 MISAの3つの異なる変種を導入し、より厳密な相互情報によりオフラインのRL性能が向上することを示した。
  論文  参考訳（メタデータ） (2022-10-14T03:22:43Z)
• Goal-Conditioned Reinforcement Learning with Imagined Subgoals [89.67840168694259]
  我々は、複雑なタスクの学習を容易にするために、想像上のサブゴールをポリシー学習に組み込むことを提案する。 想像上のサブゴールは、政策と批判を同時に訓練する独立したハイレベルな政策によって予測される。 複雑なロボットナビゲーションと操作タスクに対する我々のアプローチを評価し、既存の手法よりも大きなマージンで優れていることを示す。
  論文  参考訳（メタデータ） (2021-07-01T15:30:59Z)
• Doubly Robust Off-Policy Value and Gradient Estimation for Deterministic Policies [80.42316902296832]
  本研究では,行動継続時の非政治データから決定論的政策の政策値と勾配を推定する。 この設定では、密度比が存在しないため、標準重要度サンプリングとポリシー値と勾配の2倍の頑健な推定が失敗する。 異なるカーネル化アプローチに基づく2つの新しい頑健な推定器を提案する。
  論文  参考訳（メタデータ） (2020-06-06T15:52:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。