論文の概要: Action-Sufficient Goal Representations

• arxiv url: http://arxiv.org/abs/2601.22496v1
• Date: Fri, 30 Jan 2026 03:08:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-02 18:28:15.187114
• Title: Action-Sufficient Goal Representations
• Title（参考訳）: 行動に十分対応したゴール表現
• Authors: Jinu Hyeon, Woobin Park, Hongjoon Ahn, Taesup Moon,
• Abstract要約: 本稿では,最適な行動選択に必要な目標表現条件である行動充足度を定義する情報理論フレームワークを提案する。 我々は、値飽和度がアクション飽和度を含まないことを証明し、後者が離散環境での制御成功とより強く結びついていることを実証的に検証する。
• 参考スコア（独自算出の注目度）: 18.88691169447082
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Hierarchical policies in offline goal-conditioned reinforcement learning (GCRL) addresses long-horizon tasks by decomposing control into high-level subgoal planning and low-level action execution. A critical design choice in such architectures is the goal representation-the compressed encoding of goals that serves as the interface between these levels. Existing approaches commonly derive goal representations while learning value functions, implicitly assuming that preserving information sufficient for value estimation is adequate for optimal control. We show that this assumption can fail, even when the value estimation is exact, as such representations may collapse goal states that need to be differentiated for action learning. To address this, we introduce an information-theoretic framework that defines action sufficiency, a condition on goal representations necessary for optimal action selection. We prove that value sufficiency does not imply action sufficiency and empirically verify that the latter is more strongly associated with control success in a discrete environment. We further demonstrate that standard log-loss training of low-level policies naturally induces action-sufficient representations. Our experimental results a popular benchmark demonstrate that our actor-derived representations consistently outperform representations learned via value estimation.
• Abstract（参考訳）: オフライン目標条件強化学習(GCRL)における階層的ポリシは、高レベルなサブゴール計画と低レベルなアクション実行に制御を分解することで、長期的タスクに対処する。 このようなアーキテクチャにおける重要な設計選択は、これらのレベルのインターフェースとして機能する目標の圧縮符号化である。 既存のアプローチは、値推定に十分な情報を保存することが最適制御に適していると暗黙的に仮定して、値関数を学習しながらゴール表現を導出する。 このような表現は、アクション学習のために区別する必要がある目標状態を崩壊させる可能性があるため、値推定が正確であっても、この仮定は失敗する可能性があることを示す。 そこで本稿では,最適な行動選択に必要な目標表現条件である行動充足度を定義する情報理論フレームワークを提案する。 我々は、値飽和度がアクション飽和度を含まないことを証明し、後者が離散環境での制御成功とより強く結びついていることを実証的に検証する。 さらに、低レベルポリシーの標準的なログロストレーニングは、アクション十分表現を自然に誘導することを示した。 評価実験の結果,我々のアクター由来の表現は,値推定によって学習した表現よりも一貫して優れていた。

関連論文リスト

• HIQL: Offline Goal-Conditioned RL with Latent States as Actions [81.67963770528753]
  オフラインデータからゴール条件付きRLの階層的アルゴリズムを提案する。 この階層的な分解によって、推定値関数のノイズに頑健になることを示す。 提案手法は,従来の手法を巧みに操り,高次元画像観察にスケールできるとともに,アクションフリーなデータを容易に利用することができる。
  論文  参考訳（メタデータ） (2023-07-22T00:17:36Z)
• Discrete Factorial Representations as an Abstraction for Goal Conditioned Reinforcement Learning [99.38163119531745]
  離散化ボトルネックを適用することにより,目標条件付きRLセットアップの性能が向上することを示す。 分布外目標に対する期待した回帰を実験的に証明し、同時に表現的な構造で目標を指定できるようにします。
  論文  参考訳（メタデータ） (2022-11-01T03:31:43Z)
• Goal-Conditioned Q-Learning as Knowledge Distillation [136.79415677706612]
  目標条件設定における非政治強化学習と知識蒸留との関連について検討する。 これは,目標の空間が高次元である場合に,目標条件付き非政治強化学習の性能を向上させることを実証的に示す。 また,複数のスパース目標を同時に達成した場合に,この手法を効果的に学習できることを示す。
  論文  参考訳（メタデータ） (2022-08-28T22:01:10Z)
• Value Function Spaces: Skill-Centric State Abstractions for Long-Horizon Reasoning [120.38381203153159]
  強化学習は、複雑なタスクを効果的に実行するポリシーを訓練することができる。 長期のタスクでは、これらのメソッドのパフォーマンスは水平線とともに劣化し、しばしば推論と下層のスキルの構築を必要とします。 そこで我々は,各下層スキルに対応する値関数を用いて,そのような表現を生成するシンプルな手法として,値関数空間を提案する。
  論文  参考訳（メタデータ） (2021-11-04T22:46:16Z)
• Adjacency constraint for efficient hierarchical reinforcement learning [25.15808501708926]
  目標条件強化学習(HRL)は、強化学習(RL)技術をスケールアップするための有望なアプローチである。 HRLは、高レベル、すなわちゴール空間のアクション空間が大きいため、トレーニングの非効率さに悩まされることが多い。 本研究では,高レベル動作空間を現在の状態の隣接する領域$k$-stepに制限することにより,この問題を効果的に緩和できることを示す。
  論文  参考訳（メタデータ） (2021-10-30T09:26:45Z)
• Offline Reinforcement Learning with Implicit Q-Learning [85.62618088890787]
  現行のオフライン強化学習手法では、トレーニング中に見つからない行動の価値を問い合わせて、ポリシーを改善する必要がある。 本稿では,データセット外の動作を評価する必要のないオフラインRL手法を提案する。 この方法により、学習したポリシーは、一般化によってデータの最良の振る舞いを大幅に改善することができる。
  論文  参考訳（メタデータ） (2021-10-12T17:05:05Z)
• Provable Representation Learning for Imitation with Contrastive Fourier Features [27.74988221252854]
  オフライン体験データセットを用いて低次元の状態表現を学習する。 主要な課題は、未知のターゲットポリシー自体が低次元の振る舞いを示さないことである。 我々は、目標ポリシーと最大様態で訓練された低次元ポリシーとの性能差を上限とする表現学習目標を導出する。
  論文  参考訳（メタデータ） (2021-05-26T00:31:30Z)
• Universal Value Density Estimation for Imitation Learning and Goal-Conditioned Reinforcement Learning [5.406386303264086]
  いずれの場合も、効果的な解法は、エージェントが指定された状態に確実に到達する必要がある。 この研究は、密度推定の最近の進歩を利用して、与えられた状態に到達することを効果的に学習するアプローチを導入する。 最初のコントリビューションとして、この手法を目標条件付き強化学習に使用し、それが効率的であり、ドメインの後方偏見に支障を来さないことを示す。 第2のコントリビューションとして、模倣学習へのアプローチを拡張し、標準的なベンチマークタスクにおける最先端のサンプル効率を実現することを示す。
  論文  参考訳（メタデータ） (2020-02-15T23:46:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。