論文の概要: VaDar: Implicit Goal Conditioning via Value Disaggregation
- arxiv url: http://arxiv.org/abs/2610.26629v1
- Date: Mon, 19 Oct 2026 15:57:33 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-10-20 22:02:48.090783
- Title: VaDar: Implicit Goal Conditioning via Value Disaggregation
- Title（参考訳）: VaDar: バリューデアグリゲーションによる暗黙のゴールコンディショニング
- Abstract要約: ロングホライゾンタスクは、AIとロボティクスにとって重要である。
伝統的に、タスクをサブゴールに分解し、各サブタスクを順番に実行するサブゴール条件のポリシーを学ぶことが一般的なアプローチである。
本稿では,1つのサブゴールに依存しない政策を訓練し,サブゴール毎の批判値の線形結合を最大化するために,バリューデアグリゲーション(VaDar)という代替手段を導入する。
- 参考スコア（独自算出の注目度）: 16.106199734134908
- License:
- Abstract: Long-horizon tasks are important for modern AI and robotics, yet pose a challenge for reinforcement learning. Historically, a popular approach has been to decompose a task into subgoals, and learn a subgoal-conditioned policy to execute each subtask in sequence. We introduce an alternative called Value Disaggregation (VaDar), which trains a single subgoal-independent policy to maximize a linear combination of per-subgoal critic values. Because subgoal information is needed only at training-time, VaDar removes the need for possibly costly or cumbersome subgoal-selection during policy deployment. Moreover, through careful experiments, we show that VaDar (1) is always competitive with, and frequently outperforms, natural baselines like goal-conditioning and (2) succeeds on tasks with non-sequential goal structure and multiple optimization objectives. In particular, VaDar is the first algorithm to solve challenging, long-horizon tasks in the RoboCasa suite, even when starting from a policy pretrained from behavior cloning with near-zero initial task success. Taken together, VaDar's successes suggest that subgoal information benefits actor-critic reinforcement learning by enhancing the efficacy of critic learning, whereas policy goal-conditioning is often unnecessary.
- Abstract（参考訳）: ロングホライゾンタスクは、現代のAIやロボティクスにとって重要であるが、強化学習には課題がある。
歴史的に一般的なアプローチは、タスクをサブゴールに分解し、各サブタスクを順番に実行するサブゴール条件のポリシーを学ぶことである。
本稿では,1つのサブゴールに依存しない政策を訓練し,サブゴール毎の批判値の線形結合を最大化するために,バリューデアグリゲーション(VaDar)という代替手段を導入する。
サブゴール情報はトレーニング時にのみ必要になるため、VaDarはポリシー展開中にコストがかかるか面倒なサブゴール選択の必要性を取り除く。
さらに,VaDar(1)は常に競争力があり,かつ,ゴール条件のような自然なベースラインや,(2)非逐次目標構造と複数の最適化目標を持つタスクに成功していることを示す。
特に、VaDarはRoboCasaスイートにおいて、ほとんどゼロのイニシャルタスク成功による行動クローンから事前訓練されたポリシーから始める場合でも、難しい長期タスクを解決する最初のアルゴリズムである。
同時に、VaDarの成功は、サブゴール情報は批判的学習の効果を高めることによってアクターと批評家の強化学習の恩恵をもたらすことを示唆している。
関連論文リスト
- First-Order Representation Languages for Goal-Conditioned RL [8.89493507314525]
目標条件付きRLと一般化計画における一階述語の使用を検討する。
問題は、トレーニングインスタンスが大きい場合、目標条件付きおよび一般的なポリシーをどのように学習するかだ。
状態と目標が原子の集合で表されるとき、さらなる性能向上が達成できることを示す。
論文 参考訳（メタデータ） (2025-12-22T12:54:32Z) - HIQL: Offline Goal-Conditioned RL with Latent States as Actions [81.67963770528753]
オフラインデータからゴール条件付きRLの階層的アルゴリズムを提案する。
この階層的な分解によって、推定値関数のノイズに頑健になることを示す。
提案手法は,従来の手法を巧みに操り,高次元画像観察にスケールできるとともに,アクションフリーなデータを容易に利用することができる。
論文 参考訳（メタデータ） (2023-07-22T00:17:36Z) - Planning to Practice: Efficient Online Fine-Tuning by Composing Goals in
Latent Space [76.46113138484947]
汎用ロボットは、現実世界の非構造環境において困難なタスクを完了するために、多様な行動レパートリーを必要とする。
この問題に対処するため、目標条件強化学習は、コマンド上の幅広いタスクの目標に到達可能なポリシーを取得することを目的としている。
本研究では,長期的課題に対する目標条件付き政策を実践的に訓練する手法であるPlanning to Practiceを提案する。
論文 参考訳（メタデータ） (2022-05-17T06:58:17Z) - Goal-Conditioned Reinforcement Learning with Imagined Subgoals [89.67840168694259]
我々は、複雑なタスクの学習を容易にするために、想像上のサブゴールをポリシー学習に組み込むことを提案する。
想像上のサブゴールは、政策と批判を同時に訓練する独立したハイレベルな政策によって予測される。
複雑なロボットナビゲーションと操作タスクに対する我々のアプローチを評価し、既存の手法よりも大きなマージンで優れていることを示す。
論文 参考訳（メタデータ） (2021-07-01T15:30:59Z) - Automatic Curriculum Learning through Value Disagreement [95.19299356298876]
新しい未解決タスクを継続的に解決することが、多様な行動を学ぶための鍵です。
エージェントが複数の目標を達成する必要があるマルチタスク領域では、トレーニング目標の選択はサンプル効率に大きな影響を与える可能性がある。
そこで我々は,エージェントが解決すべき目標のための自動カリキュラムを作成することを提案する。
提案手法は,13のマルチゴールロボットタスクと5つのナビゲーションタスクにまたがって評価し,現在の最先端手法よりも高い性能を示す。
論文 参考訳（メタデータ） (2020-06-17T03:58:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。