論文の概要: Learning Goal-Conditioned Subgoals through Frozen Hierarchical World Models
- arxiv url: http://arxiv.org/abs/2610.26179v1
- Date: Mon, 19 Oct 2026 11:13:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-21 21:58:47.339361
- Title: Learning Goal-Conditioned Subgoals through Frozen Hierarchical World Models
- Title(参考訳): 凍結階層型世界モデルによるゴールコンディションサブゴールの学習
- Abstract要約: 推論は自己回帰的なハイレベルロールアウトを保持するが、ハイレベルな候補最適化を必要としない。
我々は,H-JEPAで分散された共有遅延HWMチェックポイントに対して,このアプローチを評価する。
一般的な評価プロトコルでは、キューブでは70.4%、Push-Tでは48.7%、FourRoomでは100.0%、Visual AntMazeでは71.1%である。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Hierarchical world models plan over long horizons by passing predicted states from a coarse model to a lower-level controller. Choosing these states can be expensive: the upper-level planner repeatedly differentiates through candidate macro-action trajectories. We replace this search with a lightweight goal-conditioned network trained through the frozen high-level predictor. The network supplies a conditioning vector, while the predictor generates the next latent waypoint. Training uses hindsight goals and state-prediction losses on offline trajectories, without search-solution targets or macro-action labels. Inference retains an autoregressive high-level rollout, but requires no high-level candidate optimization. We evaluate this approach on the shared-latent HWM checkpoints distributed with H-JEPA, using three backbone seeds and three head initializations per backbone. With a common evaluation protocol, mean success is 70.4% on Cube, 48.7% on Push-T, 100.0% on FourRoom, and 71.1% on Visual AntMaze. The method improves over the corresponding HWM search baseline on three environments and has the same mean on Push-T. Dedicated measurements on an NVIDIA L40S give 1.28-4.39x end-to-end speedups for batched evaluation. Ablations identify state-adaptive conditioning as a consistent contributor, while predictor-mediated subgoals and unrestricted conditions have environment-dependent benefits.
- Abstract(参考訳): 階層的世界モデルは、粗いモデルから低レベルのコントローラに予測された状態を渡すことによって、長い地平線上を計画する。
上位のプランナーは、候補となるマクロアクション軌跡を通じて何度も区別する。
我々はこの探索を、凍結した高レベル予測器を通して訓練された軽量な目標条件付きネットワークに置き換える。
ネットワークは条件ベクトルを提供し、予測器は次の遅延経路を生成する。
トレーニングでは、検索ソリューションターゲットやマクロアクションラベルを使わずに、オフライントラジェクトリにおける後向きの目標と状態予測損失を使用する。
推論は自己回帰的なハイレベルロールアウトを保持するが、ハイレベルな候補最適化を必要としない。
本手法は,H-JEPAで分布する共有遅延HWMチェックポイントに対して,3つのバックボーン種子と3つのヘッド初期化を用いて評価する。
一般的な評価プロトコルでは、キューブでは70.4%、Push-Tでは48.7%、FourRoomでは100.0%、Visual AntMazeでは71.1%である。
本手法は,3つの環境におけるHWM検索ベースラインを改良し,Push-Tでも同じ平均値を持つ。
NVIDIA L40Sの専用測定では、バッチ評価のために1.28-4.39xのエンドツーエンドのスピードアップが与えられる。
アブレーションは、状態適応的条件付けを一貫したコントリビュータとみなし、予測器によるサブゴールや制約のない条件は環境に依存した利点を持つ。
関連論文リスト
- ProbePO: Sparse Probes, Redistributed Credit for Critic-Free LLM Reinforcement Learning [55.716259164434234]
検証可能な報酬からの強化学習は、個々の推論ステップが結果にどのように貢献するかを解明し、すべての推論軌道に1つの終末報酬を割り当てる。
GRPOは、すべてのレスポンストークンに対してグループ正規化された利点をブロードキャストする一方、よりきめ細かいアプローチは、ポリシー更新に使用されるデータを変更可能な、高密度な補助的なロールアウトや分岐スキームに依存することが多い。
限定的なロールアウト予算で、どの部分的なソリューションを評価すべきで、どのように価値を評価すればよいのか。
ProbePOは報酬のない不確実性スコアで部分解法状態を選択し、上限条件下で期待された検証者報酬を推定する
論文 参考訳(メタデータ) (2026-10-17T07:19:05Z) - One-Step Prediction Fidelity Is a Poor Proxy for Planning Performance in JEPA World Models [0.0]
物理ユニットのワンステップエラーを報告するフリーズデコーダプロトコルを導入する。
同じチェックポイント上で,目標条件のプランニングを3つのトレーニングシードとペアのプランニングシードで測定する。
論文 参考訳(メタデータ) (2026-10-14T01:19:50Z) - GroundAnything: Reconciling Parallel Decoding with Precise Visual Grounding at Flash Speed [71.05944634852158]
GroundAnythingはブロックワイズによる正確なローカライゼーションで高速並列デコーディングを再構成する。
30のグラウンドベンチマークで、私たちの自己回帰型であるGroundAnything-VLMは、この技術の新たな全体的な状態を確立します。
エントロピー誘導復号法により、GroundAnythingは、この規模の芸術の先行状態を超越している。
論文 参考訳(メタデータ) (2026-09-30T12:20:51Z) - LePlanner: An Iterative Amortized Controller For World Models [0.0]
本研究では,凍結したワールドモデル予測器を用いて遅延動作シーケンスの構築と洗練を学習する,償却反復制御器LePlannerを提案する。
LePlannerは、最初期の地平線で目標に達するようコントローラに促し、そこに留まるよう、到着と保持の目的で訓練されている。
成功率はPushTが98%、Reacherが100%、TwoRoomsが100%、OGBench Cubeが92%である。
論文 参考訳(メタデータ) (2026-09-12T10:01:21Z) - On-Policy Self-Distillation in Diffusion Models [89.32656931795293]
強化学習は、拡散モデルと人間の好みやタスク固有の目的とを一致させることができるが、エンドポイント報酬は、中間的偏見予測をどのように変更すべきかを規定していない。
そこで我々は、DiffusionOPSDを、画像レベルの報酬誘導を明示的なターゲットに変換して、サンプルクエリにおけるクリーンな出力予測を行うオンライン自己蒸留フレームワークとして導入する。
SD 3.5-Mとステップ蒸留したZ-Image-Turboを用いて、2つのバックボーンと10個の評価器で20の報酬マッチング設定のうち19のファイナルホールトアウトスコアを達成した。
論文 参考訳(メタデータ) (2026-08-25T14:55:24Z) - Mind the Gap: Promises and Pitfalls of Hierarchical Planning in LeWorldModel [0.10262304700896198]
事前学習した低レベルLeWMを凍結する拡張であるHi-LeWMを導入し、潜在サブゴールに対して高レベルプランニングを追加する。
我々は、PushTとCube上のHi-LeWMをゴールオフセットの増加によって評価した。
論文 参考訳(メタデータ) (2026-07-14T09:18:44Z) - MoP-JEPA: Hard-Assigned Predictor Mixtures for Stochastic JEPA World Models [14.76812870029721]
MoP-JEPAは、有限個の候補セットを1つのパスで生成する。
ホールドアウトのOGBenchトランジションでは、単一出力予測器によるグラフ検索が0.02$--0.09$のクエリで成功し、MoP-JEPAは0.85$に達した。
論文 参考訳(メタデータ) (2026-07-06T15:47:37Z) - Agentic World Modeling for 6G: Near-Real-Time Generative State-Space Reasoning [70.56067503630486]
第6世代(6G)インテリジェンスは、流動的なトークン予測ではなく、想像と選択の能力を校正している、と我々は主張する。
We showed that WM-MS3M cuts mean absolute error (MAE) by 1.69% vs MS3M with 32% less parameters and similar latency, and achieve a 35-80% lower root mean squared error (RMSE) than attention/hybrid baselines with 2.3-4.1x faster inference。
論文 参考訳(メタデータ) (2025-11-04T17:22:22Z) - A Meta-Learning Approach to Predicting Performance and Data Requirements [163.4412093478316]
本稿では,モデルが目標性能に達するために必要なサンプル数を推定する手法を提案する。
モデル性能を推定するデファクト原理であるパワー法則が,小さなデータセットを使用する場合の誤差が大きいことが判明した。
本稿では,2つのデータを異なる方法で処理するPPL法について紹介する。
論文 参考訳(メタデータ) (2023-03-02T21:48:22Z) - Modular Deep Reinforcement Learning for Continuous Motion Planning with
Temporal Logic [59.94347858883343]
本稿では,マルコフ決定過程(MDP)をモデルとした自律動的システムの運動計画について検討する。
LDGBA と MDP の間に組込み製品 MDP (EP-MDP) を設計することである。
モデルフリー強化学習(RL)のためのLDGBAベースの報酬形成と割引スキームは、EP-MDP状態にのみ依存する。
論文 参考訳(メタデータ) (2021-02-24T01:11:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。