論文の概要: Beyond Action Prediction: Learning Search-Free Planning in Latent Space
- arxiv url: http://arxiv.org/abs/2610.23615v1
- Date: Fri, 16 Oct 2026 15:26:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-20 00:56:07.988999
- Title: Beyond Action Prediction: Learning Search-Free Planning in Latent Space
- Title(参考訳): 行動予測を超えて - 潜在空間における検索不要な計画学習
- Abstract要約: Hindsight Inverse JEPA Planning(HIJP)は、トレーニング中の両方の側面に対処する検索不要のフレームワークである。
4つの視覚制御タスクの中で、HIJPは86.8%の成功と1.9-16.5倍の計画スピードアップを達成した。
- 参考スコア(独自算出の注目度): 32.44864607845711
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Latent world models learn action-conditioned state transitions in a compact representation space, providing a predictive model for visual planning and control. However, planning with these models typically requires costly test-time optimization over action sequences. We propose to replace this online search with a goal-conditioned inverse model that directly predicts actions from current and goal observations. A key challenge is that action prediction alone neither ensures that goal representations encode action-relevant information nor that predicted actions are consistent with the learned latent prediction model. We introduce Hindsight Inverse JEPA Planning (HIJP), a search-free framework that addresses both aspects during training. HIJP relabels future observations along offline trajectories as goals, providing action supervision across multiple temporal horizons. By retaining gradients through the goal representations, this supervision directly shapes the visual representation. HIJP further feeds predicted actions into the latent predictor model and aligns the resulting next-state representations with encoded successor observations, enforcing action-transition consistency. At inference time, the inverse dynamics model and latent predictor models are applied alternately to generate multi-step action sequences without online search. Across four visual control tasks, HIJP achieves 86.8% overall success and a 1.9-16.5x planning speedup over search-based planning.
- Abstract(参考訳): 潜在世界モデルは、コンパクトな表現空間において行動条件付き状態遷移を学習し、視覚的な計画と制御のための予測モデルを提供する。
しかし、これらのモデルで計画するには通常、アクションシーケンスよりもコストのかかるテスト時間最適化が必要である。
我々は,このオンライン検索を,現在および目標観測から行動を直接予測するゴール条件逆モデルに置き換えることを提案する。
重要な課題は、アクション予測だけでは、ゴール表現がアクション関連情報を符号化したり、予測されたアクションが学習された潜在予測モデルと一致しないことを保証しないことである。
我々は,Hendsight Inverse JEPA Planning (HIJP)を紹介した。
HIJPは、オフライン軌跡を目標として将来の観測をラベル付けし、複数の時間的地平線をまたいだ行動監視を提供する。
ゴール表現を通して勾配を維持することで、この監督は視覚表現を直接形作る。
HIJPはさらに、予測されたアクションを潜在予測モデルに供給し、結果として得られる次の状態表現を符号化された後続の観測と整合させ、アクション-遷移一貫性を強制する。
推論時に、逆ダイナミクスモデルと潜時予測モデルを交互に適用し、オンライン検索なしで多段階のアクションシーケンスを生成する。
4つの視覚制御タスクの中で、HIJPは86.8%の成功と1.9-16.5倍の計画スピードアップを達成した。
関連論文リスト
- Unifying Policy Learning and State Prediction through Spatial Language Modeling [52.172884936392535]
本研究では,シーンの輪郭,目標,行動目標,将来の状態を個別座標と意味トークンの共通語彙で表現する空間言語モデリングを提案する。
タスク固有の文法はこれらの要素を空間配列に整理し、1つの自己回帰変換器が行動生成と行動条件付き状態予測を学習できるようにする。
ランダム・プレイ・トランジション・プレトレーニングを駆使してモデルをスクラッチからトレーニングし、その後、専門家によるデモンストレーションで共同動作と状態トレーニングを行う。
論文 参考訳(メタデータ) (2026-10-08T15:43:08Z) - Action-Consequence Alignment for Reliable Planning and Self-Improving in Latent World Models [50.093046379641315]
学習された世界モデルが類似した行動結果対応を維持しているかどうかを検討する。
その結果、近くの代替手段は、記録された目標から遠く離れた物理的結果を生み出すにもかかわらず、より低い予測誤差を得られることが示された。
これらの結果は、予測学習と信頼性プランニングをブリッジする実践原則として、アクション・エフェクト・アライメントを支援する。
論文 参考訳(メタデータ) (2026-10-03T14:12:16Z) - ATI-VLA: Action-Centric Predictive Vision-Language-Action Models via Actionable Alignment Then Adaptive Injection [58.95432059887781]
ATI-VLAはAction-Centric Predictive Vision-Language-Actionフレームワークである。
両方のモダリティを共有潜在空間にマッピングすることで、予測観測と行動表現を一致させる。
その後、予測された観測潜伏者を明示的な予測先行として行動復号に注入する。
論文 参考訳(メタデータ) (2026-10-01T14:12:23Z) - Towards Surgical World-Action Modeling: A Preliminary Joint Visual-Trajectory Forecasting for Surgical Motion Planning [37.17021354294023]
本稿では, 将来の視覚状態を同時に予測し, 歴史的外科的観察からトラジェクトリを計測する, 共同視覚軌道世界行動モデルを提案する。
より長い予測地平線上での進行的な視覚劣化と累積軌道誤差を観察する。
論文 参考訳(メタデータ) (2026-08-20T17:18:02Z) - CAPE: Contrastive Action-conditioned Parallel Encoding for Embodied Planning [15.559483151991813]
エージェントは、実行前に効果的に計画するために、候補アクションの将来の結果を予測する必要がある。
本稿では、異なるアクションシーケンスによって引き起こされる将来の成果を識別し、視覚力学を学習するコントラスト型アクション条件並列コンバーフレームワークであるCAPEを提案する。
論文 参考訳(メタデータ) (2026-06-05T14:21:44Z) - Learning Lifted Action Models from Unsupervised Visual Traces [38.479081137300945]
本研究では,状態予測,行動予測,持ち上げ行動モデルなどを共同で学習するディープラーニングフレームワークを提案する。
また,予測崩壊や自己強化エラーを防止するために,MILP(mixed-integer linear program)を導入する。
複数の領域にわたる実験により、MILPベースの補正を統合することで、モデルが局所最適から逃れ、一貫した解へと収束することを示す。
論文 参考訳(メタデータ) (2026-04-21T03:49:04Z) - Ego-centric Predictive Model Conditioned on Hand Trajectories [52.531681772560724]
自我中心のシナリオでは、次の行動とその視覚的結果の両方を予測することは、人間と物体の相互作用を理解するために不可欠である。
我々は,エゴセントリックなシナリオにおける行動と視覚的未来を共同でモデル化する,統合された2段階予測フレームワークを提案する。
我々のアプローチは、エゴセントリックな人間の活動理解とロボット操作の両方を扱うために設計された最初の統一モデルである。
論文 参考訳(メタデータ) (2025-08-27T13:09:55Z) - Improving Trajectory Prediction in Dynamic Multi-Agent Environment by
Dropping Waypoints [9.385936248154987]
動作予測システムは、エージェントの将来の軌跡を予測するために、過去から空間的および時間的情報を学習する必要がある。
本稿では,軌道予測モデルのトレーニング中に時間的依存関係を明示的に組み込んだTWDを提案する。
NBA Sports VU, ETH-UCY, TrajNet++の3つのデータセットに対する提案手法の評価を行った。
論文 参考訳(メタデータ) (2023-09-29T15:48:35Z) - Long-Horizon Visual Planning with Goal-Conditioned Hierarchical
Predictors [124.30562402952319]
未来に予測し、計画する能力は、世界で行動するエージェントにとって基本である。
視覚的予測と計画のための現在の学習手法は、長期的タスクでは失敗する。
本稿では,これらの制約を克服可能な視覚的予測と計画のためのフレームワークを提案する。
論文 参考訳(メタデータ) (2020-06-23T17:58:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。