論文の概要: LaDi-WM: A Latent Diffusion-based World Model for Predictive Manipulation

• arxiv url: http://arxiv.org/abs/2505.11528v6
• Date: Fri, 12 Sep 2025 13:58:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-15 14:04:02.966075
• Title: LaDi-WM: A Latent Diffusion-based World Model for Predictive Manipulation
• Title（参考訳）: LaDi-WM:予測操作のための潜時拡散に基づく世界モデル
• Abstract要約: 拡散モデルを用いて将来の状態の潜伏空間を予測する世界モデルLaDi-WMを提案する。 LIBERO-LONGベンチマークでは,LaDi-WMが27.9%,現実シナリオでは20%,政策性能が著しく向上することを示した。
• 参考スコア（独自算出の注目度）: 45.02469804709771
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Predictive manipulation has recently gained considerable attention in the Embodied AI community due to its potential to improve robot policy performance by leveraging predicted states. However, generating accurate future visual states of robot-object interactions from world models remains a well-known challenge, particularly in achieving high-quality pixel-level representations. To this end, we propose LaDi-WM, a world model that predicts the latent space of future states using diffusion modeling. Specifically, LaDi-WM leverages the well-established latent space aligned with pre-trained Visual Foundation Models (VFMs), which comprises both geometric features (DINO-based) and semantic features (CLIP-based). We find that predicting the evolution of the latent space is easier to learn and more generalizable than directly predicting pixel-level images. Building on LaDi-WM, we design a diffusion policy that iteratively refines output actions by incorporating forecasted states, thereby generating more consistent and accurate results. Extensive experiments on both synthetic and real-world benchmarks demonstrate that LaDi-WM significantly enhances policy performance by 27.9\% on the LIBERO-LONG benchmark and 20\% on the real-world scenario. Furthermore, our world model and policies achieve impressive generalizability in real-world experiments.
• Abstract（参考訳）: 予測操作は、予測状態を活用することでロボットポリシーのパフォーマンスを向上させる可能性があるため、最近、Embodied AIコミュニティで注目を集めている。 しかし、世界モデルからロボットと物体の相互作用の正確な視覚状態を生成することは、特に高品質なピクセルレベルの表現を実現する上で、よく知られた課題である。 この目的のために,拡散モデルを用いて将来の状態の潜伏空間を予測する世界モデルLaDi-WMを提案する。 具体的には、LaDi-WMは、事前訓練されたVisual Foundation Models (VFM) と整合した確立された潜在空間を活用し、幾何学的特徴(DINOベース)と意味的特徴(CLIPベース)の両方を含む。 我々は、ピクセルレベルの画像を直接予測するよりも、潜伏空間の進化を予測する方が学習しやすく、より一般化しやすいことを発見した。 本研究では,LaDi-WMに基づいて,予測状態を組み込んで出力動作を反復的に洗練し,より一貫性と正確な結果を生成する拡散政策を設計する。 LaDi-WMはLIBERO-LONGベンチマークで27.9 %、現実のシナリオで20 %向上することを示した。 さらに、実世界の実験において、我々の世界モデルと政策は印象的な一般化性を達成する。

関連論文リスト

• World Action Verifier: Self-Improving World Models via Forward-Inverse Asymmetry [82.93104394404781]
  汎用世界モデルは、スケーラブルなポリシー評価、最適化、計画を約束します。 本稿では,世界モデルによる予測誤りと自己改善を識別するフレームワークであるWorld Action Verifier(WAV)を提案する。
  論文  参考訳（メタデータ） (2026-04-02T12:48:36Z)
• Latent-WAM: Latent World Action Modeling for End-to-End Autonomous Driving [40.17041348571413]
  Latent-WAMは効率的なエンドツーエンドの自動運転フレームワークである。 空間認識および動的インフォームドされた潜在世界表現を通じて、強力な軌道計画を実現する。
  論文  参考訳（メタデータ） (2026-03-25T17:56:07Z)
• ThinkJEPA: Empowering Latent World Models with Large Vision-Language Reasoning Model [53.15040805435013]
  視覚言語モデル(VLM)は、一様にサンプリングされたフレームを解析することで、強力なセマンティックグラウンドと一般的な知識を提供する。 本稿では,高密度フレーム・ダイナミックス・モデリングと長軸意味指導を組み合わせたVLM誘導型JEPA型潜在世界モデリングフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-03-23T17:59:42Z)
• ResWM: Residual-Action World Model for Visual RL [0.06999740786886534]
  生の視覚観測から予測的世界モデルを学ぶことは強化学習(RL)の中心的課題である ResWM(Residual-Action World Model、Residual-Action World Model)は、制御変数を絶対作用から残留作用に再構成する新しいフレームワークである。 ResWMはより安定的でエネルギー効率のよい行動軌跡を生み出す。
  論文  参考訳（メタデータ） (2026-03-11T11:27:08Z)
• World Guidance: World Modeling in Condition Space for Action Generation [39.098315503589895]
  アクション生成を容易にするために将来の観測モデルを活用することで、ビジョン・ランゲージ・アクション(VLA)モデルの能力を高めるための有望な道が提示される。 動作推論パイプラインに注入することで、将来の観測結果をコンパクトな条件にマッピングするフレームワークであるWoGを提案する。 この条件空間のモデル化と予測は, きめ細かな動作生成を促進するだけでなく, より優れた一般化能力を示すことを示す。
  論文  参考訳（メタデータ） (2026-02-25T15:27:09Z)
• FRAPPE: Infusing World Modeling into Generalist Policies via Multiple Future Representation Alignment [45.21358158991569]
  VLAモデルは、世界モデリングとして知られる環境力学を予測することができる。 現在のアプローチでは,1) セマンティックラーニングと一般化を制約する画素レベルの再構成を過度に強調する訓練対象モデル,2) 推論中に予測される将来の観測への信頼が,しばしばエラーの蓄積につながる,という2つの問題に直面している。 これらの課題に対処するために、並列プログレッシブ拡張(FRAPPE)を介して、Future Representation Alignmentを導入する。
  論文  参考訳（メタデータ） (2026-02-19T11:00:46Z)
• DDP-WM: Disentangled Dynamics Prediction for Efficient World Models [79.53092337527382]
  本稿では,DDP-WMについて紹介する。DDP-WMはDDP-WM(Distangled Dynamics Prediction)の原理に基づく新しい世界モデルである。 DDP-WMは、効率的な履歴処理と動的ローカライゼーションを統合したアーキテクチャにより、この分解を実現する。 実験により、DDP-WMは様々なタスクにおいて、大幅な効率と性能を達成することが示された。
  論文  参考訳（メタデータ） (2026-02-02T08:04:25Z)
• VFMF: World Modeling by Forecasting Vision Foundation Model Features [67.09340259579761]
  本稿では,視覚基礎モデルの特徴空間における自己回帰フローマッチングを行う生成予測器を提案する。 この潜伏情報の方がPCAベースの代替案よりも効果的であることを示す。 一致したアーキテクチャと計算により、本手法はすべてのモダリティにおける回帰よりもシャープで正確な予測を生成する。
  論文  参考訳（メタデータ） (2025-12-12T02:10:05Z)
• WMPO: World Model-based Policy Optimization for Vision-Language-Action Models [22.01666177489494]
  VLA(Vision-Language-Action)モデルは汎用ロボット操作の強力な可能性を示している。 WMPO(World-Model-based Policy Optimization)は、実環境と対話することなく、オンラインVLAのための原則的フレームワークである。
  論文  参考訳（メタデータ） (2025-11-12T17:54:09Z)
• DreamVLA: A Vision-Language-Action Model Dreamed with Comprehensive World Knowledge [56.3802428957899]
  本稿では,逆動力学モデリングを実現するために,包括的世界知識予測を統合した新しいVLAフレームワークであるDreamVLAを提案する。 DreamVLAは、動的領域誘導の世界知識予測を導入し、空間的および意味的な手がかりと統合し、アクション計画のためのコンパクトで包括的な表現を提供する。 実世界とシミュレーション環境での実験では、ドリームVLAが実際のロボットタスクで76.7%の成功率を達成したことが示されている。
  論文  参考訳（メタデータ） (2025-07-06T16:14:29Z)
• WorldPrediction: A Benchmark for High-level World Modeling and Long-horizon Procedural Planning [52.36434784963598]
  我々は、異なるAIモデルのワールドモデリングと手続き計画能力を評価するためのビデオベースのベンチマークであるWorldPredictionを紹介する。 現在のフロンティアモデルでは,WorldPrediction-WMでは57%,WorldPrediction-PPでは38%の精度しか達成できないが,人間は両タスクを完璧に解くことができる。
  論文  参考訳（メタデータ） (2025-06-04T18:22:40Z)
• RLVR-World: Training World Models with Reinforcement Learning [41.05792054442638]
  検証可能な報酬で強化学習を活用する統合フレームワークであるRLVR-Worldを提案する。 我々は,テキストゲーム,Webナビゲーション,ロボット操作など,ドメイン間の言語およびビデオベースの世界モデルにおいて,大幅なパフォーマンス向上を示す。
  論文  参考訳（メタデータ） (2025-05-20T05:02:53Z)
• Object-Centric World Model for Language-Guided Manipulation [4.008780119020479]
  エージェントが自律運転やロボット工学といった分野の将来と計画を予測するためには,世界モデルが不可欠である。 本稿では,言語命令で案内されたスロットアテンションを用いて,オブジェクト中心の表現空間を活用する世界モデルを提案する。 本モデルでは,オブジェクト中心の表現として現在の状態を認識し,この表現空間における将来の状態を自然言語命令で予測する。
  論文  参考訳（メタデータ） (2025-03-08T11:17:37Z)
• Learning Transformer-based World Models with Contrastive Predictive Coding [58.0159270859475]
  変換器の表現能力を十分に活用するには,次の状態予測目標が不十分であることを示す。 本稿では,行動条件のContrastive Predictive Codingを用いた世界モデルであるTWISTERを導入することで,世界モデル予測をより長い時間的地平線まで拡張することを提案する。 TWISTERは、Atari 100kベンチマークで162%の人間正規化平均スコアを達成し、ルックアヘッド検索を使用しない最先端のメソッドの中で、新しい記録を樹立した。
  論文  参考訳（メタデータ） (2025-03-06T13:18:37Z)
• ACT-JEPA: Novel Joint-Embedding Predictive Architecture for Efficient Policy Representation Learning [90.41852663775086]
  ACT-JEPAは模倣学習と自己教師型学習を統合する新しいアーキテクチャである。 我々はアクションシーケンスと抽象的な観察シーケンスを予測するポリシーを訓練する。 実験の結果,ACT-JEPAは時間環境の動的学習によって表現の質を向上させることがわかった。
  論文  参考訳（メタデータ） (2025-01-24T16:41:41Z)
• WHALE: Towards Generalizable and Scalable World Models for Embodied Decision-making [40.53824201182517]
  本稿では、一般化可能な世界モデルを学ぶためのフレームワークであるWHALEを紹介する。 Whale-STは、拡張一般化性を備えた時空間変圧器を用いたスケーラブルな世界モデルである。 また、Open X-Embodimentデータセットから970K軌道上でトレーニングされた414MパラメータワールドモデルであるWhale-Xを提案する。
  論文  参考訳（メタデータ） (2024-11-08T15:01:27Z)
• DOME: Taming Diffusion Model into High-Fidelity Controllable Occupancy World Model [14.996395953240699]
  DOMEは拡散に基づく世界モデルであり、過去の占有観察に基づいて将来の占有枠を予測する。 この世界のモデルが環境の進化を捉える能力は、自動運転の計画に不可欠である。
  論文  参考訳（メタデータ） (2024-10-14T12:24:32Z)
• Masked Generative Priors Improve World Models Sequence Modelling Capabilities [19.700020499490137]
  Masked Generative Modellingはより効率的で優れた帰納的バイアスとして登場した。 GIT-STORMは、Atari 100kベンチマークでRLタスクのパフォーマンスが大幅に向上したことを示している。 トランスフォーマーをベースとした世界モデルが初めて連続行動環境に適用し、先行研究における大きなギャップに対処する。
  論文  参考訳（メタデータ） (2024-10-10T11:52:07Z)
• VLPose: Bridging the Domain Gap in Pose Estimation with Language-Vision Tuning [53.35114015288077]
  我々は,効率的なチューニング戦略により,自然シナリオと人工シナリオのドメインギャップを埋める。 ポーズ推定モデルの一般化とロバスト性を拡張するために,VLPoseと呼ばれる新しいフレームワークを開発した。 我々はHumanArtとMSCOCOでそれぞれ2.26%と3.74%の改善を示した。
  論文  参考訳（メタデータ） (2024-02-22T11:21:54Z)
• Conditioned Human Trajectory Prediction using Iterative Attention Blocks [70.36888514074022]
  本研究では,都市環境における歩行者位置予測を目的とした,簡易かつ効果的な歩行者軌道予測モデルを提案する。 我々のモデルは、複数のアテンションブロックとトランスフォーマーを反復的に実行できるニューラルネットワークアーキテクチャである。 ソーシャルマスク, 動的モデル, ソーシャルプーリング層, 複雑なグラフのような構造を明示的に導入することなく, SoTAモデルと同等の結果が得られることを示す。
  論文  参考訳（メタデータ） (2022-06-29T07:49:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。