論文の概要: Structured 4D Latent Predictive Model for Robot Planning
- arxiv url: http://arxiv.org/abs/2607.01166v1
- Date: Wed, 01 Jul 2026 16:52:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-02 19:56:07.997702
- Title: Structured 4D Latent Predictive Model for Robot Planning
- Title（参考訳）: ロボット計画のための構造的4次元潜時予測モデル
- Abstract要約: 本研究では,観察とテキストによる指示を条件とした構造付き潜時空間におけるシーンの3次元構造の進化を予測する構造的4次元潜時予測モデルを提案する。
我々の表現は、シーンを一様にエンコードし、多様な3Dフォーマットにデコードすることで、より完全で一貫したシーン理解を可能にします。
実験により、我々のモデルは、最先端のビデオベースプランナと比較して、強力な視覚的品質、かなり優れた3次元整合性、マルチビューコヒーレンスを持つ未来を生成することが示された。
- 参考スコア（独自算出の注目度）: 47.15864337571781
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Video predictive models are emerging as a powerful paradigm in robotics, offering a promising path toward task generalization, long-horizon planning, and flexible decision-making. However, prevailing approaches often operate on 2D video sequences, inherently lacking the 3D geometric understanding necessary for precise spatial reasoning and physical consistency. We introduce a Structured 4D Latent Predictive Model, which predicts the evolution of a scene's 3D structure in a structured latent space conditioned on observations and textual instructions. Our representation encodes the scene holistically and can be decoded into diverse 3D formats, enabling a more complete and 3D consistent scene understanding. This structured 4D latent predictive model serves as a planner, generating future scenes that are translated into executable actions by a goal-conditioned inverse dynamics module. Experiments demonstrate that our model generates futures with strong visual quality, substantially better 3D consistency and multi-view coherence compared to state-of-the-art video-based planners. Consequently, our full planning pipeline achieves superior performance on complex manipulation tasks, exhibits robust generalization to novel visual conditions, and proves effective on real-world robotic platforms. Our website is available at https://structured-4d-model.github.io/.
- Abstract（参考訳）: ビデオ予測モデルはロボット工学の強力なパラダイムとして登場し、タスクの一般化、長期計画、柔軟な意思決定への道のりを提供する。
しかし、一般的なアプローチはしばしば2次元ビデオシーケンスで動作し、本質的には正確な空間的推論と物理的整合性に必要な3次元幾何学的理解が欠如している。
本研究では,観察とテキストによる指示を条件とした構造付き潜時空間におけるシーンの3次元構造の進化を予測する構造的4次元潜時予測モデルを提案する。
我々の表現は、シーンを一様にエンコードし、多様な3Dフォーマットにデコードすることで、より完全で一貫したシーン理解を可能にします。
この構造化された4D潜在予測モデルはプランナーとして機能し、ゴール条件の逆ダイナミクスモジュールによって実行可能アクションに変換される将来のシーンを生成する。
実験により、我々のモデルは、最先端のビデオベースプランナと比較して、強力な視覚的品質、かなり優れた3次元整合性、マルチビューコヒーレンスを持つ未来を生成することが示された。
その結果、我々は複雑な操作タスクにおいて優れた性能を達成し、新しい視覚条件への堅牢な一般化を示し、現実世界のロボットプラットフォームで有効であることを証明した。
私たちのWebサイトはhttps://structured-4d-model.github.io/.comで公開されている。
関連論文リスト
- WAM4D: Fast 4D World Action Model via Spatial Register Tokens [52.16661403052964]
WAM4Dは,軽量空間レジスタトークンを用いた高速4次元世界アクションモデルである。
WAM4Dは空間的整合性を向上し,効率的な推論を維持しつつ,競争力のある動作予測を実現する。
論文 参考訳（メタデータ） (2026-06-12T02:49:34Z) - Embody4D: A Generalist 4D World Model for Embodied AI [13.488596291534243]
Embody4Dは、エンボディされたシナリオのための専用ビデオからビデオの世界モデルである。
モノクロビデオから任意の新しいビューを再生することができる。
最先端のパフォーマンスを実現し、堅牢な世界モデルとして機能する。
論文 参考訳（メタデータ） (2026-05-03T09:39:44Z) - Towards Realistic and Consistent Orbital Video Generation via 3D Foundation Priors [61.34273238077091]
本稿では,物体の単一画像からオービタルビデオを生成する新しい手法を提案する。
本手法は,最先端の手法と比較して,視覚的品質,形状リアリズム,多視点整合性を実現している。
論文 参考訳（メタデータ） (2026-04-14T05:35:46Z) - StemVLA:An Open-Source Vision-Language-Action Model with Future 3D Spatial Geometry Knowledge and 4D Historical Representation [6.0744834626758495]
StemVLAは、未来の3D空間知識と歴史的4D表現の両方をアクション予測に明示的に組み込む新しいフレームワークである。
我々は,CALVIN ABC-D ベンチマーク [46] において,StemVLA はタスクの長期化と最先端性能を著しく向上し,XXX の平均シーケンス長を達成できることを示した。
論文 参考訳（メタデータ） (2026-02-27T06:43:37Z) - MVISTA-4D: View-Consistent 4D World Model with Test-Time Action Inference for Robotic Manipulation [27.70398018267795]
本研究は,幾何学的に一貫した任意のRGBD生成が可能な,新しい4次元世界モデルを提案する。
3つのデータセットの実験は、4Dシーン生成と下流操作の両方で強いパフォーマンスを示す。
論文 参考訳（メタデータ） (2026-02-10T15:19:17Z) - VerseCrafter: Dynamic Realistic Video World Model with 4D Geometric Control [83.92729346325163]
VerseCrafterは、4D対応のビデオワールドモデルであり、カメラとオブジェクトのダイナミクスの両方を明示的で一貫性のある制御を可能にする。
当社のアプローチは,静的な背景点雲を通じて世界状態をエンコードする,新しい4次元幾何制御表現を中心にしている。
これらの4D制御は、事前訓練されたビデオ拡散モデルのための条件付け信号にレンダリングされ、高忠実でビュー一貫性のあるビデオを生成することができる。
論文 参考訳（メタデータ） (2026-01-08T17:28:52Z) - Geometry-aware 4D Video Generation for Robot Manipulation [28.709339959536106]
そこで本研究では,映像の多視点3次元整合性を実現する4次元映像生成モデルを提案する。
この幾何学的監督により、モデルはシーンの共有3次元表現を学習することができ、新しい視点から将来の映像シーケンスを予測することができる。
既存のベースラインと比較して,本手法は複数のシミュレーションおよび実世界のロボットデータセットに対して,より視覚的に安定かつ空間的に整合した予測を生成する。
論文 参考訳（メタデータ） (2025-07-01T18:01:41Z) - Predicting 3D representations for Dynamic Scenes [29.630985082164383]
単眼ビデオストリームを用いた動的放射場予測のための新しいフレームワークを提案する。
動的シーンの3次元表現を明示的に生成することで,本手法はさらに一歩前進する。
私たちのアプローチは、幾何学と意味学習の能力を生み出します。
論文 参考訳（メタデータ） (2025-01-28T01:31:15Z) - 3D-VLA: A 3D Vision-Language-Action Generative World Model [68.0388311799959]
最近の視覚言語アクション(VLA)モデルは2D入力に依存しており、3D物理世界の広い領域との統合は欠如している。
本稿では,3次元知覚,推論,行動をシームレスにリンクする新しい基礎モデルのファウンデーションモデルを導入することにより,3D-VLAを提案する。
本実験により,3D-VLAは実環境における推論,マルチモーダル生成,計画能力を大幅に向上することが示された。
論文 参考訳（メタデータ） (2024-03-14T17:58:41Z) - 3D Neural Scene Representations for Visuomotor Control [78.79583457239836]
我々は2次元視覚観測から動的3次元シーンのモデルを純粋に学習する。
学習した表現空間上に構築された動的モデルにより,操作課題に対するビジュモータ制御が可能となる。
論文 参考訳（メタデータ） (2021-07-08T17:49:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。