論文の概要: Hybrid Particle-Voxel Dynamics for Multimodal 3D World Simulation
- arxiv url: http://arxiv.org/abs/2611.04492v1
- Date: Tue, 03 Nov 2026 08:20:53 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-04 17:22:06.800671
- Title: Hybrid Particle-Voxel Dynamics for Multimodal 3D World Simulation
- Title（参考訳）: マルチモーダル3次元世界シミュレーションのためのハイブリッド粒子・ボクセルダイナミクス
- Abstract要約: 本稿では,アクション条件付きマルチモーダル世界モデリングフレームワークである3D World Simulatorを紹介する。
我々のアプローチは、点雲をコンパクトな3Dボクセルラテントに圧縮するハイブリッド粒子・ボクセルオートエンコーダを組み合わせる。
本モデルは,触覚および多視点視覚観測を用いたポリシートレーニングと評価のために,スケーラブルなデータ生成を実現する方法を示す。
- 参考スコア（独自算出の注目度）: 21.79772516428592
- License:
- Abstract: Predicting how the world evolves in response to robot actions is central to policy learning, evaluation, and planning. However, many action-conditioned world models predict future observations in 2D image or video space without explicitly modeling the underlying 3D scene, making spatial consistency across viewpoints and over long-horizon interactions challenging. We introduce 3D World Simulator, an action-conditioned multimodal world modeling framework that jointly predicts appearance, geometry, and tactile observations from a unified 3D representation. Our approach combines a hybrid particle-voxel autoencoder that compresses point clouds into compact 3D voxel latents with an action-conditioned latent dynamics model that predicts their evolution. The shared 3D representation supports geometrically consistent rendering from arbitrary viewpoints and flexible integration of spatially aligned tactile signals. Our experiments demonstrate interactive, long-horizon, multimodal prediction at 50 Hz. We then show how our model enables scalable data generation for policy training and evaluation using tactile and multi-view visual observations, including wrist-mounted and novel camera views. Furthermore, we scale our method to large datasets containing diverse objects and demonstrate model-based planning with unseen objects and robot configurations. Together, these results highlight the potential of hybrid particle-voxel dynamics as a foundation for multimodal 3D world simulation.
- Abstract（参考訳）: ロボットの行動に反応して世界がどのように進化するかを予測することは、政策学習、評価、計画の中心である。
しかし、アクション条件付き世界モデルの多くは、基礎となる3次元シーンを明示的にモデル化することなく、2次元画像やビデオ空間における将来の観測を予測し、視点や長期の相互作用を困難にしている。
動作条件付きマルチモーダル世界モデリングフレームワークである3D World Simulatorを導入する。
提案手法は, 点雲をコンパクトな3次元ボクセル潜在子に圧縮するハイブリッド粒子・ボクセルオートエンコーダと, その進化を予測する動作条件付き潜在子力学モデルを組み合わせる。
共有された3D表現は、任意の視点から幾何学的に一貫したレンダリングをサポートし、空間的に整列した触覚信号の柔軟な統合をサポートする。
実験では,50Hzでの対話的,長期的,マルチモーダルな予測実験を行った。
次に、我々のモデルが、手首に装着したカメラビューや新しいカメラビューを含む、触覚と多視点の視覚的観察を用いて、ポリシートレーニングと評価のためのスケーラブルなデータ生成を実現する方法を示す。
さらに,本手法を多種多様なオブジェクトを含む大規模データセットに拡張し,未知のオブジェクトとロボット構成を用いたモデルベースプランニングを実演する。
これらの結果は、マルチモーダルな3次元世界シミュレーションの基礎として、ハイブリッド粒子-ボクセル力学の可能性を強調している。
関連論文リスト
- World Motion Models: Flexible Sequence Modeling of SE(3) Trajectories [82.08884552902076]
WMM(World Motion Models)を提案する。
この表現は、明瞭な物体、人体、手動物体の相互作用、断片的に巧妙なシーンダイナミクス、カメラモーション、さらにはロボットの状態とアクションを単一の共有空間に統一する。
論文 参考訳（メタデータ） (2026-10-01T14:13:24Z) - Puffin-World: Scaling a Unified Multimodal Model with Native 3D World States [106.40454498751295]
Puffin-Worldは、外部のオフラインモジュールに頼ることなく、物理的理解、空間シミュレーション、および3Dワールドジェネレーションと再構築を統合している。
我々のフレームワークは、物理(重力場と緯度)、幾何学(深度)、外見(画像)の3つのネイティブ世界状態を共同でモデル化する。
Puffin-Worldは、現実世界で絶対的なカメラ特性を基盤として、物理的に一貫性があり、視覚的に安定した世界生成を可能にする。
論文 参考訳（メタデータ） (2026-09-03T17:59:13Z) - HarmoHOI: Harmonizing Appearance and 3D Motion for Multi-view Hand-Object Interaction Synthesis [45.70773023679708]
HarmoHOIは、同期マルチビューHOIビデオとグローバルな3Dポイントトラックを生成する統合拡散フレームワークである。
実験結果から,HarmoHOIは視覚的品質,運動可視性,多視点幾何整合性において,最先端の性能を達成できることが示唆された。
論文 参考訳（メタデータ） (2026-07-19T06:41:53Z) - Deform360: A Massive Multi-view Visuotactile Dataset for Deformable World Models [36.26785019314161]
Deform360は、198個の日常生活オブジェクト、1,980個の相互作用シーケンス、41個のサラウンドビューカメラとバイマンの触覚からの215時間以上の観測を特徴とする大規模なビゾタクティルデータセットである。
2次元映像モデルと3次元粒子モデルを比較し,現状の世界のモデルを評価する。
論文 参考訳（メタデータ） (2026-07-06T17:59:18Z) - Embody4D: A Generalist 4D World Model for Embodied AI [13.488596291534243]
Embody4Dは、エンボディされたシナリオのための専用ビデオからビデオの世界モデルである。
モノクロビデオから任意の新しいビューを再生することができる。
最先端のパフォーマンスを実現し、堅牢な世界モデルとして機能する。
論文 参考訳（メタデータ） (2026-05-03T09:39:44Z) - Beyond Pixel Histories: World Models with Persistent 3D State [50.4601060508243]
PERSISTは、潜伏した3Dシーンの進化をシミュレートする世界モデルの新たなパラダイムである。
既存の手法に比べて空間記憶,3次元整合性,長期安定性が大幅に向上した。
論文 参考訳（メタデータ） (2026-03-03T19:58:31Z) - DynamicVerse: A Physically-Aware Multimodal Framework for 4D World Modeling [67.95038177144554]
物理スケールでマルチモーダルな4DワールドモデリングフレームワークであるDynamicVerseを紹介した。
我々は視覚、幾何学、マルチモーダルモデルを用いて、メートルスケールの静的幾何、実世界の動的運動、インスタンスレベルのマスク、そして全体論的キャプションを解釈する。
DynamicVerseは、100K以上のビデオと800K以上の注釈付きマスク、インターネットビデオから10M以上のフレームからなる大規模なデータセットを提供する。
論文 参考訳（メタデータ） (2025-12-02T18:24:27Z) - Geometry-aware 4D Video Generation for Robot Manipulation [28.709339959536106]
そこで本研究では,映像の多視点3次元整合性を実現する4次元映像生成モデルを提案する。
この幾何学的監督により、モデルはシーンの共有3次元表現を学習することができ、新しい視点から将来の映像シーケンスを予測することができる。
既存のベースラインと比較して,本手法は複数のシミュレーションおよび実世界のロボットデータセットに対して,より視覚的に安定かつ空間的に整合した予測を生成する。
論文 参考訳（メタデータ） (2025-07-01T18:01:41Z) - Learning 3D Persistent Embodied World Models [84.40585374179037]
我々は、以前に生成されたコンテンツの明示的なメモリを備えた、新しい永続的エンボディド・ワールドモデルを導入する。
映像拡散モデルでは, 映像拡散モデルにより, エージェントの今後の観察のRGB-D映像が予測される。
この生成は、環境の永続的な3Dマップに集約される。
論文 参考訳（メタデータ） (2025-05-05T17:59:17Z) - 3D-VLA: A 3D Vision-Language-Action Generative World Model [68.0388311799959]
最近の視覚言語アクション(VLA)モデルは2D入力に依存しており、3D物理世界の広い領域との統合は欠如している。
本稿では,3次元知覚,推論,行動をシームレスにリンクする新しい基礎モデルのファウンデーションモデルを導入することにより,3D-VLAを提案する。
本実験により,3D-VLAは実環境における推論,マルチモーダル生成,計画能力を大幅に向上することが示された。
論文 参考訳（メタデータ） (2024-03-14T17:58:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。