論文の概要: DeXplicit: Making Physical State Explicit in Dexterous Manipulation World Models
- arxiv url: http://arxiv.org/abs/2610.30781v1
- Date: Thu, 22 Oct 2026 06:02:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-24 02:08:44.230026
- Title: DeXplicit: Making Physical State Explicit in Dexterous Manipulation World Models
- Title(参考訳): DeXplicit: Dexterous Manipulation World Modelにおける物理状態明示化
- Abstract要約: DeXplicitは、視覚的な結果の前に、世界がメートル法3Dで明示的にどのように進化するかを予測する操作世界モデルである。
2段階因果生成による設計は、ビデオ合成における14Bの双方向構成から57倍の高速化を実現する。
- 参考スコア(独自算出の注目度): 39.00576017401513
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Before acting on an object, a robot needs to anticipate how its hand motion will change the physical world and what the resulting scene will look like. Existing approaches typically entangle action-conditioned dynamics, camera motion, and visual synthesis within a video generation model, or represent dynamics as point trajectories without explicit object structure. We introduce DeXplicit, a dexterous manipulation world model that instead predicts how the world evolves explicitly in metric 3D before rendering its visual consequences. Given an initial scene and a future hand trajectory, a lightweight 3D dynamics network predicts object-centric motion and deformation, providing structured and geometrically grounded future world states. These predictions then serve as a strong scaffold for video generation: appearance is transported through the predicted 3D motion and projected into future views, allowing the renderer to focus on completing uncertain and newly visible content rather than implicitly learning world dynamics from pixels. This explicit-3D-first decomposition also enables efficient causal generation, requiring only two denoising steps per block while conditioning on generated history. Across HOT3D, OakInk2, and PhysTwin, DeXplicit reduces moved-point error by 27-40% relative to PointWorld and improves object fidelity IoU+ by 47% on HOT3D under a shared renderer. Our design with two-step causal generation achieves a 57x speedup from our 14B bi-directional configuration in video synthesis.
- Abstract(参考訳): 物体に作用する前には、ロボットは手の動きが物理的な世界をどのように変化させ、その結果のシーンがどのようなものになるかを予測する必要がある。
既存のアプローチは、通常、アクション条件付きダイナミクス、カメラモーション、ビデオ生成モデル内の視覚合成を絡み合わせるか、明示的な対象構造を持たないポイントトラジェクトリとしてダイナミクスを表現している。
DeXplicitは、視覚効果をレンダリングする前に、世界がメートル法3Dで明示的にどのように進化するかを予測する、巧妙な操作世界モデルである。
初期シーンと将来のハンド・トラジェクトリが与えられた後、軽量な3Dダイナミックス・ネットワークは物体中心の運動と変形を予測し、構造的かつ幾何学的に基底付けられた未来の世界状態を提供する。
外観は予測された3Dモーションを通して転送され、将来のビューに投影されるので、レンダラーはピクセルから世界ダイナミクスを暗黙的に学習するのではなく、不確実で新しく見えるコンテンツを完成させることに集中することができる。
この明示的な3Dファースト分解は効率の良い因果生成を可能にし、生成した履歴を条件付けながらブロック毎に2ステップしか分解しない。
HOT3D、OakInk2、PhysTwin全体で、DeXplicitはPointWorldと比較して移動点誤差を27-40%削減し、共有レンダラーの下でHOT3D上でオブジェクトの忠実度IoU+を47%改善した。
2段階因果生成による設計は、ビデオ合成における14Bの双方向構成から57倍の高速化を実現する。
関連論文リスト
- 4DGS-WAM: Bridging Past and Future with an Object-Centric World Action Model based on 4D Gaussian Splatting [72.02343855552051]
現在の世界アクションモデル(WAM)は2次元の視覚データを扱うのが一般的である。
動的オブジェクトとシーンの静的背景を別々にモデル化した,明示的な4Dガウススティング(4DGS)表現を利用する。
4DGS-WAMは2次元観察を永続的な4次元表現に上げ、将来の予測で観測済みの静的コンテンツを再利用できるようにする。
論文 参考訳(メタデータ) (2026-08-26T16:16:57Z) - Future Dynamic 3D Reconstruction: A 3D World Model with Disentangled Ego-Motion [69.61280478695205]
本研究では,将来の動的3次元再構成のための3次元潜在表現を予測する世界モデルFR3Dを提案する。
実験では、FR3Dが将来的な動的3D再構成において、複数のデータセットにまたがるモノラルな観察から2秒後まで、強力なパフォーマンスを示す。
論文 参考訳(メタデータ) (2026-06-16T17:59:46Z) - StemVLA:An Open-Source Vision-Language-Action Model with Future 3D Spatial Geometry Knowledge and 4D Historical Representation [6.0744834626758495]
StemVLAは、未来の3D空間知識と歴史的4D表現の両方をアクション予測に明示的に組み込む新しいフレームワークである。
我々は,CALVIN ABC-D ベンチマーク [46] において,StemVLA はタスクの長期化と最先端性能を著しく向上し,XXX の平均シーケンス長を達成できることを示した。
論文 参考訳(メタデータ) (2026-02-27T06:43:37Z) - ObjectForesight: Predicting Future 3D Object Trajectories from Human Videos [48.24897274501108]
本研究では,3次元オブジェクト中心のダイナミックスモデルを導入し,短い自我中心の映像シーケンスから剛体物体の将来の6-DoFのポーズと軌跡を予測する。
ピクセルまたは潜在空間で動作する従来の世界やダイナミクスモデルとは異なり、ObjectForesightはオブジェクトレベルで3Dで明示的に世界を表現する。
我々は、ObjectForesightが、未確認のオブジェクトやシーンへの精度、幾何整合性、一般化において、大幅に向上することを示す。
論文 参考訳(メタデータ) (2026-01-08T18:58:08Z) - TC4D: Trajectory-Conditioned Text-to-4D Generation [94.90700997568158]
提案するTC4D: trajectory-conditioned text-to-4D 生成は,グローバルおよびローカルなコンポーネントへの移動を要因とする。
我々は,テキスト・ビデオ・モデルから,グローバルな軌跡に適合する局所的な変形を観察する。
提案手法は,任意の軌跡に沿ってアニメーションされたシーンの合成,構成シーンの生成,および生成した動きのリアリズムと量に対する大幅な改善を可能にする。
論文 参考訳(メタデータ) (2024-03-26T17:55:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。