論文の概要: RoGSW4RLD: Feed-Forward 4D Gaussian Lifting for Robot World Model Rollouts
- arxiv url: http://arxiv.org/abs/2609.35311v1
- Date: Mon, 28 Sep 2026 14:46:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-02 06:34:36.557858
- Title: RoGSW4RLD: Feed-Forward 4D Gaussian Lifting for Robot World Model Rollouts
- Title（参考訳）: RoGSW4RLD:ロボットワールドモデルロールアウトのためのフィードフォワード4Dガウスリフティング
- Abstract要約: アクション条件付きビデオワールドモデルは、複数のカメラからの未来のロボットインタラクションを予測するが、出力は相変わらずビデオコレクションである。
我々は,同期化されたマルチカメラロールアウトを,時間問合せ可能なメトリクス4Dガウスフィールドに統合するフレームワークであるRoGSW4RLDを紹介した。
RoGSW4RLDは、マージによるカメラのリコンストラクションを著しく上回り、ノベルビューPSNRを2.15dB改善し、深度AbsRelを47%減らし、ロボットの変位誤差を61%減らした。
- 参考スコア（独自算出の注目度）: 10.504126263672731
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Action-conditioned video world models predict future robot interactions from multiple cameras, yet their outputs remain disparate video collections rather than a shared metric scene queryable across viewpoints and time. While existing 4D reconstruction methods offer a path to spatialize these predictions, independently reconstructing and merging each camera stream fails to enforce cross-view consistency. This limitation is particularly detrimental when combining moving robot-mounted cameras with fixed external views. To address this, we introduce RoGSW4RLD, a feed-forward framework that lifts synchronized multi-camera rollouts into a unified, time-queryable metric 4D Gaussian field. Rather than learning a separate geometric transition model, RoGSW4RLD directly reconstructs the visual future generated by existing world models. Its core innovation is a two-stage architecture: Stage 1 jointly forms the metric 4D field by fusing cross-view evidence with robot-specific articulated geometry and kinematics, while Stage 2 refines the field's geometry and appearance while strictly preserving the initial temporal displacements. Evaluated on 256 held-out DROID episodes, RoGSW4RLD significantly outperforms camera-wise reconstruction with calibrated merging, improving novel-view PSNR by 2.15 dB, reducing depth AbsRel by 47%, and lowering robot displacement error by 61%. These robust gains extend to action-conditioned Cosmos 3 rollouts, demonstrating that predicted video futures can be successfully translated into consistent, spatially queryable 4D metric representations.
- Abstract（参考訳）: アクション条件付きビデオワールドモデルは、複数のカメラからの未来のロボットインタラクションを予測するが、そのアウトプットは、視点や時間にわたってクエリ可能な共有メトリックシーンではなく、ビデオコレクションが異なるままである。
既存の4D再構成手法はこれらの予測を空間化するための経路を提供するが、それぞれのカメラストリームを独立に再構成してマージすることは、ビュー間の一貫性を強制することができない。
この制限は、移動中のロボット搭載カメラと固定された外部ビューを組み合わせる際に特に有害である。
そこで本研究では,同期化マルチカメラのロールアウトを4Dガウス場の統一化を実現するためのフィードフォワードフレームワークであるRoGSW4RLDを紹介する。
RoGSW4RLDは、別の幾何学的遷移モデルを学ぶのではなく、既存の世界モデルによって生成された視覚的未来を直接再構築する。
ステージ1は、ロボット固有の明瞭な幾何学とキネマティックスと、クロスビューの証拠を融合させて、計量 4D フィールドを共同で形成し、ステージ2は、初期時間的変位を厳密に保存しながら、場の幾何学と外観を洗練する。
256エピソードのDROIDエピソードを評価すると、RoGSW4RLDは、キャリブレーションされたマージによるカメラのリコンストラクションを著しく上回り、ノベルビューPSNRを2.15dB改善し、深度AbsRelを47%減らし、ロボットの変位誤差を61%減らした。
これらの堅牢なゲインは、アクション条件付きCosmos 3ロールアウトにまで拡張され、予測されたビデオの未来が、一貫性のある空間的にクエリ可能な4Dメトリック表現にうまく変換できることが実証された。
関連論文リスト
- 4DAnyone: Create Anyone in 4D from a Casual Monocular Video [90.29631874006402]
モノクロビデオから4D人間を再構築するためのフレームワークである4DAnyoneを提示する。
4DAnyoneはリコンストラクショングレードのマルチビュー一貫性ビデオを生成し、それを4Dガウススプラッティング(4DGS)に持ち上げる
DNAレンダリングとDyMVHumansの実験では、4DAnyoneは、新しいビュービデオの品質と下流4DGSの再構築の両方において、従来の方法よりも優れていた。
論文 参考訳（メタデータ） (2026-08-20T17:59:53Z) - Beyond Pixels: From Video Priors to 4D Worlds [27.940355511092864]
4D生成はテキストや画像などの条件から動的3Dシーンを合成する。
既存の方法は、別々の4DモデルでRGBビデオを生成するか、特定のビデオジェネレータを適用して幾何学を直接予測するかのいずれかである。
我々は、直接潜伏4D生成を導入し、それを潜伏4Dとしてインスタンス化する。
論文 参考訳（メタデータ） (2026-08-11T10:02:41Z) - ReViV: Reconstructing the Viewer and the View in 4D from Monocular Egocentric Video [51.951128822418774]
ReViVは、総合的なエゴセントリックな4D再構成のためのフレームワークである。
Masked Generative Egocentric Transformerにより、ReViVは単一のフィードフォワードアーキテクチャ内で動作する。
論文 参考訳（メタデータ） (2026-07-20T10:22:53Z) - RynnWorld-4D: 4D Embodied World Models for Robotic Manipulation [43.55126782618712]
RynnWorld-4Dは,1枚のRGB-D画像から,将来のRGBフレーム,深度マップ,光フローを共同生成する生成モデルである。
実験により、RynnWorld-4Dは時間的・空間的に整合した4D予測を生成し、RynnWorld-4D-Policyは実世界の操作タスクで最先端のパフォーマンスを達成することが示された。
論文 参考訳（メタデータ） (2026-07-07T17:58:15Z) - WAM4D: Fast 4D World Action Model via Spatial Register Tokens [52.16661403052964]
WAM4Dは,軽量空間レジスタトークンを用いた高速4次元世界アクションモデルである。
WAM4Dは空間的整合性を向上し,効率的な推論を維持しつつ,競争力のある動作予測を実現する。
論文 参考訳（メタデータ） (2026-06-12T02:49:34Z) - GEM-4D: Geometry-Enhanced Video World Models for Robot Manipulation [72.52773248997929]
ビデオワールドモデルは、1つの命令から現実的な未来を生成できるが、時間とともに一貫したポイントレベルの動きを維持できないことが多い。
GEM-4Dは、トレーニング中にビデオ生成バックボーンに高密度な4D対応制御を注入する幾何学的地上ビデオワールドモデルである。
Inverse dynamicsモジュールは、対応性のあるビデオロールアウトを実行可能なロボットトラジェクトリに変換し、現実世界とシミュレーション操作の両方で直接デプロイできる。
論文 参考訳（メタデータ） (2026-05-20T21:36:44Z) - Tracking-Guided 4D Generation: Foundation-Tracker Motion Priors for 3D Model Animation [21.075786141331974]
スパース入力から動的4Dオブジェクトを生成するフレームワークであるemphTrack4DGenを提案する。
ステージ1では拡散発生器内の高密度な特徴レベル対応を強制する。
ステージ2では,ハイブリッドモーション符号化を用いて動的4D-GSを再構成する。
論文 参考訳（メタデータ） (2025-12-05T21:13:04Z) - Diff4Splat: Controllable 4D Scene Generation with Latent Dynamic Reconstruction Models [79.06910348413861]
Diff4Splatは、単一の画像から制御可能で明示的な4Dシーンを合成するフィードフォワード方式である。
単一の入力画像、カメラ軌跡、オプションのテキストプロンプトが与えられた場合、Diff4Splatは外見、幾何学、動きを符号化する変形可能な3Dガウス場を直接予測する。
論文 参考訳（メタデータ） (2025-11-01T11:16:25Z) - Dream4D: Lifting Camera-Controlled I2V towards Spatiotemporally Consistent 4D Generation [3.1852855132066673]
現在のアプローチは、複雑なシーンダイナミクスを処理しながら、ビューの一貫性を維持するのに苦労することが多い。
このフレームワークは、リッチな時間的先行ビデオ拡散モデルと、再構成モデルの幾何学的認識の両方を活用する最初のものである。
これは4D生成を著しく促進し、既存の方法よりも高い品質(mPSNR、mSSIMなど)を示す。
論文 参考訳（メタデータ） (2025-08-11T08:55:47Z) - Geometry-aware 4D Video Generation for Robot Manipulation [28.709339959536106]
そこで本研究では,映像の多視点3次元整合性を実現する4次元映像生成モデルを提案する。
この幾何学的監督により、モデルはシーンの共有3次元表現を学習することができ、新しい視点から将来の映像シーケンスを予測することができる。
既存のベースラインと比較して,本手法は複数のシミュレーションおよび実世界のロボットデータセットに対して,より視覚的に安定かつ空間的に整合した予測を生成する。
論文 参考訳（メタデータ） (2025-07-01T18:01:41Z) - 4Real-Video-V2: Fused View-Time Attention and Feedforward Reconstruction for 4D Scene Generation [66.20991603309054]
本稿では,映像フレームの4次元時間格子と3次元ガウス粒子の時間ステップ毎にフィードフォワードアーキテクチャを用いて計算可能な最初のフレームワークを提案する。
まず,2ストリーム設計において,空間的および時間的注意を連続的に,あるいは並列に行う4次元ビデオ拡散アーキテクチャを解析する。
第2部では、ガウスヘッド、カメラトークン置換アルゴリズム、追加の動的レイヤとトレーニングを導入し、既存の3D再構成アルゴリズムを拡張した。
論文 参考訳（メタデータ） (2025-06-18T23:44:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。