論文の概要: Drive2Gauss: FeedForward 4D Gaussian Reconstruction from Multimodal Generative Driving Videos
- arxiv url: http://arxiv.org/abs/2610.26585v1
- Date: Mon, 19 Oct 2026 15:34:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-23 02:30:41.936191
- Title: Drive2Gauss: FeedForward 4D Gaussian Reconstruction from Multimodal Generative Driving Videos
- Title（参考訳）: Drive2Gauss: マルチモーダル生成駆動ビデオからのフィードフォワード4Dガウス再構成
- Abstract要約: Drive2Gaussは、共同生成したRGB、メートル法深度、ダイナミックフローを動的4Dガウスシーンに変換するフィードフォワードフレームワークである。
マルチモーダルビデオジェネレータは、参照マルチビュー画像と将来の制御信号から3つのモードを予測する。
提案手法は、将来のRGB生成のためのFID6.38とFVD12.43、生成した観測を再構成する際のPSNR29.91dBを実現し、横方向カメラシフト下での直接レンダリングと下流ビデオ修正の両方をサポートする。
- 参考スコア（独自算出の注目度）: 23.6107212373539
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Generating reusable driving environments requires both controllable future observations and an explicit representation that supports rendering from different viewpoints, yet existing methods still recover explicit scenes from generated RGB videos through optimization for each sequence. To overcome these limitations, we present Drive2Gauss, a feedforward framework that converts jointly generated RGB, metric depth, and dynamic flow into dynamic 4D Gaussian scenes. A Multimodal Video Generator predicts the three modalities from reference multiview images and future control signals. Furthermore, we introduce a Gaussian Query Decoder that uses depth to initialize sparse 3D queries and flow to associate the queries across time, and integrates appearance information through spatiotemporal feature aggregation and iterative query refinement. The reconstruction stage operates in a single feedforward pass without optimization for each scene. Extensive results on nuScenes demonstrate that our approach attains an FID of 6.38 and an FVD of 12.43 for future RGB generation, a PSNR of 29.91 dB when reconstructing its generated observations, and supports both direct rendering under lateral camera shifts and downstream video fixing. Code and more visualizations are available at https://zttt04. github.io/Drive2Gauss_page/.
- Abstract（参考訳）: 再利用可能な運転環境を生成するには、制御可能な将来の観測と、異なる視点からのレンダリングをサポートする明示的な表現の両方が必要であるが、既存の方法は、各シーケンスの最適化を通じて生成されたRGBビデオから明示的なシーンを復元する。
これらの制限を克服するために,共同生成したRGB,メートル法深度,ダイナミックフローを動的4Dガウスシーンに変換するフィードフォワードフレームワークDrive2Gaussを提案する。
マルチモーダルビデオジェネレータは、参照マルチビュー画像と将来の制御信号から3つのモードを予測する。
さらに,深度を用いてスパース3Dクエリとフローを初期化し,時間とともにクエリを関連づけるガウスクエリデコーダを導入し,時空間的特徴集約と反復クエリリファインメントを通じて外観情報を統合する。
再構成ステージは、シーン毎に最適化することなく、単一のフィードフォワードパスで動作する。
nuScenes での広範囲な結果から、我々のアプローチは将来の RGB 生成において FID 6.38 と FVD 12.43 、PSNR 29.91 dB を達成でき、横方向カメラシフト下での直接レンダリングと下流ビデオ修正の両方をサポートすることが示されている。
コードとさらなる視覚化はhttps://zttt04.com/で公開されている。
github.io/Drive2Gauss_page/。
関連論文リスト
- LonGaussian: Tracking Foundation Priors for Long-Context Feedforward Gaussian Reconstruction [43.96099438409394]
LonGaussianは、コンパクトでグローバルにレンダリング可能なガウスシーンを長い画像シーケンスから再構築するストリーミングフィードフォワードフレームワークである。
トレーニング済みのストリーミング3D再構築バックボーン上に構築されたLonGaussianは、長文の幾何学的特徴を密度の高いガウスにデコードする。
DL3DVとRealEstate10Kベンチマークでは、LonGaussianはガウシアンをはるかに少なく使用しながら、新しいビューのレンダリング品質を改善している。
論文 参考訳（メタデータ） (2026-10-16T10:24:17Z) - Feed-Forward Multi-View Feature Coding for 3D Gaussian Splatting [1.193044160835091]
シーンコーディングのためのエンドツーエンドフィードフォワードフレームワークを提案する。
明示的な表現を圧縮する代わりに、MFGSは入力画像からマルチビューの特徴を抽出し、それらをコンパクトなビットストリームにエンコードする。
論文 参考訳（メタデータ） (2026-10-14T17:58:28Z) - 4LC: 4D Latent Cache for Efficient Conditioning in Dynamic World Modeling [56.105234990765844]
合成視覚表現とフレキシブルアクセスインタフェースを備えた4D潜在キャッシュである4LCを導入する。
4LC上に構築した4LC-Videoは,映像のソース観察,時間的要求,カメラ制御,時間的制御,ノベルビュー合成,シーンリビジット,長期的生成などの歴史的再利用を通じて,複数のタスクに対処する。
論文 参考訳（メタデータ） (2026-10-13T02:47:58Z) - DriveGen3D: Boosting Feed-Forward Driving Scene Generation with Efficient Video Diffusion [62.589889759543446]
DriveGen3Dは、高品質で制御可能な動的3D駆動シーンを生成するための新しいフレームワークである。
本研究は,映像の高速化と大規模動的シーン再構築を融合させることにより,この手法のギャップを埋めるものである。
論文 参考訳（メタデータ） (2025-10-17T03:00:08Z) - D-FCGS: Feedforward Compression of Dynamic Gaussian Splatting for Free-Viewpoint Videos [12.24209693552492]
自由視点ビデオ(FVV)は没入型3D体験を可能にするが、動的3D表現の効率的な圧縮は依然として大きな課題である。
本稿では,時間的に相関したガウス点雲列を圧縮する新しいフィードフォワードフレームワークである動的ガウス散乱(D-FCGS)のフィードフォワード圧縮を提案する。
実験の結果,最適化手法の速度歪み特性と一致し,40倍以上の圧縮を2秒以内で達成した。
論文 参考訳（メタデータ） (2025-07-08T10:39:32Z) - DualDiff+: Dual-Branch Diffusion for High-Fidelity Video Generation with Reward Guidance [5.113012982922924]
本稿では,複数のビューやビデオシーケンスをまたいだ運転シーン生成を支援する条件拡散モデルであるDualDiffを提案する。
微粒な前景オブジェクトの合成を改善するために,FGM (Foreground-Aware Mask) denoising loss関数を提案する。
また,関連する情報を動的に優先順位付けし,ノイズを抑えるために,意味融合注意(Semantic Fusion Attention,SFA)機構を開発した。
論文 参考訳（メタデータ） (2025-03-05T17:31:45Z) - Representing Long Volumetric Video with Temporal Gaussian Hierarchy [80.51373034419379]
本稿では,多視点RGBビデオから長いボリューム映像を再構成することの課題を解決することを目的とする。
本稿では,テンポラルガウス階層(Temporal Gaussian Hierarchy)と呼ばれる新しい4次元表現を提案する。
この研究は、最先端のレンダリング品質を維持しながら、ボリュームビデオデータの分を効率的に処理できる最初のアプローチである。
論文 参考訳（メタデータ） (2024-12-12T18:59:34Z) - Driv3R: Learning Dense 4D Reconstruction for Autonomous Driving [116.10577967146762]
マルチビュー画像シーケンスからフレーム単位のポイントマップを直接回帰するフレームワークであるDriv3Rを提案する。
我々は4次元フロー予測器を用いてシーン内の移動物体を識別し、これらの動的領域の再構築をより重視する。
Driv3Rは4D動的シーン再構築において従来のフレームワークより優れており、推論速度は15倍高速である。
論文 参考訳（メタデータ） (2024-12-09T18:58:03Z) - GPS-Gaussian+: Generalizable Pixel-wise 3D Gaussian Splatting for Real-Time Human-Scene Rendering from Sparse Views [67.34073368933814]
スパースビューカメラ設定下での高解像度画像レンダリングのための一般化可能なガウススプラッティング手法を提案する。
我々は,人間のみのデータや人景データに基づいてガウスパラメータ回帰モジュールをトレーニングし,深度推定モジュールと共同で2次元パラメータマップを3次元空間に引き上げる。
いくつかのデータセットに対する実験により、我々の手法はレンダリング速度を超越しながら最先端の手法より優れていることが示された。
論文 参考訳（メタデータ） (2024-11-18T08:18:44Z) - DrivingGaussian: Composite Gaussian Splatting for Surrounding Dynamic Autonomous Driving Scenes [57.12439406121721]
我々は動的自律走行シーンを囲む効率的かつ効果的なフレームワークであるDrivingGaussianを提案する。
動くオブジェクトを持つ複雑なシーンでは、まずシーン全体の静的な背景を逐次、段階的にモデル化します。
次に、複合動的ガウスグラフを利用して、複数の移動物体を処理する。
我々はさらに、ガウススプラッティングに先立ってLiDARを使用して、より詳細でシーンを再構築し、パノラマ一貫性を維持する。
論文 参考訳（メタデータ） (2023-12-13T06:30:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。