論文の概要: S4D: Streaming 4D Real-World Reconstruction with Gaussians and 3D Control Points
- arxiv url: http://arxiv.org/abs/2408.13036v1
- Date: Fri, 23 Aug 2024 12:51:49 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-26 15:10:31.007634
- Title: S4D: Streaming 4D Real-World Reconstruction with Gaussians and 3D Control Points
- Title（参考訳）: S4D:ガウスと3次元制御点を用いた4次元実世界再構成
- Authors: Bing He, Yunuo Chen, Guo Lu, Li Song, Wenjun Zhang,
- Abstract要約: 離散的な3次元制御点を利用した新しい手法を提案する。
この方法は局所光を物理的にモデル化し、運動デカップリング座標系を確立する。
また,NVIDIA 4070 GPUの1フレームあたり2秒以内で達成可能な3Dコントロールポイントの最適化によって,トレーニングの大幅な高速化を実現しています。
- 参考スコア（独自算出の注目度）: 26.33380630753
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Recently, the dynamic scene reconstruction using Gaussians has garnered increased interest. Mainstream approaches typically employ a global deformation field to warp a 3D scene in the canonical space. However, the inherently low-frequency nature of implicit neural fields often leads to ineffective representations of complex motions. Moreover, their structural rigidity can hinder adaptation to scenes with varying resolutions and durations. To overcome these challenges, we introduce a novel approach utilizing discrete 3D control points. This method models local rays physically and establishes a motion-decoupling coordinate system, which effectively merges traditional graphics with learnable pipelines for a robust and efficient local 6-degrees-of-freedom (6-DoF) motion representation. Additionally, we have developed a generalized framework that incorporates our control points with Gaussians. Starting from an initial 3D reconstruction, our workflow decomposes the streaming 4D real-world reconstruction into four independent submodules: 3D segmentation, 3D control points generation, object-wise motion manipulation, and residual compensation. Our experiments demonstrate that this method outperforms existing state-of-the-art 4D Gaussian Splatting techniques on both the Neu3DV and CMU-Panoptic datasets. Our approach also significantly accelerates training, with the optimization of our 3D control points achievable within just 2 seconds per frame on a single NVIDIA 4070 GPU.
- Abstract（参考訳）: 近年,ガウシアンを用いた動的シーン再構築が注目度を高めている。
主流のアプローチは典型的には、大域的な変形場を用いて、標準空間の3Dシーンをワープする。
しかしながら、暗黙のニューラルネットワークの本質的に低周波な性質は、しばしば複素運動の非効率な表現につながる。
さらに、その構造的な剛性は、様々な解像度と持続時間を持つシーンへの適応を妨げる可能性がある。
これらの課題を克服するために、離散的な3次元制御ポイントを利用した新しいアプローチを導入する。
この方法は局所光線を物理的にモデル化し、従来のグラフィックスと学習可能なパイプラインを効果的に融合して、6自由度(6-DoF)運動表現を堅牢かつ効率的に行うモーションデカップリング座標系を確立する。
さらに、ガウスの制御点を組み込んだ一般化されたフレームワークを開発した。
最初の3次元再構成から始まり、我々のワークフローはストリーミング4次元実世界の再構築を4つの独立したサブモジュールに分解する。
提案手法は,Neu3DVおよびCMU-Panopticデータセットにおいて,既存の4Dガウス散乱技術より優れていることを示す。
また,NVIDIA 4070 GPUの1フレームあたり2秒以内で達成可能な3Dコントロールポイントの最適化によって,トレーニングの大幅な高速化を実現しています。
関連論文リスト
- Driv3R: Learning Dense 4D Reconstruction for Autonomous Driving [116.10577967146762]
マルチビュー画像シーケンスからフレーム単位のポイントマップを直接回帰するフレームワークであるDriv3Rを提案する。
我々は4次元フロー予測器を用いてシーン内の移動物体を識別し、これらの動的領域の再構築をより重視する。
Driv3Rは4D動的シーン再構築において従来のフレームワークより優れており、推論速度は15倍高速である。
論文 参考訳（メタデータ） (2024-12-09T18:58:03Z) - Deblur4DGS: 4D Gaussian Splatting from Blurry Monocular Video [64.38566659338751]
Deblur4DGSという,ぼやけたモノクロビデオから高品質な4Dモデルを再構成するための,最初の4Dガウス分割フレームワークを提案する。
本稿では,多面的,多面的整合性,多面的,多面的,多面的な整合性を実現するために露光規則化を導入し,斬新な視点以外では,デブレア4DGSは,デブロアリング,フレーム合成,ビデオ安定化など,多面的な視点からぼやけた映像を改善するために応用できる。
論文 参考訳（メタデータ） (2024-12-09T12:02:11Z) - 4D SlingBAG: spatial-temporal coupled Gaussian ball for large-scale dynamic 3D photoacoustic iterative reconstruction [20.286369270523245]
本研究では,ガウス球適応成長(4D SlingBAG)アルゴリズムという新しい手法を提案する。
本手法は点雲の各ガウス球面に時空間結合変形関数を適用し,動的3次元PAシーンの変形特性を明示的に学習する。
フレーム毎にSlingBAGアルゴリズムを個別に使用することにより再構成を行うのに比べ,計算時間を大幅に削減し,メモリ消費を極端に低減する。
論文 参考訳（メタデータ） (2024-12-05T06:15:26Z) - Dynamics-Aware Gaussian Splatting Streaming Towards Fast On-the-Fly Training for 4D Reconstruction [12.111389926333592]
現在の3DGSベースのストリーミング手法は、ガウス原始体を均一に扱い、密度化されたガウスを常に更新する。
そこで本研究では, 反復的流動性4次元動的空間再構成のための新しい3段階パイプラインを提案する。
提案手法は,オンライン4次元再構成における最先端性能を実現し,実時間トレーニング速度の20%向上,表現品質の向上,リアルタイムレンダリング能力の向上を実証する。
論文 参考訳（メタデータ） (2024-11-22T10:47:47Z) - Vidu4D: Single Generated Video to High-Fidelity 4D Reconstruction with Dynamic Gaussian Surfels [35.27805034331218]
単一生成ビデオから4D表現を正確に再構成する新しい再構成モデルVidu4Dを提案する。
Vidu4Dのコアとなるのは、提案した動的ガウスサーフェス(DGS)技術である。
論文 参考訳（メタデータ） (2024-05-27T04:43:44Z) - SC4D: Sparse-Controlled Video-to-4D Generation and Motion Transfer [57.506654943449796]
動作と外観を分離するSC4Dという,効率的でスパース制御されたビデオ・ツー・4Dフレームワークを提案する。
我々の手法は、品質と効率の両面で既存の手法を超越している。
動作を多種多様な4Dエンティティにシームレスに転送する新しいアプリケーションを考案する。
論文 参考訳（メタデータ） (2024-04-04T18:05:18Z) - 4DGen: Grounded 4D Content Generation with Spatial-temporal Consistency [118.15258850780417]
textbf4DGenは、4Dコンテンツ作成のための新しいフレームワークである。
我々のパイプラインは、制御可能な4D生成を容易にし、ユーザがモノクロビデオで動きを指定したり、画像から映像への世代を適用できる。
既存のビデオから4Dのベースラインと比較すると,入力信号の忠実な再構成には優れた結果が得られる。
論文 参考訳（メタデータ） (2023-12-28T18:53:39Z) - DreamGaussian4D: Generative 4D Gaussian Splatting [56.49043443452339]
DG4D(DreamGaussian 4D:DreamGaussian 4D)はGaussian Splatting(GS)をベースとした効率的な4D生成フレームワークである。
我々の重要な洞察は、空間変換の明示的なモデリングと静的GSを組み合わせることで、4次元生成の効率的かつ強力な表現ができるということである。
ビデオ生成手法は、高画質の4D生成を向上し、価値ある時空間前兆を提供する可能性がある。
論文 参考訳（メタデータ） (2023-12-28T17:16:44Z) - Gaussian-Flow: 4D Reconstruction with Dynamic 3D Gaussian Particle [9.082693946898733]
高速な動的シーン再構成と,マルチビューおよびモノクロビデオからのリアルタイムレンダリングのための新しいポイントベースアプローチを提案する。
学習速度の遅さとレンダリング速度によって妨げられるNeRFベースのアプローチとは対照的に,我々はポイントベース3Dガウススプラッティング(3DGS)の最近の進歩を活用している。
提案手法は,フレームごとの3DGSモデリングと比較して,5倍のトレーニング速度を実現し,大幅な効率向上を実現している。
論文 参考訳（メタデータ） (2023-12-06T11:25:52Z) - 4D Gaussian Splatting for Real-Time Dynamic Scene Rendering [103.32717396287751]
本研究では,動的シーンの全体像として4D-GS(Gaussian Splatting)を提案する。
HexPlaneにインスパイアされたニューラルボクセル符号化アルゴリズムは、4Dニューラルボクセルの機能を効率的に構築するために提案されている。
我々の4D-GS法は、高解像度の82 FPSで、3090 GPUで800$times$800の解像度でリアルタイムレンダリングを実現する。
論文 参考訳（メタデータ） (2023-10-12T17:21:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。