論文の概要: 4D Gaussian Splatting for Real-Time Dynamic Scene Rendering
- arxiv url: http://arxiv.org/abs/2310.08528v3
- Date: Mon, 15 Jul 2024 12:34:51 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-17 04:48:58.617500
- Title: 4D Gaussian Splatting for Real-Time Dynamic Scene Rendering
- Title（参考訳）: リアルタイムダイナミックシーンレンダリングのための4次元ガウススプレイティング
- Authors: Guanjun Wu, Taoran Yi, Jiemin Fang, Lingxi Xie, Xiaopeng Zhang, Wei Wei, Wenyu Liu, Qi Tian, Xinggang Wang,
- Abstract要約: 本研究では,動的シーンの全体像として4D-GS(Gaussian Splatting)を提案する。
HexPlaneにインスパイアされたニューラルボクセル符号化アルゴリズムは、4Dニューラルボクセルの機能を効率的に構築するために提案されている。
我々の4D-GS法は、高解像度の82 FPSで、3090 GPUで800$times$800の解像度でリアルタイムレンダリングを実現する。
- 参考スコア（独自算出の注目度）: 103.32717396287751
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Representing and rendering dynamic scenes has been an important but challenging task. Especially, to accurately model complex motions, high efficiency is usually hard to guarantee. To achieve real-time dynamic scene rendering while also enjoying high training and storage efficiency, we propose 4D Gaussian Splatting (4D-GS) as a holistic representation for dynamic scenes rather than applying 3D-GS for each individual frame. In 4D-GS, a novel explicit representation containing both 3D Gaussians and 4D neural voxels is proposed. A decomposed neural voxel encoding algorithm inspired by HexPlane is proposed to efficiently build Gaussian features from 4D neural voxels and then a lightweight MLP is applied to predict Gaussian deformations at novel timestamps. Our 4D-GS method achieves real-time rendering under high resolutions, 82 FPS at an 800$\times$800 resolution on an RTX 3090 GPU while maintaining comparable or better quality than previous state-of-the-art methods. More demos and code are available at https://guanjunwu.github.io/4dgs/.
- Abstract（参考訳）: ダイナミックシーンの表現とレンダリングは重要な作業だが、難しい作業だった。
特に、複雑な動きを正確にモデル化するには、高い効率性を保証するのは難しい。
リアルタイムな動的シーンレンダリングを実現するために,各フレームに3D-GSを適用するのではなく,動的シーンの全体像として4D-GS(4D-GS)を提案する。
4D-GSでは、3Dガウスと4Dニューラルボクセルの両方を含む新しい明示的表現が提案されている。
HexPlaneにインスパイアされた分解されたニューラルボクセル符号化アルゴリズムは、4次元ニューラルボクセルからガウス的特徴を効率的に構築するために提案され、新しいタイムスタンプでガウス的変形を予測するために軽量なMLPが適用される。
われわれの4D-GS法は,RTX 3090 GPUの800$\times$800の解像度で82 FPSの高解像度でリアルタイムレンダリングを実現する。
さらなるデモとコードはhttps://guanjunwu.github.io/4dgs/で公開されている。
関連論文リスト
- 4D Gaussian Splatting: Modeling Dynamic Scenes with Native 4D Primitives [116.2042238179433]
本稿では,動的シーンを非拘束な4次元ボリューム学習問題とみなす。
本研究では,4次元ガウス原始体の集合を対象とした動的シーンを明示的な幾何学的特徴と外観的特徴で表現する。
このアプローチは、下層のフォトリアリスティック時間体積を適合させることで、空間と時間の関連情報をキャプチャすることができる。
特に、我々の4DGSモデルは、複雑なダイナミックシーンのための、高解像度で斬新なビューのリアルタイムレンダリングをサポートする最初のソリューションです。
論文 参考訳（メタデータ） (2024-12-30T05:30:26Z) - Temporally Compressed 3D Gaussian Splatting for Dynamic Scenes [46.64784407920817]
時間圧縮3Dガウススティング(TC3DGS)は動的3Dガウス表現を圧縮する新しい技術である。
複数のデータセットにまたがる実験により、T3DGSは最大67$times$圧縮を実現し、視覚的品質の劣化を最小限に抑えることができた。
論文 参考訳（メタデータ） (2024-12-07T17:03:09Z) - Speedy-Splat: Fast 3D Gaussian Splatting with Sparse Pixels and Sparse Primitives [60.217580865237835]
3D Gaussian Splatting (3D-GS)は、3D Gaussian のパラメトリック点雲としてシーンをモデル化することで、新しいビューをリアルタイムにレンダリングすることのできる最近の3Dシーン再構築技術である。
3D-GSでは,レンダリング速度,モデルサイズ,トレーニング時間の大幅な改善を実現し,2つの重要な非効率性に対処する。
我々のSpeedy-Splatアプローチはこれらのテクニックを組み合わせることで、Mip-NeRF 360、Tamps & Temples、Deep Blendingのデータセットから、平均レンダリング速度を6.71ドル(約6万6000円)で加速します。
論文 参考訳（メタデータ） (2024-11-30T20:25:56Z) - Fully Explicit Dynamic Gaussian Splatting [22.889981393105554]
3D Gaussian Splattingは、高密度な3D事前表現と明示的な表現を活用することで、静的シーンにおける高速かつ高品質なレンダリング結果を示している。
本稿では,Ex4DGSの収束性を改善するためのプログレッシブトレーニング手法とポイントバックトラッキング手法を提案する。
2080TiのGPU上で62fpsの高速レンダリングを実現するため,様々な場面での総合的な実験を行った。
論文 参考訳（メタデータ） (2024-10-21T04:25:43Z) - MEGA: Memory-Efficient 4D Gaussian Splatting for Dynamic Scenes [49.36091070642661]
本稿では,4DGSのためのメモリ効率フレームワークを提案する。
TechnicolorとNeural 3D Videoのデータセットで約190$times$と125$times$のストレージ削減を実現している。
レンダリング速度とシーン表現の品質を維持し、フィールドに新しい標準を設定する。
論文 参考訳（メタデータ） (2024-10-17T14:47:08Z) - $\textit{S}^3$Gaussian: Self-Supervised Street Gaussians for Autonomous Driving [82.82048452755394]
光リアルなストリートシーンの3D再構成は、現実の自動運転シミュレータを開発する上で重要な技術である。
既存のストリート3DGS法の多くは、静的および動的要素を分解するために、トラックされた3D車両バウンディングボックスを必要とする。
動的および静的な要素を4次元整合性から分解する自己教師付きストリートガウス(textitS3$Gaussian)手法を提案する。
論文 参考訳（メタデータ） (2024-05-30T17:57:08Z) - 4D-Rotor Gaussian Splatting: Towards Efficient Novel View Synthesis for Dynamic Scenes [33.14021987166436]
異方性 4D XYZT Gaussian を用いた動的シーンの表現法である 4DRotorGS を紹介する。
4DRotorGSは空間的時間的表現として、複雑な力学と細部をモデル化する強力な能力を示している。
さらに、3090 GPUで最大277FPS、4090 GPUで最大583FPSのリアルタイムレンダリング速度を達成するために、時間スライシングとアクセラレーションのフレームワークを実装しています。
論文 参考訳（メタデータ） (2024-02-05T18:59:04Z) - DreamGaussian4D: Generative 4D Gaussian Splatting [56.49043443452339]
DG4D(DreamGaussian 4D:DreamGaussian 4D)はGaussian Splatting(GS)をベースとした効率的な4D生成フレームワークである。
我々の重要な洞察は、空間変換の明示的なモデリングと静的GSを組み合わせることで、4次元生成の効率的かつ強力な表現ができるということである。
ビデオ生成手法は、高画質の4D生成を向上し、価値ある時空間前兆を提供する可能性がある。
論文 参考訳（メタデータ） (2023-12-28T17:16:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。