論文の概要: Spacetime Gaussian Feature Splatting for Real-Time Dynamic View Synthesis
- arxiv url: http://arxiv.org/abs/2312.16812v2
- Date: Thu, 4 Apr 2024 22:31:18 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-08 18:35:30.380028
- Title: Spacetime Gaussian Feature Splatting for Real-Time Dynamic View Synthesis
- Title（参考訳）: リアルタイム動的ビュー合成のための時空ガウス特徴分割法
- Authors: Zhan Li, Zhang Chen, Zhong Li, Yi Xu,
- Abstract要約: 本研究では,新しい動的シーン表現として時空間ガウス特徴分割法を提案する。
本手法は,小型ストレージを維持しながら,最先端のレンダリング品質と高速化を実現する。
- 参考スコア（独自算出の注目度）: 28.455719771979876
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Novel view synthesis of dynamic scenes has been an intriguing yet challenging problem. Despite recent advancements, simultaneously achieving high-resolution photorealistic results, real-time rendering, and compact storage remains a formidable task. To address these challenges, we propose Spacetime Gaussian Feature Splatting as a novel dynamic scene representation, composed of three pivotal components. First, we formulate expressive Spacetime Gaussians by enhancing 3D Gaussians with temporal opacity and parametric motion/rotation. This enables Spacetime Gaussians to capture static, dynamic, as well as transient content within a scene. Second, we introduce splatted feature rendering, which replaces spherical harmonics with neural features. These features facilitate the modeling of view- and time-dependent appearance while maintaining small size. Third, we leverage the guidance of training error and coarse depth to sample new Gaussians in areas that are challenging to converge with existing pipelines. Experiments on several established real-world datasets demonstrate that our method achieves state-of-the-art rendering quality and speed, while retaining compact storage. At 8K resolution, our lite-version model can render at 60 FPS on an Nvidia RTX 4090 GPU. Our code is available at https://github.com/oppo-us-research/SpacetimeGaussians.
- Abstract（参考訳）: 動的シーンの新たなビュー合成は、興味深いが挑戦的な問題である。
近年の進歩にもかかわらず、高解像度のフォトリアリスティックな結果、リアルタイムレンダリング、コンパクトストレージを同時に達成することは、依然として大きな課題である。
これらの課題に対処するために,3つの主成分からなる新しい動的シーン表現として時空間ガウス特徴分割法を提案する。
まず,3次元ガウスを時間的不透明度とパラメトリック運動・回転で拡張することにより,表現力のある時空間ガウスを定式化する。
これにより、Spacetime Gaussianは静的でダイナミックなコンテンツだけでなく、シーン内の過渡的なコンテンツもキャプチャできる。
第二に、球面高調波をニューラルな特徴に置き換えるスプレイト特徴レンダリングを導入する。
これらの特徴は、小さなサイズを維持しながら、ビューと時間に依存した外観のモデリングを容易にする。
第3に、トレーニングエラーと粗い深さのガイダンスを活用して、既存のパイプラインに収束することが難しい領域で、新しいガウシアンをサンプリングします。
いくつかの実世界のデータセットを用いた実験により,本手法は,コンパクトなストレージを維持しつつ,最先端のレンダリング品質と速度を達成することを示す。
8K解像度では、Nvidia RTX 4090 GPU上で60FPSでレンダリングできます。
私たちのコードはhttps://github.com/oppo-us-research/SpacetimeGaussians.comで公開されています。
関連論文リスト
- 3D Convex Splatting: Radiance Field Rendering with 3D Smooth Convexes [87.01284850604495]
多視点画像から幾何学的に有意な放射場をモデル化するためのプリミティブとして3次元滑らかな凸を利用した3次元凸法(3DCS)を提案する。
3DCSは、MipNeizer, Tanks and Temples, Deep Blendingなどのベンチマークで、3DGSよりも優れたパフォーマンスを実現している。
本結果は,高品質なシーン再構築のための新しい標準となる3Dコンベクシングの可能性を強調した。
論文 参考訳（メタデータ） (2024-11-22T14:31:39Z) - Fully Explicit Dynamic Gaussian Splatting [22.889981393105554]
3D Gaussian Splattingは、高密度な3D事前表現と明示的な表現を活用することで、静的シーンにおける高速かつ高品質なレンダリング結果を示している。
本稿では,Ex4DGSの収束性を改善するためのプログレッシブトレーニング手法とポイントバックトラッキング手法を提案する。
2080TiのGPU上で62fpsの高速レンダリングを実現するため,様々な場面での総合的な実験を行った。
論文 参考訳（メタデータ） (2024-10-21T04:25:43Z) - Compact 3D Gaussian Splatting for Static and Dynamic Radiance Fields [13.729716867839509]
ハイパフォーマンスを維持しつつガウスの数を著しく削減する学習可能なマスク戦略を提案する。
さらに、格子型ニューラルネットワークを用いて、ビュー依存色をコンパクトかつ効果的に表現することを提案する。
我々の研究は、3Dシーン表現のための包括的なフレームワークを提供し、ハイパフォーマンス、高速トレーニング、コンパクト性、リアルタイムレンダリングを実現しています。
論文 参考訳（メタデータ） (2024-08-07T14:56:34Z) - Dynamic Gaussian Marbles for Novel View Synthesis of Casual Monocular Videos [58.22272760132996]
既存の4次元ガウス法は単分子配置が制約されていないため、この設定で劇的に失敗することを示す。
単分子配置の難易度を目標とした3つのコア修正からなる動的ガウス大理石を提案する。
Nvidia Dynamic ScenesデータセットとDyCheck iPhoneデータセットを評価し,Gaussian Marblesが他のGaussianベースラインを著しく上回っていることを示す。
論文 参考訳（メタデータ） (2024-06-26T19:37:07Z) - Superpoint Gaussian Splatting for Real-Time High-Fidelity Dynamic Scene Reconstruction [10.208558194785017]
我々はSuperpoint Gaussian Splatting(SP-GS)という新しいフレームワークを提案する。
我々のフレームワークはまずシーンを再構築し、同様の性質を持つガウスをスーパーポイントにクラスタ化する。
これらのスーパーポイントを利用して、3次元ガウススプラッティングを動的シーンに拡張し、計算コストをわずかに増加させる。
論文 参考訳（メタデータ） (2024-06-06T02:32:41Z) - Dynamic 3D Gaussian Fields for Urban Areas [60.64840836584623]
大規模でダイナミックな都市部における新規ビュー合成(NVS)のための効率的なニューラル3Dシーン表現法を提案する。
本研究では,大規模都市にスケールするニューラルネットワークシーン表現である4DGFを提案する。
論文 参考訳（メタデータ） (2024-06-05T12:07:39Z) - BAD-Gaussians: Bundle Adjusted Deblur Gaussian Splatting [8.380954205255104]
BAD-Gaussianは、不正確なカメラのポーズで、激しい動きをブラインドした画像を処理するための新しいアプローチである。
提案手法は,従来の最先端のデブルーニューラルレンダリング手法と比較して,優れたレンダリング品質を実現する。
論文 参考訳（メタデータ） (2024-03-18T14:43:04Z) - VastGaussian: Vast 3D Gaussians for Large Scene Reconstruction [59.40711222096875]
VastGaussianは3次元ガウススティングに基づく大規模シーンにおける高品質な再構成とリアルタイムレンダリングのための最初の方法である。
提案手法は既存のNeRF手法より優れており,複数の大規模シーンデータセットの最先端結果が得られる。
論文 参考訳（メタデータ） (2024-02-27T11:40:50Z) - 4D-Rotor Gaussian Splatting: Towards Efficient Novel View Synthesis for Dynamic Scenes [33.14021987166436]
異方性 4D XYZT Gaussian を用いた動的シーンの表現法である 4DRotorGS を紹介する。
4DRotorGSは空間的時間的表現として、複雑な力学と細部をモデル化する強力な能力を示している。
さらに、3090 GPUで最大277FPS、4090 GPUで最大583FPSのリアルタイムレンダリング速度を達成するために、時間スライシングとアクセラレーションのフレームワークを実装しています。
論文 参考訳（メタデータ） (2024-02-05T18:59:04Z) - 4D Gaussian Splatting for Real-Time Dynamic Scene Rendering [103.32717396287751]
本研究では,動的シーンの全体像として4D-GS(Gaussian Splatting)を提案する。
HexPlaneにインスパイアされたニューラルボクセル符号化アルゴリズムは、4Dニューラルボクセルの機能を効率的に構築するために提案されている。
我々の4D-GS法は、高解像度の82 FPSで、3090 GPUで800$times$800の解像度でリアルタイムレンダリングを実現する。
論文 参考訳（メタデータ） (2023-10-12T17:21:41Z) - Learning Dynamic View Synthesis With Few RGBD Cameras [60.36357774688289]
本稿では,RGBDカメラを用いて動的屋内シーンのフリー視点映像を合成することを提案する。
我々は、RGBDフレームから点雲を生成し、それをニューラル機能を介して、自由視点ビデオにレンダリングする。
そこで本研究では,未完成の深度を適応的に塗布して新規なビューを描画する,シンプルなRegional Depth-Inpaintingモジュールを提案する。
論文 参考訳（メタデータ） (2022-04-22T03:17:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。