論文の概要: Superpoint Gaussian Splatting for Real-Time High-Fidelity Dynamic Scene Reconstruction
- arxiv url: http://arxiv.org/abs/2406.03697v1
- Date: Thu, 6 Jun 2024 02:32:41 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-07 18:35:44.966670
- Title: Superpoint Gaussian Splatting for Real-Time High-Fidelity Dynamic Scene Reconstruction
- Title（参考訳）: リアルタイム高忠実度ダイナミックシーン再構成のための超点ガウス平滑化
- Authors: Diwen Wan, Ruijie Lu, Gang Zeng,
- Abstract要約: 我々はSuperpoint Gaussian Splatting(SP-GS)という新しいフレームワークを提案する。
我々のフレームワークはまずシーンを再構築し、同様の性質を持つガウスをスーパーポイントにクラスタ化する。
これらのスーパーポイントを利用して、3次元ガウススプラッティングを動的シーンに拡張し、計算コストをわずかに増加させる。
- 参考スコア（独自算出の注目度）: 10.208558194785017
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Rendering novel view images in dynamic scenes is a crucial yet challenging task. Current methods mainly utilize NeRF-based methods to represent the static scene and an additional time-variant MLP to model scene deformations, resulting in relatively low rendering quality as well as slow inference speed. To tackle these challenges, we propose a novel framework named Superpoint Gaussian Splatting (SP-GS). Specifically, our framework first employs explicit 3D Gaussians to reconstruct the scene and then clusters Gaussians with similar properties (e.g., rotation, translation, and location) into superpoints. Empowered by these superpoints, our method manages to extend 3D Gaussian splatting to dynamic scenes with only a slight increase in computational expense. Apart from achieving state-of-the-art visual quality and real-time rendering under high resolutions, the superpoint representation provides a stronger manipulation capability. Extensive experiments demonstrate the practicality and effectiveness of our approach on both synthetic and real-world datasets. Please see our project page at https://dnvtmf.github.io/SP_GS.github.io.
- Abstract（参考訳）: ダイナミックなシーンで新しいビューイメージをレンダリングするのは非常に難しい作業です。
現在の手法は主に、静的なシーンを表現するためにNeRFベースの手法と、シーンの変形をモデル化する追加の時間変化MLPを使用しており、レンダリング品質は比較的低く、推論速度も遅い。
これらの課題に対処するため,我々はSuperpoint Gaussian Splatting (SP-GS) という新しいフレームワークを提案する。
具体的には、まず明快な3Dガウスアンを用いてシーンを再構築し、同様の性質(例えば、回転、翻訳、位置)を持つガウスアンをスーパーポイントにクラスタ化する。
これらのスーパーポイントを利用して、3次元ガウススプラッティングを動的シーンに拡張し、計算コストをわずかに増加させる。
最先端のビジュアル品質と高解像度でのリアルタイムレンダリングの達成とは別に、スーパーポイント表現はより強力な操作機能を提供する。
大規模な実験は、我々のアプローチが合成データセットと実世界のデータセットの両方において実用性および有効性を示すものである。
プロジェクトページはhttps://dnvtmf.github.io/SP_GS.github.ioでご覧ください。
関連論文リスト
- Compact 3D Gaussian Splatting for Static and Dynamic Radiance Fields [13.729716867839509]
ハイパフォーマンスを維持しつつガウスの数を著しく削減する学習可能なマスク戦略を提案する。
さらに、格子型ニューラルネットワークを用いて、ビュー依存色をコンパクトかつ効果的に表現することを提案する。
我々の研究は、3Dシーン表現のための包括的なフレームワークを提供し、ハイパフォーマンス、高速トレーニング、コンパクト性、リアルタイムレンダリングを実現しています。
論文 参考訳（メタデータ） (2024-08-07T14:56:34Z) - GaussReg: Fast 3D Registration with Gaussian Splatting [10.049564362260055]
ポイントクラウドの登録は、大規模な3Dシーンのスキャンと再構築の基本的な問題である。
我々は,ポイントクラウド登録のための新しい粗粒度フレームワークであるGaussRegを提案する。
提案手法は,複数のデータセット上での最先端性能を実現する。
論文 参考訳（メタデータ） (2024-07-07T04:35:51Z) - Dynamic Gaussian Marbles for Novel View Synthesis of Casual Monocular Videos [58.22272760132996]
既存の4次元ガウス法は単分子配置が制約されていないため、この設定で劇的に失敗することを示す。
単分子配置の難易度を目標とした3つのコア修正からなる動的ガウス大理石を提案する。
Nvidia Dynamic ScenesデータセットとDyCheck iPhoneデータセットを評価し,Gaussian Marblesが他のGaussianベースラインを著しく上回っていることを示す。
論文 参考訳（メタデータ） (2024-06-26T19:37:07Z) - BAD-Gaussians: Bundle Adjusted Deblur Gaussian Splatting [8.380954205255104]
BAD-Gaussianは、不正確なカメラのポーズで、激しい動きをブラインドした画像を処理するための新しいアプローチである。
提案手法は,従来の最先端のデブルーニューラルレンダリング手法と比較して,優れたレンダリング品質を実現する。
論文 参考訳（メタデータ） (2024-03-18T14:43:04Z) - Bridging 3D Gaussian and Mesh for Freeview Video Rendering [57.21847030980905]
GauMeshはダイナミックシーンのモデリングとレンダリングのために3D GaussianとMeshをブリッジする。
提案手法は, 動的シーンの異なる部分を表現するために, プリミティブの適切なタイプに適応することを示す。
論文 参考訳（メタデータ） (2024-03-18T04:01:26Z) - VastGaussian: Vast 3D Gaussians for Large Scene Reconstruction [59.40711222096875]
VastGaussianは3次元ガウススティングに基づく大規模シーンにおける高品質な再構成とリアルタイムレンダリングのための最初の方法である。
提案手法は既存のNeRF手法より優れており,複数の大規模シーンデータセットの最先端結果が得られる。
論文 参考訳（メタデータ） (2024-02-27T11:40:50Z) - GaussianStyle: Gaussian Head Avatar via StyleGAN [64.85782838199427]
本稿では,3DGSのボリューム強度とStyleGANの強力な暗黙表現を統合する新しいフレームワークを提案する。
提案手法は, 再現性, 新規なビュー合成, アニメーションにおける最先端性能を実現する。
論文 参考訳（メタデータ） (2024-02-01T18:14:42Z) - Spacetime Gaussian Feature Splatting for Real-Time Dynamic View Synthesis [28.455719771979876]
本研究では,新しい動的シーン表現として時空間ガウス特徴分割法を提案する。
本手法は,小型ストレージを維持しながら,最先端のレンダリング品質と高速化を実現する。
論文 参考訳（メタデータ） (2023-12-28T04:14:55Z) - Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering [71.44349029439944]
最近の3次元ガウス散乱法は、最先端のレンダリング品質と速度を達成している。
局所的な3Dガウス分布にアンカーポイントを用いるScaffold-GSを導入する。
提案手法は,高品質なレンダリングを実現しつつ,冗長なガウスを効果的に削減できることを示す。
論文 参考訳（メタデータ） (2023-11-30T17:58:57Z) - 4D Gaussian Splatting for Real-Time Dynamic Scene Rendering [103.32717396287751]
本研究では,動的シーンの全体像として4D-GS(Gaussian Splatting)を提案する。
HexPlaneにインスパイアされたニューラルボクセル符号化アルゴリズムは、4Dニューラルボクセルの機能を効率的に構築するために提案されている。
我々の4D-GS法は、高解像度の82 FPSで、3090 GPUで800$times$800の解像度でリアルタイムレンダリングを実現する。
論文 参考訳（メタデータ） (2023-10-12T17:21:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。