論文の概要: Gaussian-Flow: 4D Reconstruction with Dynamic 3D Gaussian Particle
- arxiv url: http://arxiv.org/abs/2312.03431v1
- Date: Wed, 6 Dec 2023 11:25:52 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-07 15:09:05.239045
- Title: Gaussian-Flow: 4D Reconstruction with Dynamic 3D Gaussian Particle
- Title(参考訳): ガウス流:動的3次元ガウス粒子による4次元再構成
- Authors: Youtian Lin, Zuozhuo Dai, Siyu Zhu, Yao Yao
- Abstract要約: 高速な動的シーン再構成と,マルチビューおよびモノクロビデオからのリアルタイムレンダリングのための新しいポイントベースアプローチを提案する。
学習速度の遅さとレンダリング速度によって妨げられるNeRFベースのアプローチとは対照的に,我々はポイントベース3Dガウススプラッティング(3DGS)の最近の進歩を活用している。
提案手法は,フレームごとの3DGSモデリングと比較して,5倍のトレーニング速度を実現し,大幅な効率向上を実現している。
- 参考スコア(独自算出の注目度): 9.082693946898733
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce Gaussian-Flow, a novel point-based approach for fast dynamic
scene reconstruction and real-time rendering from both multi-view and monocular
videos. In contrast to the prevalent NeRF-based approaches hampered by slow
training and rendering speeds, our approach harnesses recent advancements in
point-based 3D Gaussian Splatting (3DGS). Specifically, a novel Dual-Domain
Deformation Model (DDDM) is proposed to explicitly model attribute deformations
of each Gaussian point, where the time-dependent residual of each attribute is
captured by a polynomial fitting in the time domain, and a Fourier series
fitting in the frequency domain. The proposed DDDM is capable of modeling
complex scene deformations across long video footage, eliminating the need for
training separate 3DGS for each frame or introducing an additional implicit
neural field to model 3D dynamics. Moreover, the explicit deformation modeling
for discretized Gaussian points ensures ultra-fast training and rendering of a
4D scene, which is comparable to the original 3DGS designed for static 3D
reconstruction. Our proposed approach showcases a substantial efficiency
improvement, achieving a $5\times$ faster training speed compared to the
per-frame 3DGS modeling. In addition, quantitative results demonstrate that the
proposed Gaussian-Flow significantly outperforms previous leading methods in
novel view rendering quality. Project page:
https://nju-3dv.github.io/projects/Gaussian-Flow
- Abstract(参考訳): 高速な動的シーン再構成とマルチビューおよびモノクロビデオからのリアルタイムレンダリングのための新しいポイントベースアプローチであるGaussian-Flowを紹介する。
学習速度やレンダリング速度の遅いNeRFベースのアプローチとは対照的に,我々はポイントベース3Dガウススプラッティング(3DGS)の最近の進歩を活用している。
具体的には、時間領域における多項式フィッティングと周波数領域におけるフーリエ級数により各属性の時間依存残差がキャプチャされるガウス点の属性変形を明示的にモデル化するために、新しい二重領域変形モデル(dddm)を提案する。
提案したDDDMは、長いビデオ映像にまたがる複雑なシーンの変形をモデル化することができ、フレーム毎に別々の3DGSをトレーニングしたり、3Dダイナミクスをモデル化するための追加の暗黙のニューラルネットワークを導入する必要がなくなる。
さらに、離散ガウス点に対する明示的な変形モデリングは、静的な3d再構成のために設計されたオリジナルの3dgsに匹敵する4dシーンの超高速トレーニングとレンダリングを保証する。
提案手法は,フレーム毎の3dgsモデリングと比較して,5\times$のトレーニング速度を実現している。
さらに定量的な結果から,提案したガウス流は,新しいビューレンダリング品質において従来の先行手法よりも大幅に優れていた。
プロジェクトページ: https://nju-3dv.github.io/projects/gaussian-flow
関連論文リスト
- Relaxing Accurate Initialization Constraint for 3D Gaussian Splatting [29.58220473268378]
3次元ガウス切削における正確な初期化制約の緩和)と呼ばれる新しい最適化手法を提案する。
複数のデータセットに対する定量的および定性的な比較による戦略の有効性を示し、全ての設定における性能を大幅に改善した。
論文 参考訳(メタデータ) (2024-03-14T14:04:21Z) - Spec-Gaussian: Anisotropic View-Dependent Appearance for 3D Gaussian
Splatting [57.80942520483354]
3D-GSはしばしば、特異成分と異方性成分を正確にモデル化するのに困難に直面する。
球面調和の代わりに異方性球面ガウス場を利用するアプローチであるSpec-Gaussianを導入する。
実験結果から,本手法はレンダリング品質の面で既存の手法を超越していることが示された。
論文 参考訳(メタデータ) (2024-02-24T17:22:15Z) - GaussianPro: 3D Gaussian Splatting with Progressive Propagation [49.918797726059545]
3DGSはStructure-from-Motion (SfM)技術によって生成されるポイントクラウドに大きく依存している。
本稿では, 3次元ガウスの密度化を導くために, プログレッシブ・プログレッシブ・プログレッシブ・ストラテジーを適用した新しい手法を提案する。
提案手法はデータセット上の3DGSを大幅に上回り,PSNRでは1.15dBの改善が見られた。
論文 参考訳(メタデータ) (2024-02-22T16:00:20Z) - GaMeS: Mesh-Based Adapting and Modification of Gaussian Splatting [11.791944275269266]
メッシュと同じようにガウス成分を修正可能なガウスメッシュスプラッティング(GaMeS)モデルを導入する。
また、メッシュ上の位置のみに基づいてガウススプレートを定義し、アニメーション中の位置、スケール、回転を自動的に調整する。
論文 参考訳(メタデータ) (2024-02-02T14:50:23Z) - GauFRe: Gaussian Deformation Fields for Real-time Dynamic Novel View
Synthesis [17.572987038801475]
変形可能な3次元ガウスを用いた動的シーン再構成手法を提案する。
差別化可能なパイプラインは、セルフ教師付きレンダリングでエンドツーエンドに最適化されている。
我々の手法は、最先端のニューラルラジアンス場法に匹敵する。
論文 参考訳(メタデータ) (2023-12-18T18:59:03Z) - Triplane Meets Gaussian Splatting: Fast and Generalizable Single-View 3D
Reconstruction with Transformers [37.14235383028582]
本稿では,フィードフォワード推論を用いて,単一画像から3次元モデルを効率よく生成する,一視点再構成のための新しい手法を提案する。
提案手法では,2つのトランスフォーマーネットワーク,すなわちポイントデコーダとトリプレーンデコーダを用いて,ハイブリッドトリプレーン・ガウス中間表現を用いて3次元オブジェクトを再構成する。
論文 参考訳(メタデータ) (2023-12-14T17:18:34Z) - GPS-Gaussian: Generalizable Pixel-wise 3D Gaussian Splatting for
Real-time Human Novel View Synthesis [73.7634042008412]
我々は、文字の新たなビューをリアルタイムに合成するための新しいアプローチ、GPS-Gaussianを提案する。
提案手法は,スパースビューカメラ設定下での2K解像度のレンダリングを可能にする。
論文 参考訳(メタデータ) (2023-12-04T18:59:55Z) - Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering [71.44349029439944]
最近の3次元ガウス散乱法は、最先端のレンダリング品質と速度を達成している。
局所的な3Dガウス分布にアンカーポイントを用いるScaffold-GSを導入する。
提案手法は,高品質なレンダリングを実現しつつ,冗長なガウスを効果的に削減できることを示す。
論文 参考訳(メタデータ) (2023-11-30T17:58:57Z) - GS-SLAM: Dense Visual SLAM with 3D Gaussian Splatting [54.56928482110888]
本稿では,まず3次元ガウス表現を同時局所化・マッピングシステムで利用するtextbfGS-SLAM$を紹介する。
提案手法では,地図の最適化とRGB-D再レンダリングの大幅な高速化を実現するリアルタイム微分可能なスプレイティングレンダリングパイプラインを利用する。
提案手法は,Replica,TUM-RGBDデータセット上の既存の最先端リアルタイム手法と比較して,競争性能が向上する。
論文 参考訳(メタデータ) (2023-11-20T12:08:23Z) - DreamGaussian: Generative Gaussian Splatting for Efficient 3D Content
Creation [59.716180709678845]
本稿では,DreamGaussianを提案する。DreamGaussianは,効率と品質を両立させる新しい3Dコンテンツ生成フレームワークである。
我々の重要な洞察は、UV空間におけるメッシュ抽出とテクスチャ改善を伴う3次元ガウススプラッティングモデルを設計することである。
ニューラル・ラジアンス・フィールドにおける占有プルーニングとは対照的に、3次元ガウスの進行的な密度化は3次元生成タスクにおいて著しく速く収束することを示した。
論文 参考訳(メタデータ) (2023-09-28T17:55:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。