論文の概要: Deformable 3D Gaussians for High-Fidelity Monocular Dynamic Scene
Reconstruction
- arxiv url: http://arxiv.org/abs/2309.13101v1
- Date: Fri, 22 Sep 2023 16:04:02 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-26 22:13:53.554251
- Title: Deformable 3D Gaussians for High-Fidelity Monocular Dynamic Scene
Reconstruction
- Title(参考訳): 高忠実度単分子ダイナミックシーン再構成のための変形性3次元ガウスアン
- Authors: Ziyi Yang, Xinyu Gao, Wen Zhou, Shaohui Jiao, Yuqing Zhang, Xiaogang
Jin
- Abstract要約: 暗黙の神経表現は動的シーンの再構築とレンダリングのための新しい道を開いた。
本稿では,3次元ガウシアンを明示的に表現した3次元ガウシアンスプラッティング手法を提案する。
提案手法は,レンダリング品質と高速化の観点から,既存の手法よりも優れていることを示す。
- 参考スコア(独自算出の注目度): 29.83056271799794
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Implicit neural representation has opened up new avenues for dynamic scene
reconstruction and rendering. Nonetheless, state-of-the-art methods of dynamic
neural rendering rely heavily on these implicit representations, which
frequently struggle with accurately capturing the intricate details of objects
in the scene. Furthermore, implicit methods struggle to achieve real-time
rendering in general dynamic scenes, limiting their use in a wide range of
tasks. To address the issues, we propose a deformable 3D Gaussians Splatting
method that reconstructs scenes using explicit 3D Gaussians and learns
Gaussians in canonical space with a deformation field to model monocular
dynamic scenes. We also introduced a smoothing training mechanism with no extra
overhead to mitigate the impact of inaccurate poses in real datasets on the
smoothness of time interpolation tasks. Through differential gaussian
rasterization, the deformable 3D Gaussians not only achieve higher rendering
quality but also real-time rendering speed. Experiments show that our method
outperforms existing methods significantly in terms of both rendering quality
and speed, making it well-suited for tasks such as novel-view synthesis, time
synthesis, and real-time rendering.
- Abstract(参考訳): 暗黙の神経表現は動的シーン再構成とレンダリングのための新しい道を開いた。
それでも、動的ニューラルネットワークレンダリングの最先端の手法は、これらの暗黙の表現に大きく依存しており、シーン内のオブジェクトの複雑な詳細を正確に捉えるのにしばしば苦労している。
さらに、暗黙的なメソッドは、一般的な動的シーンでリアルタイムレンダリングを達成するのに苦労し、幅広いタスクでの使用を制限している。
そこで本研究では, 変形場を有する標準空間のガウスを学習し, モノクロダイナミックシーンをモデル化する, 変形可能な3次元ガウス分割法を提案する。
また、実際のデータセットにおける不正確なポーズが時間補間タスクの滑らかさに与える影響を軽減するために、余分なオーバーヘッドのない平滑化トレーニング機構も導入した。
微分ガウスラスタ化により、変形可能な3Dガウスは高いレンダリング品質だけでなく、リアルタイムレンダリング速度も達成できる。
実験により,本手法はレンダリング品質と速度の両方において既存手法よりも優れており,新規ビュー合成,時間合成,リアルタイムレンダリングといったタスクに適していることがわかった。
関連論文リスト
- latentSplat: Autoencoding Variational Gaussians for Fast Generalizable 3D Reconstruction [48.86083272054711]
latentSplatは3D潜在空間における意味ガウスを予測し、軽量な生成型2Dアーキテクチャで切り落としてデコードする手法である。
latentSplatは、高速でスケーラブルで高解像度なデータでありながら、復元品質と一般化におけるこれまでの成果よりも優れていることを示す。
論文 参考訳(メタデータ) (2024-03-24T20:48:36Z) - BAD-Gaussians: Bundle Adjusted Deblur Gaussian Splatting [8.380954205255104]
BAD-Gaussianは、不正確なカメラのポーズで、激しい動きをブラインドした画像を処理するための新しいアプローチである。
提案手法は,従来の最先端のデブルーニューラルレンダリング手法と比較して,優れたレンダリング品質を実現する。
論文 参考訳(メタデータ) (2024-03-18T14:43:04Z) - VastGaussian: Vast 3D Gaussians for Large Scene Reconstruction [59.40711222096875]
VastGaussianは3次元ガウススティングに基づく大規模シーンにおける高品質な再構成とリアルタイムレンダリングのための最初の方法である。
提案手法は既存のNeRF手法より優れており,複数の大規模シーンデータセットの最先端結果が得られる。
論文 参考訳(メタデータ) (2024-02-27T11:40:50Z) - GauFRe: Gaussian Deformation Fields for Real-time Dynamic Novel View
Synthesis [17.572987038801475]
変形可能な3次元ガウスを用いた動的シーン再構成手法を提案する。
差別化可能なパイプラインは、セルフ教師付きレンダリングでエンドツーエンドに最適化されている。
我々の手法は、最先端のニューラルラジアンス場法に匹敵する。
論文 参考訳(メタデータ) (2023-12-18T18:59:03Z) - SC-GS: Sparse-Controlled Gaussian Splatting for Editable Dynamic Scenes [59.23385953161328]
動的シーンのための新しいビュー合成は、コンピュータビジョンとグラフィックスにおいて依然として難しい問題である。
本稿では,動的シーンの動作と外観を疎制御点と高密度ガウスに明示的に分解する新しい表現を提案する。
提案手法は,高忠実度な外観を維持しつつ,ユーザ制御のモーション編集を可能にする。
論文 参考訳(メタデータ) (2023-12-04T11:57:14Z) - DNS SLAM: Dense Neural Semantic-Informed SLAM [92.39687553022605]
DNS SLAMは、ハイブリッド表現を備えた新しいRGB-DセマンティックSLAMアプローチである。
本手法は画像に基づく特徴抽出と多視点幾何制約を統合し,外観の細部を改良する。
実験により, 合成データと実世界のデータ追跡の両面において, 最先端の性能が得られた。
論文 参考訳(メタデータ) (2023-11-30T21:34:44Z) - Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering [71.44349029439944]
最近の3次元ガウス散乱法は、最先端のレンダリング品質と速度を達成している。
局所的な3Dガウス分布にアンカーポイントを用いるScaffold-GSを導入する。
提案手法は,高品質なレンダリングを実現しつつ,冗長なガウスを効果的に削減できることを示す。
論文 参考訳(メタデータ) (2023-11-30T17:58:57Z) - Neural Lumigraph Rendering [33.676795978166375]
最先端の(SOTA)ニューラルボリュームレンダリングアプローチは、トレーニングが遅く、高い画像解像度のために数分の推論(レンダリング)時間を必要とします。
本研究では,2次元画像のみを監督するシーンの暗黙の面と放射界を協調的に最適化するために,周期的アクティベーションを伴う高容量なニューラルシーン表現を採用する。
我々のニューラルレンダリングパイプラインは、SOTAニューラルボリュームレンダリングを約2桁加速し、暗黙のサーフェス表現は、ビュー依存テクスチャ情報によるメッシュのエクスポートを可能にするユニークなものです。
論文 参考訳(メタデータ) (2021-03-22T03:46:05Z) - Intrinsic Autoencoders for Joint Neural Rendering and Intrinsic Image
Decomposition [67.9464567157846]
合成3Dモデルからリアルな画像を生成するためのオートエンコーダを提案し,同時に実像を本質的な形状と外観特性に分解する。
実験により, レンダリングと分解の併用処理が有益であることが確認され, 画像から画像への翻訳の質的, 定量的なベースラインよりも優れた結果が得られた。
論文 参考訳(メタデータ) (2020-06-29T12:53:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。