論文の概要: Deformable 3D Gaussians for High-Fidelity Monocular Dynamic Scene Reconstruction

• arxiv url: http://arxiv.org/abs/2309.13101v2
• Date: Sun, 19 Nov 2023 14:50:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-23 04:37:06.759743
• Title: Deformable 3D Gaussians for High-Fidelity Monocular Dynamic Scene Reconstruction
• Title（参考訳）: 高忠実度単分子ダイナミックシーン再構成のための変形性3次元ガウスアン
• Authors: Ziyi Yang, Xinyu Gao, Wen Zhou, Shaohui Jiao, Yuqing Zhang, Xiaogang Jin
• Abstract要約: 暗黙の神経表現は、動的なシーンの再構築とレンダリングに対する新しいアプローチの道を開いた。 本稿では,3次元ガウシアンを用いてシーンを再構成し,標準空間で学習する,変形可能な3次元ガウシアンスプラッティング法を提案する。 微分ガウシアン化器により、変形可能な3Dガウシアンは高いレンダリング品質だけでなく、リアルタイムレンダリング速度も達成できる。
• 参考スコア（独自算出の注目度）: 29.83056271799794
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Implicit neural representation has paved the way for new approaches to dynamic scene reconstruction and rendering. Nonetheless, cutting-edge dynamic neural rendering methods rely heavily on these implicit representations, which frequently struggle to capture the intricate details of objects in the scene. Furthermore, implicit methods have difficulty achieving real-time rendering in general dynamic scenes, limiting their use in a variety of tasks. To address the issues, we propose a deformable 3D Gaussians Splatting method that reconstructs scenes using 3D Gaussians and learns them in canonical space with a deformation field to model monocular dynamic scenes. We also introduce an annealing smoothing training mechanism with no extra overhead, which can mitigate the impact of inaccurate poses on the smoothness of time interpolation tasks in real-world datasets. Through a differential Gaussian rasterizer, the deformable 3D Gaussians not only achieve higher rendering quality but also real-time rendering speed. Experiments show that our method outperforms existing methods significantly in terms of both rendering quality and speed, making it well-suited for tasks such as novel-view synthesis, time interpolation, and real-time rendering.
• Abstract（参考訳）: 暗黙の神経表現は、動的なシーンの再構築とレンダリングに対する新しいアプローチの道を開いた。 それでも、最先端の動的ニューラルネットワークレンダリング手法はこれらの暗黙の表現に大きく依存しており、シーン内のオブジェクトの複雑な詳細を捉えるのにしばしば苦労している。 さらに、暗黙の手法は、一般的な動的シーンにおけるリアルタイムレンダリングの達成が困難であり、様々なタスクでの使用を制限する。 そこで,本稿では,3次元ガウス法を用いてシーンを再構成し,変形場を有する正準空間で学習し,モノクロ動的シーンをモデル化する3次元ガウス法を提案する。 また,オーバヘッドの不要なアニーリングスムージングトレーニング機構を導入することで,実世界のデータセットにおける時間補間タスクのスムース性に対する不正確なポーズの影響を軽減できる。 微分ガウスラスタライザにより、変形可能な3Dガウスは高いレンダリング品質だけでなく、リアルタイムレンダリング速度も達成できる。 実験の結果,本手法はレンダリング品質と速度の両方において既存手法よりも優れており,新規なビュー合成,時間補間,リアルタイムレンダリングといったタスクに適していることがわかった。

関連論文リスト

• Decoupling Appearance Variations with 3D Consistent Features in Gaussian Splatting [50.98884579463359]
  本稿では,プラグアンドプレイ方式で外観変化を分離するDAVIGSを提案する。 ガウスレベルではなく画像レベルでレンダリング結果を変換することにより、最適化時間とメモリオーバーヘッドを最小限に抑えた外観変化をモデル化できる。 提案手法をいくつかの外観変化シーンで検証し,トレーニング時間とメモリ使用量を最小限に抑えて,最先端のレンダリング品質を実現することを実証した。
  論文  参考訳（メタデータ） (2025-01-18T14:55:58Z)
• 3D Gaussian Splatting with Normal Information for Mesh Extraction and Improved Rendering [8.59572577251833]
  ガウス関数から推定される符号距離関数の勾配を用いた新しい正規化法を提案する。 我々は、Mip-NeRF360、Tamps and Temples、Deep-Blendingなどのデータセットに対するアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2025-01-14T18:40:33Z)
• 4D Gaussian Splatting with Scale-aware Residual Field and Adaptive Optimization for Real-time Rendering of Temporally Complex Dynamic Scenes [19.24815625343669]
  SaRO-GSはリアルタイムレンダリングを実現する新しい動的シーン表現である。 時間的に複雑な動的シーンを扱うために,スケールアウェアなResidual Fieldを導入する。 我々の手法は最先端の性能を実証した。
  論文  参考訳（メタデータ） (2024-12-09T08:44:19Z)
• SpectroMotion: Dynamic 3D Reconstruction of Specular Scenes [7.590932716513324]
  本稿では,3次元ガウススティング(3DGS)と物理ベースレンダリング(PBR)と変形場を組み合わせた新しいアプローチであるSpectroMotionを提案する。 現実の動的スペキュラシーンを合成できる唯一の3DGS法であり、複雑な、動的、およびスペキュラシーンのレンダリングにおける最先端の手法よりも優れている。
  論文  参考訳（メタデータ） (2024-10-22T17:59:56Z)
• Dynamic 3D Gaussian Fields for Urban Areas [60.64840836584623]
  大規模でダイナミックな都市部における新規ビュー合成(NVS)のための効率的なニューラル3Dシーン表現法を提案する。 本研究では,大規模都市にスケールするニューラルネットワークシーン表現である4DGFを提案する。
  論文  参考訳（メタデータ） (2024-06-05T12:07:39Z)
• Gaussian Time Machine: A Real-Time Rendering Methodology for Time-Variant Appearances [10.614750331310804]
  軽量マルチ層パーセプトロン(MLP)で復号された離散時間埋め込みベクトルを持つガウス原始体の時間依存特性をモデル化したガウス時機械(GTM)を提案する。 GTMは3つのデータセットで最先端のレンダリングフィリティを達成し、レンダリングにおけるNeRFベースのレンダリングよりも100倍高速である。
  論文  参考訳（メタデータ） (2024-05-22T14:40:42Z)
• VastGaussian: Vast 3D Gaussians for Large Scene Reconstruction [59.40711222096875]
  VastGaussianは3次元ガウススティングに基づく大規模シーンにおける高品質な再構成とリアルタイムレンダリングのための最初の方法である。 提案手法は既存のNeRF手法より優れており,複数の大規模シーンデータセットの最先端結果が得られる。
  論文  参考訳（メタデータ） (2024-02-27T11:40:50Z)
• SC-GS: Sparse-Controlled Gaussian Splatting for Editable Dynamic Scenes [59.23385953161328]
  動的シーンのための新しいビュー合成は、コンピュータビジョンとグラフィックスにおいて依然として難しい問題である。 本稿では,動的シーンの動作と外観を疎制御点と高密度ガウスに明示的に分解する新しい表現を提案する。 提案手法は,高忠実度な外観を維持しつつ,ユーザ制御のモーション編集を可能にする。
  論文  参考訳（メタデータ） (2023-12-04T11:57:14Z)
• DNS SLAM: Dense Neural Semantic-Informed SLAM [92.39687553022605]
  DNS SLAMは、ハイブリッド表現を備えた新しいRGB-DセマンティックSLAMアプローチである。 本手法は画像に基づく特徴抽出と多視点幾何制約を統合し,外観の細部を改良する。 実験により, 合成データと実世界のデータ追跡の両面において, 最先端の性能が得られた。
  論文  参考訳（メタデータ） (2023-11-30T21:34:44Z)
• Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering [71.44349029439944]
  最近の3次元ガウス散乱法は、最先端のレンダリング品質と速度を達成している。 局所的な3Dガウス分布にアンカーポイントを用いるScaffold-GSを導入する。 提案手法は,高品質なレンダリングを実現しつつ,冗長なガウスを効果的に削減できることを示す。
  論文  参考訳（メタデータ） (2023-11-30T17:58:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。