論文の概要: DN-4DGS: Denoised Deformable Network with Temporal-Spatial Aggregation for Dynamic Scene Rendering

• arxiv url: http://arxiv.org/abs/2410.13607v2
• Date: Thu, 24 Oct 2024 02:21:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-25 12:50:13.644870
• Title: DN-4DGS: Denoised Deformable Network with Temporal-Spatial Aggregation for Dynamic Scene Rendering
• Title（参考訳）: DN-4DGS:動的シーンレンダリングのための時空間アグリゲーションを用いたデノーズデフォルマブルネットワーク
• Authors: Jiahao Lu, Jiacheng Deng, Ruijie Zhu, Yanzhe Liang, Wenfei Yang, Tianzhu Zhang, Xu Zhou,
• Abstract要約: 3D Gaussian Splatting (3DGS)は、優れたレンダリング品質とリアルタイムスピードのために、研究者の注目を集めている。 動的シーンレンダリング(DN-4DGS)のための時間空間アグリゲーションを用いたDenoized Deformable Networkを提案する。 具体的には、標準3次元ガウスの座標の分布を変化させ、雑音を抑制するためにノイズ抑制戦略を導入する。
• 参考スコア（独自算出の注目度）: 39.02667348492635
• License:
• Abstract: Dynamic scenes rendering is an intriguing yet challenging problem. Although current methods based on NeRF have achieved satisfactory performance, they still can not reach real-time levels. Recently, 3D Gaussian Splatting (3DGS) has garnered researchers attention due to their outstanding rendering quality and real-time speed. Therefore, a new paradigm has been proposed: defining a canonical 3D gaussians and deforming it to individual frames in deformable fields. However, since the coordinates of canonical 3D gaussians are filled with noise, which can transfer noise into the deformable fields, and there is currently no method that adequately considers the aggregation of 4D information. Therefore, we propose Denoised Deformable Network with Temporal-Spatial Aggregation for Dynamic Scene Rendering (DN-4DGS). Specifically, a Noise Suppression Strategy is introduced to change the distribution of the coordinates of the canonical 3D gaussians and suppress noise. Additionally, a Decoupled Temporal-Spatial Aggregation Module is designed to aggregate information from adjacent points and frames. Extensive experiments on various real-world datasets demonstrate that our method achieves state-of-the-art rendering quality under a real-time level.
• Abstract（参考訳）: 動的なシーンレンダリングは興味深いが、難しい問題だ。 NeRFに基づく現在の手法は良好な性能を保っているが、リアルタイムレベルには達していない。 近年,3D Gaussian Splatting (3DGS) が注目されている。 したがって、標準3次元ガウス空間を定義し、変形可能なフィールドの個々のフレームに変形させるという新しいパラダイムが提案されている。 しかし、標準3Dガウスの座標は、変形可能なフィールドにノイズを伝達できるノイズで満たされており、4D情報の集約を適切に考慮する手法は今のところ存在しない。 そこで本稿では,動的シーンレンダリング(DN-4DGS)のための時間空間アグリゲーションを用いたDenoized Deformable Networkを提案する。 具体的には、標準3次元ガウスの座標の分布を変化させ、雑音を抑制するためにノイズ抑制戦略を導入する。 さらに、デカップリングされた時間空間集約モジュールは、隣接する点やフレームからの情報を集約するように設計されている。 各種実世界のデータセットに対する大規模な実験により,本手法がリアルタイムに最先端のレンダリング品質を実現することを示す。

関連論文リスト

• 4D Gaussian Splatting: Modeling Dynamic Scenes with Native 4D Primitives [116.2042238179433]
  本稿では,動的シーンを非拘束な4次元ボリューム学習問題とみなす。 本研究では,4次元ガウス原始体の集合を対象とした動的シーンを明示的な幾何学的特徴と外観的特徴で表現する。 このアプローチは、下層のフォトリアリスティック時間体積を適合させることで、空間と時間の関連情報をキャプチャすることができる。 特に、我々の4DGSモデルは、複雑なダイナミックシーンのための、高解像度で斬新なビューのリアルタイムレンダリングをサポートする最初のソリューションです。
  論文  参考訳（メタデータ） (2024-12-30T05:30:26Z)
• Urban4D: Semantic-Guided 4D Gaussian Splatting for Urban Scene Reconstruction [86.4386398262018]
  Urban4Dは、深い2Dセマンティックマップ生成の進歩に触発されたセマンティック誘導分解戦略である。 我々のアプローチは、信頼できるセマンティック・ガウシアンを通して潜在的に動的対象を区別する。 実世界のデータセットでの実験では、Urban4Dは従来の最先端の手法と同等または優れた品質を実現している。
  論文  参考訳（メタデータ） (2024-12-04T16:59:49Z)
• S4D: Streaming 4D Real-World Reconstruction with Gaussians and 3D Control Points [30.46796069720543]
  本稿では,離散的な3次元制御点を用いた4次元実世界の再構成をストリーミングする手法を提案する。 この方法は局所光を物理的にモデル化し、運動デカップリング座標系を確立する。 従来のグラフィックスと学習可能なパイプラインを効果的にマージすることにより、堅牢で効率的なローカルな6自由度(6自由度)モーション表現を提供する。
  論文  参考訳（メタデータ） (2024-08-23T12:51:49Z)
• Splatfacto-W: A Nerfstudio Implementation of Gaussian Splatting for Unconstrained Photo Collections [25.154665328053333]
  Splatfacto-Wは、ガウスごとのニューラルカラー特徴と画像ごとの外観をレンダリングプロセスに組み込む、自明なアプローチである。 提案手法は,3DGSに比べて平均5.3dBのPak Signal-to-Noise Ratio(PSNR)を向上し,NeRF法に比べて150倍のトレーニング速度を向上し,3DGSと同様のレンダリング速度を実現する。
  論文  参考訳（メタデータ） (2024-07-17T04:02:54Z)
• WildGaussians: 3D Gaussian Splatting in the Wild [80.5209105383932]
  3DGSによる閉塞や外見の変化に対処する新しいアプローチであるWildGaussiansを紹介した。 我々はWildGaussianが3DGSとNeRFのベースラインを越えながら3DGSのリアルタイムレンダリング速度と一致していることを示す。
  論文  参考訳（メタデータ） (2024-07-11T12:41:32Z)
• Dynamic 3D Gaussian Fields for Urban Areas [60.64840836584623]
  大規模でダイナミックな都市部における新規ビュー合成(NVS)のための効率的なニューラル3Dシーン表現法を提案する。 本研究では,大規模都市にスケールするニューラルネットワークシーン表現である4DGFを提案する。
  論文  参考訳（メタデータ） (2024-06-05T12:07:39Z)
• 4D-Rotor Gaussian Splatting: Towards Efficient Novel View Synthesis for Dynamic Scenes [33.14021987166436]
  異方性 4D XYZT Gaussian を用いた動的シーンの表現法である 4DRotorGS を紹介する。 4DRotorGSは空間的時間的表現として、複雑な力学と細部をモデル化する強力な能力を示している。 さらに、3090 GPUで最大277FPS、4090 GPUで最大583FPSのリアルタイムレンダリング速度を達成するために、時間スライシングとアクセラレーションのフレームワークを実装しています。
  論文  参考訳（メタデータ） (2024-02-05T18:59:04Z)
• Gaussian-Flow: 4D Reconstruction with Dynamic 3D Gaussian Particle [9.082693946898733]
  高速な動的シーン再構成と,マルチビューおよびモノクロビデオからのリアルタイムレンダリングのための新しいポイントベースアプローチを提案する。 学習速度の遅さとレンダリング速度によって妨げられるNeRFベースのアプローチとは対照的に,我々はポイントベース3Dガウススプラッティング(3DGS)の最近の進歩を活用している。 提案手法は,フレームごとの3DGSモデリングと比較して,5倍のトレーニング速度を実現し,大幅な効率向上を実現している。
  論文  参考訳（メタデータ） (2023-12-06T11:25:52Z)
• Deformable 3D Gaussians for High-Fidelity Monocular Dynamic Scene Reconstruction [29.83056271799794]
  暗黙の神経表現は、動的なシーンの再構築とレンダリングに対する新しいアプローチの道を開いた。 本稿では,3次元ガウシアンを用いてシーンを再構成し,標準空間で学習する,変形可能な3次元ガウシアンスプラッティング法を提案する。 微分ガウシアン化器により、変形可能な3Dガウシアンは高いレンダリング品質だけでなく、リアルタイムレンダリング速度も達成できる。
  論文  参考訳（メタデータ） (2023-09-22T16:04:02Z)
• NeRFPlayer: A Streamable Dynamic Scene Representation with Decomposed Neural Radiance Fields [99.57774680640581]
  本稿では、高速な再構成、コンパクトなモデリング、およびストリーム可能なレンダリングが可能な効率的なフレームワークを提案する。 本稿では, 時間特性に応じて4次元空間を分解することを提案する。4次元空間の点は, 静的, 変形, および新しい領域の3つのカテゴリに属する確率に関連付けられている。
  論文  参考訳（メタデータ） (2022-10-28T07:11:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。