論文の概要: DN-4DGS: Denoised Deformable Network with Temporal-Spatial Aggregation for Dynamic Scene Rendering

• arxiv url: http://arxiv.org/abs/2410.13607v1
• Date: Thu, 17 Oct 2024 14:43:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-18 13:19:32.988460
• Title: DN-4DGS: Denoised Deformable Network with Temporal-Spatial Aggregation for Dynamic Scene Rendering
• Title（参考訳）: DN-4DGS:動的シーンレンダリングのための時空間アグリゲーションを用いたデノーズデフォルマブルネットワーク
• Authors: Jiahao Lu, Jiacheng Deng, Ruijie Zhu, Yanzhe Liang, Wenfei Yang, Tianzhu Zhang, Xu Zhou,
• Abstract要約: 騒音抑制戦略を導入し, 標準3次元ガウスの座標の分布を変化させ, 騒音を抑制する。 Decoupled Temporal-Spatial Ag?gregation Moduleは、隣接点やフレームからの情報を集約するように設計されている。 実世界の各種データセットを用いた実験により,本手法がリアルタイムなレンダリング品質を実現することを示す。
• 参考スコア（独自算出の注目度）: 39.02667348492635
• License:
• Abstract: Dynamic scenes rendering is an intriguing yet challenging problem. Although current methods based on NeRF have achieved satisfactory performance, they still can not reach real-time levels. Recently, 3D Gaussian Splatting (3DGS) has gar?nered researchers attention due to their outstanding rendering quality and real?time speed. Therefore, a new paradigm has been proposed: defining a canonical 3D gaussians and deforming it to individual frames in deformable fields. How?ever, since the coordinates of canonical 3D gaussians are filled with noise, which can transfer noise into the deformable fields, and there is currently no method that adequately considers the aggregation of 4D information. Therefore, we pro?pose Denoised Deformable Network with Temporal-Spatial Aggregation for Dy?namic Scene Rendering (DN-4DGS). Specifically, a Noise Suppression Strategy is introduced to change the distribution of the coordinates of the canonical 3D gaussians and suppress noise. Additionally, a Decoupled Temporal-Spatial Ag?gregation Module is designed to aggregate information from adjacent points and frames. Extensive experiments on various real-world datasets demonstrate that our method achieves state-of-the-art rendering quality under a real-time level.
• Abstract（参考訳）: 動的なシーンレンダリングは興味深いが、難しい問題だ。 NeRFに基づく現在の手法は良好な性能を保っているが、リアルタイムレベルには達していない。 最近、3D Gaussian Splatting (3DGS) が話題になっている。 卓越したレンダリングの質と本物で 研究者の注意を引いたのか? タイムスピード したがって、標準3次元ガウス空間を定義し、変形可能なフィールドの個々のフレームに変形させるという新しいパラダイムが提案されている。 どうやって? 標準的な3Dガウスの座標は、変形可能なフィールドにノイズを伝達できるノイズで満たされているため、現在、4D情報の集約を適切に考慮する手法は存在しない。 ですから、私たちはプロですか? Dy の時空間アグリゲーションを用いた denoized deformable Network の合成 namic Scene Rendering (DN-4DGS)。 具体的には、標準3次元ガウスの座標の分布を変化させ、雑音を抑制するためにノイズ抑制戦略を導入する。 さらに、分離した時間空間アグは? gregation Moduleは、隣接するポイントやフレームから情報を集約するように設計されている。 各種実世界のデータセットに対する大規模な実験により,本手法がリアルタイムに最先端のレンダリング品質を実現することを示す。

関連論文リスト

• 4D Gaussian Splatting: Modeling Dynamic Scenes with Native 4D Primitives [116.2042238179433]
  本稿では,動的シーンを非拘束な4次元ボリューム学習問題とみなす。 本研究では,4次元ガウス原始体の集合を対象とした動的シーンを明示的な幾何学的特徴と外観的特徴で表現する。 このアプローチは、下層のフォトリアリスティック時間体積を適合させることで、空間と時間の関連情報をキャプチャすることができる。 特に、我々の4DGSモデルは、複雑なダイナミックシーンのための、高解像度で斬新なビューのリアルタイムレンダリングをサポートする最初のソリューションです。
  論文  参考訳（メタデータ） (2024-12-30T05:30:26Z)
• Urban4D: Semantic-Guided 4D Gaussian Splatting for Urban Scene Reconstruction [86.4386398262018]
  Urban4Dは、深い2Dセマンティックマップ生成の進歩に触発されたセマンティック誘導分解戦略である。 我々のアプローチは、信頼できるセマンティック・ガウシアンを通して潜在的に動的対象を区別する。 実世界のデータセットでの実験では、Urban4Dは従来の最先端の手法と同等または優れた品質を実現している。
  論文  参考訳（メタデータ） (2024-12-04T16:59:49Z)
• S4D: Streaming 4D Real-World Reconstruction with Gaussians and 3D Control Points [30.46796069720543]
  本稿では,離散的な3次元制御点を用いた4次元実世界の再構成をストリーミングする手法を提案する。 この方法は局所光を物理的にモデル化し、運動デカップリング座標系を確立する。 従来のグラフィックスと学習可能なパイプラインを効果的にマージすることにより、堅牢で効率的なローカルな6自由度(6自由度)モーション表現を提供する。
  論文  参考訳（メタデータ） (2024-08-23T12:51:49Z)
• Splatfacto-W: A Nerfstudio Implementation of Gaussian Splatting for Unconstrained Photo Collections [25.154665328053333]
  Splatfacto-Wは、ガウスごとのニューラルカラー特徴と画像ごとの外観をレンダリングプロセスに組み込む、自明なアプローチである。 提案手法は,3DGSに比べて平均5.3dBのPak Signal-to-Noise Ratio(PSNR)を向上し,NeRF法に比べて150倍のトレーニング速度を向上し,3DGSと同様のレンダリング速度を実現する。
  論文  参考訳（メタデータ） (2024-07-17T04:02:54Z)
• WildGaussians: 3D Gaussian Splatting in the Wild [80.5209105383932]
  3DGSによる閉塞や外見の変化に対処する新しいアプローチであるWildGaussiansを紹介した。 我々はWildGaussianが3DGSとNeRFのベースラインを越えながら3DGSのリアルタイムレンダリング速度と一致していることを示す。
  論文  参考訳（メタデータ） (2024-07-11T12:41:32Z)
• Dynamic 3D Gaussian Fields for Urban Areas [60.64840836584623]
  大規模でダイナミックな都市部における新規ビュー合成(NVS)のための効率的なニューラル3Dシーン表現法を提案する。 本研究では,大規模都市にスケールするニューラルネットワークシーン表現である4DGFを提案する。
  論文  参考訳（メタデータ） (2024-06-05T12:07:39Z)
• 4D-Rotor Gaussian Splatting: Towards Efficient Novel View Synthesis for Dynamic Scenes [33.14021987166436]
  異方性 4D XYZT Gaussian を用いた動的シーンの表現法である 4DRotorGS を紹介する。 4DRotorGSは空間的時間的表現として、複雑な力学と細部をモデル化する強力な能力を示している。 さらに、3090 GPUで最大277FPS、4090 GPUで最大583FPSのリアルタイムレンダリング速度を達成するために、時間スライシングとアクセラレーションのフレームワークを実装しています。
  論文  参考訳（メタデータ） (2024-02-05T18:59:04Z)
• Gaussian-Flow: 4D Reconstruction with Dynamic 3D Gaussian Particle [9.082693946898733]
  高速な動的シーン再構成と,マルチビューおよびモノクロビデオからのリアルタイムレンダリングのための新しいポイントベースアプローチを提案する。 学習速度の遅さとレンダリング速度によって妨げられるNeRFベースのアプローチとは対照的に,我々はポイントベース3Dガウススプラッティング(3DGS)の最近の進歩を活用している。 提案手法は,フレームごとの3DGSモデリングと比較して,5倍のトレーニング速度を実現し,大幅な効率向上を実現している。
  論文  参考訳（メタデータ） (2023-12-06T11:25:52Z)
• Deformable 3D Gaussians for High-Fidelity Monocular Dynamic Scene Reconstruction [29.83056271799794]
  暗黙の神経表現は、動的なシーンの再構築とレンダリングに対する新しいアプローチの道を開いた。 本稿では,3次元ガウシアンを用いてシーンを再構成し,標準空間で学習する,変形可能な3次元ガウシアンスプラッティング法を提案する。 微分ガウシアン化器により、変形可能な3Dガウシアンは高いレンダリング品質だけでなく、リアルタイムレンダリング速度も達成できる。
  論文  参考訳（メタデータ） (2023-09-22T16:04:02Z)
• NeRFPlayer: A Streamable Dynamic Scene Representation with Decomposed Neural Radiance Fields [99.57774680640581]
  本稿では、高速な再構成、コンパクトなモデリング、およびストリーム可能なレンダリングが可能な効率的なフレームワークを提案する。 本稿では, 時間特性に応じて4次元空間を分解することを提案する。4次元空間の点は, 静的, 変形, および新しい領域の3つのカテゴリに属する確率に関連付けられている。
  論文  参考訳（メタデータ） (2022-10-28T07:11:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。