論文の概要: DN-Splatter: Depth and Normal Priors for Gaussian Splatting and Meshing

• arxiv url: http://arxiv.org/abs/2403.17822v3
• Date: Thu, 07 Nov 2024 13:34:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-08 19:36:22.120983
• Title: DN-Splatter: Depth and Normal Priors for Gaussian Splatting and Meshing
• Title（参考訳）: DN-Splatter:ガウススメッティングとメッシュの深さと正規化
• Authors: Matias Turkulainen, Xuqian Ren, Iaroslav Melekhov, Otto Seiskari, Esa Rahtu, Juho Kannala,
• Abstract要約: カラー画像の勾配に基づく適応的な深度損失を提案し、様々なベースライン上での深度推定と新しいビュー合成結果を改善した。 我々の単純かつ効果的な正則化技術はガウス表現からの直接メッシュ抽出を可能にし、屋内シーンのより物理的に正確な再構築を可能にする。
• 参考スコア（独自算出の注目度）: 19.437747560051566
• License:
• Abstract: High-fidelity 3D reconstruction of common indoor scenes is crucial for VR and AR applications. 3D Gaussian splatting, a novel differentiable rendering technique, has achieved state-of-the-art novel view synthesis results with high rendering speeds and relatively low training times. However, its performance on scenes commonly seen in indoor datasets is poor due to the lack of geometric constraints during optimization. In this work, we explore the use of readily accessible geometric cues to enhance Gaussian splatting optimization in challenging, ill-posed, and textureless scenes. We extend 3D Gaussian splatting with depth and normal cues to tackle challenging indoor datasets and showcase techniques for efficient mesh extraction. Specifically, we regularize the optimization procedure with depth information, enforce local smoothness of nearby Gaussians, and use off-the-shelf monocular networks to achieve better alignment with the true scene geometry. We propose an adaptive depth loss based on the gradient of color images, improving depth estimation and novel view synthesis results over various baselines. Our simple yet effective regularization technique enables direct mesh extraction from the Gaussian representation, yielding more physically accurate reconstructions of indoor scenes.
• Abstract（参考訳）: 一般的な屋内シーンの高忠実度3D再構成は、VRおよびARアプリケーションにとって不可欠である。 3D Gaussian splatting, a novel differentiable rendering technique, has achieved the state-of-the-art novel view synthesis results with high rendering speeds and relatively low training time。 しかし,室内データセットでよく見られる場面では,最適化時の幾何的制約が欠如しているため,性能が劣っている。 本研究では,難易度,不適切度,テクスチャのない場面において,ガウスのスプレイティング最適化を強化するために,容易にアクセス可能な幾何学的手がかりの利用について検討する。 我々は3Dガウススプラッティングを奥行きと通常の手法で拡張し、挑戦的な屋内データセットに取り組み、効率的なメッシュ抽出技術を示す。 具体的には、最適化手順を深度情報で規則化し、近くのガウスの局所的な滑らかさを強制し、オフザシェルの単分子ネットワークを用いて真のシーン幾何学との整合性を向上する。 カラー画像の勾配に基づく適応的な深度損失を提案し、様々なベースライン上での深度推定と新しいビュー合成結果を改善した。 我々の単純かつ効果的な正則化技術はガウス表現からの直接メッシュ抽出を可能にし、屋内シーンのより物理的に正確な再構築を可能にする。

関連論文リスト

• GPS-Gaussian+: Generalizable Pixel-wise 3D Gaussian Splatting for Real-Time Human-Scene Rendering from Sparse Views [67.34073368933814]
  スパースビューカメラ設定下での高解像度画像レンダリングのための一般化可能なガウススプラッティング手法を提案する。 我々は,人間のみのデータや人景データに基づいてガウスパラメータ回帰モジュールをトレーニングし,深度推定モジュールと共同で2次元パラメータマップを3次元空間に引き上げる。 いくつかのデータセットに対する実験により、我々の手法はレンダリング速度を超越しながら最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2024-11-18T08:18:44Z)
• GUS-IR: Gaussian Splatting with Unified Shading for Inverse Rendering [83.69136534797686]
  GUS-IRは、粗く光沢のある表面を特徴とする複雑なシーンの逆レンダリング問題に対処するために設計された新しいフレームワークである。 本稿では、逆レンダリング、フォワードシェーディング、遅延シェーディングに広く使われている2つの顕著なシェーディング技術を分析し、比較することから始める。 両手法の利点を組み合わせた統合シェーディングソリューションを提案する。
  論文  参考訳（メタデータ） (2024-11-12T01:51:05Z)
• Mode-GS: Monocular Depth Guided Anchored 3D Gaussian Splatting for Robust Ground-View Scene Rendering [47.879695094904015]
  そこで本研究では,地上ロボット軌道データセットのための新しいビューレンダリングアルゴリズムであるMode-GSを提案する。 提案手法は,既存の3次元ガウススプラッティングアルゴリズムの限界を克服する目的で,アンカー付きガウススプラッターを用いている。 提案手法は,PSNR,SSIM,LPIPSの計測値に基づいて,自由軌道パターンを持つ地上環境におけるレンダリング性能を向上する。
  論文  参考訳（メタデータ） (2024-10-06T23:01:57Z)
• Visual SLAM with 3D Gaussian Primitives and Depth Priors Enabling Novel View Synthesis [11.236094544193605]
  従来の幾何学に基づくSLAMシステムは、密度の高い3D再構成機能を持たない。 本稿では,新しいビュー合成技術である3次元ガウススプラッティングを組み込んだリアルタイムRGB-D SLAMシステムを提案する。
  論文  参考訳（メタデータ） (2024-08-10T21:23:08Z)
• GaussianRoom: Improving 3D Gaussian Splatting with SDF Guidance and Monocular Cues for Indoor Scene Reconstruction [3.043712258792239]
  ニューラルネットワークSDFと3DGSを統合した統合フレームワークを提案する。 このフレームワークには学習可能なニューラルネットワークSDFフィールドが組み込まれており、ガウスの密度化と刈り取りをガイドしている。 本手法は, 表面再構成と新しいビュー合成の両面において, 最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-05-30T03:46:59Z)
• Gaussian Opacity Fields: Efficient Adaptive Surface Reconstruction in Unbounded Scenes [50.92217884840301]
  Gaussian Opacity Fields (GOF)は、シーンにおける効率的で高品質で適応的な表面再構成のための新しいアプローチである。 GOFは3Dガウスのレイトレーシングに基づくボリュームレンダリングに由来する。 GOFは、表面再構成と新しいビュー合成において、既存の3DGSベースの手法を超越している。
  論文  参考訳（メタデータ） (2024-04-16T17:57:19Z)
• DNGaussian: Optimizing Sparse-View 3D Gaussian Radiance Fields with Global-Local Depth Normalization [21.474938045227702]
  放射場は、スパース入力ビューから新しいビューを合成する際、顕著な性能を示してきたが、一般的な方法は、高いトレーニングコストと遅い推論速度に悩まされている。 本稿では,DNGaussianについて紹介する。DNGaussianは3次元ガウス放射場に基づく奥行き規則化フレームワークで,低コストでリアルタイムかつ高品質なノベルショットビュー合成を提供する。
  論文  参考訳（メタデータ） (2024-03-11T17:02:11Z)
• VastGaussian: Vast 3D Gaussians for Large Scene Reconstruction [59.40711222096875]
  VastGaussianは3次元ガウススティングに基づく大規模シーンにおける高品質な再構成とリアルタイムレンダリングのための最初の方法である。 提案手法は既存のNeRF手法より優れており,複数の大規模シーンデータセットの最先端結果が得られる。
  論文  参考訳（メタデータ） (2024-02-27T11:40:50Z)
• GaussianPro: 3D Gaussian Splatting with Progressive Propagation [49.918797726059545]
  3DGSはStructure-from-Motion (SfM)技術によって生成されるポイントクラウドに大きく依存している。 本稿では, 3次元ガウスの密度化を導くために, プログレッシブ・プログレッシブ・プログレッシブ・ストラテジーを適用した新しい手法を提案する。 提案手法はデータセット上の3DGSを大幅に上回り,PSNRでは1.15dBの改善が見られた。
  論文  参考訳（メタデータ） (2024-02-22T16:00:20Z)
• Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering [71.44349029439944]
  最近の3次元ガウス散乱法は、最先端のレンダリング品質と速度を達成している。 局所的な3Dガウス分布にアンカーポイントを用いるScaffold-GSを導入する。 提案手法は,高品質なレンダリングを実現しつつ,冗長なガウスを効果的に削減できることを示す。
  論文  参考訳（メタデータ） (2023-11-30T17:58:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。