論文の概要: GSDF: 3DGS Meets SDF for Improved Rendering and Reconstruction

• arxiv url: http://arxiv.org/abs/2403.16964v2
• Date: Sun, 13 Oct 2024 17:52:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-15 15:02:29.822745
• Title: GSDF: 3DGS Meets SDF for Improved Rendering and Reconstruction
• Title（参考訳）: GSDF:3DGSがレンダリングとリコンストラクションの改善のためにSDFと提携
• Authors: Mulin Yu, Tao Lu, Linning Xu, Lihan Jiang, Yuanbo Xiangli, Bo Dai,
• Abstract要約: フレキシブルで効率的な3次元ガウス分割表現とニューラルサイン付き距離場(SDF)の利点を組み合わせた新しいデュアルブランチアーキテクチャを提案する。 我々のデザインがより正確で詳細な表面再構成の可能性を解き放つ多様なシーンを示す。
• 参考スコア（独自算出の注目度）: 20.232177350064735
• License:
• Abstract: Presenting a 3D scene from multiview images remains a core and long-standing challenge in computer vision and computer graphics. Two main requirements lie in rendering and reconstruction. Notably, SOTA rendering quality is usually achieved with neural volumetric rendering techniques, which rely on aggregated point/primitive-wise color and neglect the underlying scene geometry. Learning of neural implicit surfaces is sparked from the success of neural rendering. Current works either constrain the distribution of density fields or the shape of primitives, resulting in degraded rendering quality and flaws on the learned scene surfaces. The efficacy of such methods is limited by the inherent constraints of the chosen neural representation, which struggles to capture fine surface details, especially for larger, more intricate scenes. To address these issues, we introduce GSDF, a novel dual-branch architecture that combines the benefits of a flexible and efficient 3D Gaussian Splatting (3DGS) representation with neural Signed Distance Fields (SDF). The core idea is to leverage and enhance the strengths of each branch while alleviating their limitation through mutual guidance and joint supervision. We show on diverse scenes that our design unlocks the potential for more accurate and detailed surface reconstructions, and at the meantime benefits 3DGS rendering with structures that are more aligned with the underlying geometry.
• Abstract（参考訳）: マルチビュー画像から3Dシーンを提示することは、コンピュータビジョンとコンピュータグラフィックスにおける中核的かつ長年にわたる課題である。 2つの主な要件は、レンダリングと再構築である。 特に、SOTAレンダリングの品質は通常、集約されたポイント/プリミティブな色に依存し、基礎となるシーン幾何学を無視する、ニューラルネットワークのボリュームレンダリング技術によって達成される。 ニューラルな暗黙の表面の学習は、ニューラルレンダリングの成功から引き起こされる。 現在の作業では、密度場の分布やプリミティブの形状を制約し、結果として、学習されたシーン表面のレンダリング品質と欠陥が劣化する。 このような方法の有効性は、選択された神経表現の固有の制約によって制限され、特により大きく複雑なシーンにおいて、細かな表面の詳細を捉えるのに苦労する。 これらの問題に対処するために、GSDFは、フレキシブルで効率的な3Dガウススプラッティング(3DGS)表現とニューラルサイン付き距離場(SDF)の利点を組み合わせた、新しいデュアルブランチアーキテクチャである。 中心となる考え方は、相互指導と共同指導を通じてその制限を緩和しつつ、各ブランチの強みを活用、強化することである。 我々の設計がより正確で詳細な表面再構成の可能性を解き放ち、その一方で、基礎となる幾何学とより整合した構造を持つ3DGSレンダリングの利点を示す。

関連論文リスト

• GigaGS: Scaling up Planar-Based 3D Gaussians for Large Scene Surface Reconstruction [71.08607897266045]
  3D Gaussian Splatting (3DGS) は新規なビュー合成において有望な性能を示した。 本研究は,大規模な景観表面再構築の課題に取り組むための最初の試みである。 3DGSを用いた大規模シーンのための高品質な表面再構成手法であるGigaGSを提案する。
  論文  参考訳（メタデータ） (2024-09-10T17:51:39Z)
• Denoising Diffusion via Image-Based Rendering [54.20828696348574]
  実世界の3Dシーンの高速かつ詳細な再構築と生成を可能にする最初の拡散モデルを提案する。 まず、大きな3Dシーンを効率よく正確に表現できる新しいニューラルシーン表現であるIBプレーンを導入する。 第二に,2次元画像のみを用いて,この新たな3次元シーン表現の事前学習を行うためのデノイング拡散フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-05T19:00:45Z)
• Feature 3DGS: Supercharging 3D Gaussian Splatting to Enable Distilled Feature Fields [54.482261428543985]
  ニューラル・ラジアンス・フィールドを使用する手法は、新しいビュー合成のような従来のタスクに汎用的である。 3次元ガウシアンスプラッティングは, 実時間ラディアンス場レンダリングにおける最先端の性能を示した。 この問題を効果的に回避するために,アーキテクチャとトレーニングの変更を提案する。
  論文  参考訳（メタデータ） (2023-12-06T00:46:30Z)
• Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering [71.44349029439944]
  最近の3次元ガウス散乱法は、最先端のレンダリング品質と速度を達成している。 局所的な3Dガウス分布にアンカーポイントを用いるScaffold-GSを導入する。 提案手法は,高品質なレンダリングを実現しつつ,冗長なガウスを効果的に削減できることを示す。
  論文  参考訳（メタデータ） (2023-11-30T17:58:57Z)
• GS-IR: 3D Gaussian Splatting for Inverse Rendering [71.14234327414086]
  3次元ガウス散乱(GS)に基づく新しい逆レンダリング手法GS-IRを提案する。 我々は、未知の照明条件下で撮影された多視点画像からシーン形状、表面物質、環境照明を推定するために、新しいビュー合成のための最高のパフォーマンス表現であるGSを拡張した。 フレキシブルかつ表現力のあるGS表現は、高速かつコンパクトな幾何再構成、フォトリアリスティックな新規ビュー合成、有効物理ベースレンダリングを実現する。
  論文  参考訳（メタデータ） (2023-11-26T02:35:09Z)
• Single-view 3D Scene Reconstruction with High-fidelity Shape and Texture [47.44029968307207]
  本研究では,物体の形状とテクスチャを同時に高忠実度に再現する新しい枠組みを提案する。 提案手法は,SSR(Single-view Neural implicit Shape and Radiance Field)表現を用いて,明示的な3次元形状制御とボリュームレンダリングの両方を活用する。 我々のフレームワークの特徴は、単一のビュー3D再構成モデルにレンダリング機能をシームレスに統合しながら、きめ細かいテクスチャメッシュを生成する能力である。
  論文  参考訳（メタデータ） (2023-11-01T11:46:15Z)
• Neuralangelo: High-Fidelity Neural Surface Reconstruction [22.971952498343942]
  マルチレゾリューション3Dハッシュグリッドの表現力とニューラルサーフェスレンダリングを組み合わせたニューラルアンジェロを提案する。 深度などの補助的な入力がなくても、ニューラルランジェロは従来の手法をはるかに上回る忠実度を持つ多視点画像から高密度な3次元表面構造を効果的に回収することができる。
  論文  参考訳（メタデータ） (2023-06-05T17:59:57Z)
• Recovering Fine Details for Neural Implicit Surface Reconstruction [3.9702081347126943]
  そこで我々はD-NeuSを提案する。D-NeuSは、微細な幾何学的詳細を復元できるボリュームレンダリング型ニューラル暗示表面再構成法である。 我々は,SDFゼロクロスの補間により表面点に多視点の特徴的整合性を付与する。 本手法は,高精度な表面を細部で再構成し,その性能を向上する。
  論文  参考訳（メタデータ） (2022-11-21T10:06:09Z)
• GAN2X: Non-Lambertian Inverse Rendering of Image GANs [85.76426471872855]
  GAN2Xは、教師なし画像のみをトレーニングに使用する、教師なし逆レンダリングの新しい手法である。 3次元形状を主眼とする従来のShape-from-GANアプローチとは異なり、GANが生成した擬似ペアデータを利用して、非ランベルト材料特性を復元する試みは初めてである。 実験により, GAN2Xは2次元画像を3次元形状, アルベド, 特異な特性に正確に分解し, 教師なしの単視3次元顔再構成の最先端性能を実現することができた。
  論文  参考訳（メタデータ） (2022-06-18T16:58:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。