論文の概要: GS-ROR$^2$: Bidirectional-guided 3DGS and SDF for Reflective Object Relighting and Reconstruction

• arxiv url: http://arxiv.org/abs/2406.18544v3
• Date: Mon, 28 Apr 2025 03:45:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:51.841834
• Title: GS-ROR$^2$: Bidirectional-guided 3DGS and SDF for Reflective Object Relighting and Reconstruction
• Title（参考訳）: GS-ROR$^2$:双方向誘導3DGSと反射物体の照準と再構成のためのSDF
• Authors: Zuo-Liang Zhu, Beibei Wang, Jian Yang,
• Abstract要約: 照明モデルの効率的な最適化のためのSDF支援型ガウススプラッティングと,高品質な幾何再構成のためのGS誘導型SDF拡張を提案する。 提案手法は,17%の余分なトレーニング時間で,反射物体に高品質なメッシュを提供することができる。
• 参考スコア（独自算出の注目度）: 20.523085632567717
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: 3D Gaussian Splatting (3DGS) has shown a powerful capability for novel view synthesis due to its detailed expressive ability and highly efficient rendering speed. Unfortunately, creating relightable 3D assets and reconstructing faithful geometry with 3DGS is still problematic, particularly for reflective objects, as its discontinuous representation raises difficulties in constraining geometries. Volumetric signed distance field (SDF) methods provide robust geometry reconstruction, while the expensive ray marching hinders its real-time application and slows the training. Besides, these methods struggle to capture sharp geometric details. To this end, we propose to guide 3DGS and SDF bidirectionally in a complementary manner, including an SDF-aided Gaussian splatting for efficient optimization of the relighting model and a GS-guided SDF enhancement for high-quality geometry reconstruction. At the core of our SDF-aided Gaussian splatting is the mutual supervision of the depth and normal between blended Gaussians and SDF, which avoids the expensive volume rendering of SDF. Thanks to this mutual supervision, the learned blended Gaussians are well-constrained with a minimal time cost. As the Gaussians are rendered in a deferred shading mode, the alpha-blended Gaussians are smooth, while individual Gaussians may still be outliers, yielding floater artifacts. Therefore, we introduce an SDF-aware pruning strategy to remove Gaussian outliers located distant from the surface defined by SDF, avoiding floater issue. This way, our GS framework provides reasonable normal and achieves realistic relighting, while the mesh from depth is still problematic. Therefore, we design a GS-guided SDF refinement, which utilizes the blended normal from Gaussians to finetune SDF. With this enhancement, our method can further provide high-quality meshes for reflective objects at the cost of 17% extra training time.
• Abstract（参考訳）: 3D Gaussian Splatting (3DGS) は、その詳細な表現能力と高効率なレンダリング速度により、新しいビュー合成の強力な能力を示している。 残念なことに、3DGSで再現可能な3Dアセットを作成し、忠実な幾何学を再構築することは、特に反射オブジェクトにとって問題であり、不連続な表現は測地を制約する上で困難を生じさせる。 体積符号距離場 (SDF) 法は、ロバストな幾何学的再構成を提供するが、高価な光線マーチングはリアルタイムの応用を妨げ、訓練を遅らせる。 さらに、これらの手法は鋭い幾何学的詳細を捉えるのに苦労している。 そこで本研究では,SDF支援型ガウススプラッティングによる照明モデルの効率的な最適化と,高品質な形状復元のためのGS誘導型SDFエンハンスメントを含む3DGSとSDFを相補的にガイドすることを提案する。 SDFを補助するガウシアンスプラッティングの核心は、SDFの高価なボリュームレンダリングを回避するため、混合ガウシアンとSDFの深さと正常の相互監督である。 この相互監督のおかげで、学習された混合ガウス人は最小の時間費用で十分に拘束されている。 ガウス人は遅延シェーディングモードでレンダリングされるため、アルファブレンドのガウス人は滑らかであり、個々のガウス人は依然としてアウトリーであり、フローターの人工物が得られる。 そこで本研究では,SDFが定義する表面から離れたガウシアンアウトリールを除去し,フロータ問題を回避するため,SDF対応プルーニング戦略を導入する。 このようにして、GSフレームワークは妥当な正規性を提供し、現実的なリライトを実現しますが、深さからのメッシュはまだ問題があります。 そこで我々は, ガウスの混合正規度を利用してSDFを微調整するGS誘導SDF改良法を設計した。 この拡張により、我々の手法は17%の余分なトレーニング時間で反射物体に高品質なメッシュを提供することができる。

関連論文リスト

• G2SDF: Surface Reconstruction from Explicit Gaussians with Implicit SDFs [84.07233691641193]
  G2SDFはニューラル暗黙の符号付き距離場をガウススプラッティングフレームワークに統合する新しいアプローチである。 G2SDFは, 3DGSの効率を維持しつつ, 従来よりも優れた品質を実現する。
  論文  参考訳（メタデータ） (2024-11-25T20:07:07Z)
• SplatSDF: Boosting Neural Implicit SDF via Gaussian Splatting Fusion [13.013832790126541]
  我々は,3DGSandSDF-NeRFをアーキテクチャレベルで融合させる「SplatSDF」と呼ばれる新しいニューラル暗黙的SDFを提案し,幾何的および光度精度と収束速度を大幅に向上させた。 提案手法は,提案時の幾何的および測光的評価において,最先端のSDF-NeRFモデルより優れる。
  論文  参考訳（メタデータ） (2024-11-23T06:35:19Z)
• Neural Signed Distance Function Inference through Splatting 3D Gaussians Pulled on Zero-Level Set [49.780302894956776]
  多視点表面再構成における符号付き距離関数(SDF)の推測は不可欠である。 本稿では3DGSとニューラルSDFの学習をシームレスに融合する手法を提案する。 我々の数値的および視覚的比較は、広く使用されているベンチマークの最先端結果よりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-10-18T05:48:06Z)
• GS-Octree: Octree-based 3D Gaussian Splatting for Robust Object-level 3D Reconstruction Under Strong Lighting [4.255847344539736]
  我々はオクツリーに基づく暗黙的な表面表現とガウススプラッティングを組み合わせた新しいアプローチを導入する。 SDFによる3次元ガウス分布を利用した本手法は,特に高輝度光による特徴強調画像において,より正確な形状を再構成する。
  論文  参考訳（メタデータ） (2024-06-26T09:29:56Z)
• RaNeuS: Ray-adaptive Neural Surface Reconstruction [87.20343320266215]
  微分可能放射場 eg NeRF を利用して、新しいビューレンダリングを生成するとともに、詳細な3次元表面を再構成する。 本研究では,SDFから放射場への射影を一様等間隔のアイコニカル正規化で定式化し,最適化することを考えると,光度重み付け係数を改良する。 提案する textitRaNeuS は,合成データと実データの両方で広く評価されている。
  論文  参考訳（メタデータ） (2024-06-14T07:54:25Z)
• Gaussian Opacity Fields: Efficient Adaptive Surface Reconstruction in Unbounded Scenes [50.92217884840301]
  Gaussian Opacity Fields (GOF)は、シーンにおける効率的で高品質で適応的な表面再構成のための新しいアプローチである。 GOFは3Dガウスのレイトレーシングに基づくボリュームレンダリングに由来する。 GOFは、表面再構成と新しいビュー合成において、既存の3DGSベースの手法を超越している。
  論文  参考訳（メタデータ） (2024-04-16T17:57:19Z)
• 3DGSR: Implicit Surface Reconstruction with 3D Gaussian Splatting [58.95801720309658]
  本稿では,3次元ガウス散乱(3DGS),すなわち3DGSRを用いた暗黙的表面再構成法を提案する。 重要な洞察は、暗黙の符号付き距離場(SDF)を3Dガウスに組み込んで、それらが整列され、共同最適化されるようにすることである。 実験により, 3DGSの効率とレンダリング品質を保ちながら, 高品質な3D表面再構成が可能な3DGSR法が実証された。
  論文  参考訳（メタデータ） (2024-03-30T16:35:38Z)
• 2D Gaussian Splatting for Geometrically Accurate Radiance Fields [50.056790168812114]
  3D Gaussian Splatting (3DGS)は近年,高画質の新規ビュー合成と高速レンダリングを実現し,放射界再構成に革命をもたらした。 多視点画像から幾何学的精度の高い放射場をモデル化・再構成するための新しいアプローチである2DGS(2D Gaussian Splatting)を提案する。 競合する外観品質、高速トレーニング速度、リアルタイムレンダリングを維持しつつ、ノイズフリーかつ詳細な幾何学的再構成を可能にする。
  論文  参考訳（メタデータ） (2024-03-26T17:21:24Z)
• GaussianPro: 3D Gaussian Splatting with Progressive Propagation [49.918797726059545]
  3DGSはStructure-from-Motion (SfM)技術によって生成されるポイントクラウドに大きく依存している。 本稿では, 3次元ガウスの密度化を導くために, プログレッシブ・プログレッシブ・プログレッシブ・ストラテジーを適用した新しい手法を提案する。 提案手法はデータセット上の3DGSを大幅に上回り,PSNRでは1.15dBの改善が見られた。
  論文  参考訳（メタデータ） (2024-02-22T16:00:20Z)
• GES: Generalized Exponential Splatting for Efficient Radiance Field Rendering [112.16239342037714]
  GES(Generalized Exponential Splatting)は、GEF(Generalized Exponential Function)を用いて3Dシーンをモデル化する斬新な表現である。 周波数変調損失の助けを借りて、GESは新規なビュー合成ベンチマークにおいて競合性能を達成する。
  論文  参考訳（メタデータ） (2024-02-15T17:32:50Z)
• GaussianShader: 3D Gaussian Splatting with Shading Functions for Reflective Surfaces [45.15827491185572]
  反射面を持つシーンにおけるニューラルレンダリングを強化するために, 簡易シェーディング機能を3次元ガウスに応用する新しい手法を提案する。 実験の結果、ガウシアンシェーダーは効率と視覚的品質のバランスを保っていることがわかった。
  論文  参考訳（メタデータ） (2023-11-29T17:22:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。