論文の概要: GeoSplatting: Towards Geometry Guided Gaussian Splatting for Physically-based Inverse Rendering

• arxiv url: http://arxiv.org/abs/2410.24204v2
• Date: Fri, 01 Nov 2024 16:31:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-04 14:34:04.443995
• Title: GeoSplatting: Towards Geometry Guided Gaussian Splatting for Physically-based Inverse Rendering
• Title（参考訳）: GeoSplatting:物理ベース逆レンダリングのための幾何学的ガウス的スプレイティングに向けて
• Authors: Kai Ye, Chong Gao, Guanbin Li, Wenzheng Chen, Baoquan Chen,
• Abstract要約: GeoSplattingは、3DGSを明示的な幾何学的ガイダンスと微分可能なPBR方程式で拡張する新しいハイブリッド表現である。 多様なデータセットにわたる総合的な評価は、GeoSplattingの優位性を示している。
• 参考スコア（独自算出の注目度）: 69.67264955234494
• License:
• Abstract: We consider the problem of physically-based inverse rendering using 3D Gaussian Splatting (3DGS) representations. While recent 3DGS methods have achieved remarkable results in novel view synthesis (NVS), accurately capturing high-fidelity geometry, physically interpretable materials and lighting remains challenging, as it requires precise geometry modeling to provide accurate surface normals, along with physically-based rendering (PBR) techniques to ensure correct material and lighting disentanglement. Previous 3DGS methods resort to approximating surface normals, but often struggle with noisy local geometry, leading to inaccurate normal estimation and suboptimal material-lighting decomposition. In this paper, we introduce GeoSplatting, a novel hybrid representation that augments 3DGS with explicit geometric guidance and differentiable PBR equations. Specifically, we bridge isosurface and 3DGS together, where we first extract isosurface mesh from a scalar field, then convert it into 3DGS points and formulate PBR equations for them in a fully differentiable manner. In GeoSplatting, 3DGS is grounded on the mesh geometry, enabling precise surface normal modeling, which facilitates the use of PBR frameworks for material decomposition. This approach further maintains the efficiency and quality of NVS from 3DGS while ensuring accurate geometry from the isosurface. Comprehensive evaluations across diverse datasets demonstrate the superiority of GeoSplatting, consistently outperforming existing methods both quantitatively and qualitatively.
• Abstract（参考訳）: 3次元ガウススプラッティング(3DGS)表現を用いた物理ベース逆レンダリングの問題点を考察する。 最近の3DGS法は、新しいビュー合成(NVS)において顕著な成果を上げているが、物理的に解釈可能な材料と照明は、正確な表面の正規性を提供するための正確な幾何学モデリングと、正しい材料と照明のゆがみを確保するための物理ベースのレンダリング(PBR)技術を必要とするため、依然として困難である。 従来の3DGS法は、表面の正規を近似するが、しばしばノイズの多い局所幾何学に悩まされ、不正確な正規推定と準最適物質光分解に繋がる。 本稿では,3DGSを明示的な幾何学的ガイダンスと微分可能なPBR方程式で拡張する新しいハイブリッド表現であるGeoSplattingを紹介する。 具体的には,まずスカラー場から等地メッシュを抽出し,それを3DGS点に変換し,PBR方程式を完全微分可能な方法で定式化する。 GeoSplattingでは、3DGSはメッシュ幾何学に基づいており、正確な表面正規モデリングを可能にし、PBRフレームワークを材料分解に利用することができる。 このアプローチは、3DGS からの NVS の効率と品質をさらに維持し、アイソサーフェスからの正確な幾何を確実にする。 多様なデータセットにわたる総合的な評価は、GeoSplattingの優位性を示し、既存の手法を定量的にも質的にも一貫して上回っている。

関連論文リスト

• 3D Gaussian Splatting for Large-scale Surface Reconstruction from Aerial Images [6.076999957937232]
  AGS(Aerial Gaussian Splatting)という,空中多視点ステレオ(MVS)画像を用いた3DGSによる大規模表面再構成手法を提案する。 まず,大規模空中画像に適したデータチャンキング手法を提案する。 次に,レイ・ガウス断面積法を3DGSに統合し,深度情報と正規情報を得る。
  論文  参考訳（メタデータ） (2024-08-31T08:17:24Z)
• SAGS: Structure-Aware 3D Gaussian Splatting [53.6730827668389]
  本研究では,シーンの形状を暗黙的に符号化する構造認識型ガウス散乱法(SAGS)を提案する。 SAGSは、最先端のレンダリング性能と、ベンチマークノベルビュー合成データセットのストレージ要件の削減を反映している。
  論文  参考訳（メタデータ） (2024-04-29T23:26:30Z)
• Gaussian Opacity Fields: Efficient Adaptive Surface Reconstruction in Unbounded Scenes [50.92217884840301]
  Gaussian Opacity Fields (GOF)は、シーンにおける効率的で高品質で適応的な表面再構成のための新しいアプローチである。 GOFは3Dガウスのレイトレーシングに基づくボリュームレンダリングに由来する。 GOFは、表面再構成と新しいビュー合成において、既存の3DGSベースの手法を超越している。
  論文  参考訳（メタデータ） (2024-04-16T17:57:19Z)
• SplatFace: Gaussian Splat Face Reconstruction Leveraging an Optimizable Surface [7.052369521411523]
  SplatFaceは3次元人間の顔再構成のための新しいガウススプレイティングフレームワークであり、正確な事前決定幾何に依存しない。 本手法は,高品質な新規ビューレンダリングと高精度な3Dメッシュ再構成の両方を同時に実現するように設計されている。
  論文  参考訳（メタデータ） (2024-03-27T17:32:04Z)
• 2D Gaussian Splatting for Geometrically Accurate Radiance Fields [50.056790168812114]
  3D Gaussian Splatting (3DGS)は近年,高画質の新規ビュー合成と高速レンダリングを実現し,放射界再構成に革命をもたらした。 多視点画像から幾何学的精度の高い放射場をモデル化・再構成するための新しいアプローチである2DGS(2D Gaussian Splatting)を提案する。 競合する外観品質、高速トレーニング速度、リアルタイムレンダリングを維持しつつ、ノイズフリーかつ詳細な幾何学的再構成を可能にする。
  論文  参考訳（メタデータ） (2024-03-26T17:21:24Z)
• GeoGS3D: Single-view 3D Reconstruction via Geometric-aware Diffusion Model and Gaussian Splatting [81.03553265684184]
  単視点画像から詳細な3Dオブジェクトを再構成するフレームワークであるGeoGS3Dを紹介する。 本稿では,GDS(Gaussian Divergence Significance)という新しい指標を提案する。 実験により、GeoGS3Dはビュー間で高い一貫性を持つ画像を生成し、高品質な3Dオブジェクトを再構成することを示した。
  論文  参考訳（メタデータ） (2024-03-15T12:24:36Z)
• GaussianPro: 3D Gaussian Splatting with Progressive Propagation [49.918797726059545]
  3DGSはStructure-from-Motion (SfM)技術によって生成されるポイントクラウドに大きく依存している。 本稿では, 3次元ガウスの密度化を導くために, プログレッシブ・プログレッシブ・プログレッシブ・ストラテジーを適用した新しい手法を提案する。 提案手法はデータセット上の3DGSを大幅に上回り,PSNRでは1.15dBの改善が見られた。
  論文  参考訳（メタデータ） (2024-02-22T16:00:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。