論文の概要: SplatSDF: Boosting Neural Implicit SDF via Gaussian Splatting Fusion

• arxiv url: http://arxiv.org/abs/2411.15468v1
• Date: Sat, 23 Nov 2024 06:35:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-26 14:18:25.446210
• Title: SplatSDF: Boosting Neural Implicit SDF via Gaussian Splatting Fusion
• Title（参考訳）: SplatSDF: Gassian Splatting Fusionによる神経障害性SDFの増強
• Authors: Runfa Blark Li, Keito Suzuki, Bang Du, Ki Myung Brian Le, Nikolay Atanasov, Truong Nguyen,
• Abstract要約: 我々は,3DGSandSDF-NeRFをアーキテクチャレベルで融合させる「SplatSDF」と呼ばれる新しいニューラル暗黙的SDFを提案し,幾何的および光度精度と収束速度を大幅に向上させた。 提案手法は,提案時の幾何的および測光的評価において,最先端のSDF-NeRFモデルより優れる。
• 参考スコア（独自算出の注目度）: 13.013832790126541
• License:
• Abstract: A signed distance function (SDF) is a useful representation for continuous-space geometry and many related operations, including rendering, collision checking, and mesh generation. Hence, reconstructing SDF from image observations accurately and efficiently is a fundamental problem. Recently, neural implicit SDF (SDF-NeRF) techniques, trained using volumetric rendering, have gained a lot of attention. Compared to earlier truncated SDF (TSDF) fusion algorithms that rely on depth maps and voxelize continuous space, SDF-NeRF enables continuous-space SDF reconstruction with better geometric and photometric accuracy. However, the accuracy and convergence speed of scene-level SDF reconstruction require further improvements for many applications. With the advent of 3D Gaussian Splatting (3DGS) as an explicit representation with excellent rendering quality and speed, several works have focused on improving SDF-NeRF by introducing consistency losses on depth and surface normals between 3DGS and SDF-NeRF. However, loss-level connections alone lead to incremental improvements. We propose a novel neural implicit SDF called "SplatSDF" to fuse 3DGSandSDF-NeRF at an architecture level with significant boosts to geometric and photometric accuracy and convergence speed. Our SplatSDF relies on 3DGS as input only during training, and keeps the same complexity and efficiency as the original SDF-NeRF during inference. Our method outperforms state-of-the-art SDF-NeRF models on geometric and photometric evaluation by the time of submission.
• Abstract（参考訳）: 符号付き距離関数(SDF)は、連続空間幾何学や、レンダリング、衝突チェック、メッシュ生成など、多くの関連する操作において有用な表現である。 したがって、画像観察からSDFを正確にかつ効率的に再構築することは、根本的な問題である。 近年,ボリュームレンダリングを用いて訓練した神経暗黙的SDF(SDF-NeRF)技術が注目されている。 SDF-NeRFは、深度マップとボクセル化連続空間に依存する初期のTSDF融合アルゴリズムと比較して、幾何的および測光的精度で連続空間のSDF再構成を可能にする。 しかし、シーンレベルのSDF再構成の精度と収束速度は、多くのアプリケーションにさらなる改善を必要とする。 3DGaussian Splatting(3DGS)がレンダリング品質と速度の優れた明示的な表現として登場し、SDF-NeRFの改善に重点を置いている。 しかし、損失レベルの接続だけでは、漸進的な改善につながります。 我々は,3DGSandSDF-NeRFをアーキテクチャレベルで融合させる「SplatSDF」と呼ばれる新しいニューラル暗黙的SDFを提案し,幾何的および光度精度と収束速度を大幅に向上させた。 我々のSplatSDFは、トレーニング中のみ入力として3DGSに依存しており、推論時に元のSDF-NeRFと同じ複雑さと効率を保っている。 提案手法は,提案時の幾何的および測光的評価において,最先端のSDF-NeRFモデルより優れる。

関連論文リスト

• FOF-X: Towards Real-time Detailed Human Reconstruction from a Single Image [68.84221452621674]
  本稿では,1枚の画像から詳細な人物形状をリアルタイムに再現するFOF-Xを提案する。 FOF-Xはテクスチャや照明による性能劣化を避ける。 FOFとメッシュ表現間の変換アルゴリズムをラプラシアン制約とオートマトンベース不連続整合器で拡張する。
  論文  参考訳（メタデータ） (2024-12-08T14:46:29Z)
• G2SDF: Surface Reconstruction from Explicit Gaussians with Implicit SDFs [84.07233691641193]
  G2SDFはニューラル暗黙の符号付き距離場をガウススプラッティングフレームワークに統合する新しいアプローチである。 G2SDFは, 3DGSの効率を維持しつつ, 従来よりも優れた品質を実現する。
  論文  参考訳（メタデータ） (2024-11-25T20:07:07Z)
• Neural Signed Distance Function Inference through Splatting 3D Gaussians Pulled on Zero-Level Set [49.780302894956776]
  多視点表面再構成における符号付き距離関数(SDF)の推測は不可欠である。 本稿では3DGSとニューラルSDFの学習をシームレスに融合する手法を提案する。 我々の数値的および視覚的比較は、広く使用されているベンチマークの最先端結果よりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-10-18T05:48:06Z)
• Ray-Distance Volume Rendering for Neural Scene Reconstruction [15.125703603989715]
  ニューラルシーン再構築における既存の手法は、SDF(Signed Distance Function)を用いて密度関数をモデル化する。 室内のシーンでは、サンプリングされた点に対するSDFから計算された密度は、ボリュームレンダリングにおいてその真の重要性を常に反映していないかもしれない。 本研究は,信号線距離関数(SRDF)を用いて密度関数をパラメータ化する屋内シーン再構築手法を提案する。
  論文  参考訳（メタデータ） (2024-08-28T04:19:14Z)
• GS-Octree: Octree-based 3D Gaussian Splatting for Robust Object-level 3D Reconstruction Under Strong Lighting [4.255847344539736]
  我々はオクツリーに基づく暗黙的な表面表現とガウススプラッティングを組み合わせた新しいアプローチを導入する。 SDFによる3次元ガウス分布を利用した本手法は,特に高輝度光による特徴強調画像において,より正確な形状を再構成する。
  論文  参考訳（メタデータ） (2024-06-26T09:29:56Z)
• RaNeuS: Ray-adaptive Neural Surface Reconstruction [87.20343320266215]
  微分可能放射場 eg NeRF を利用して、新しいビューレンダリングを生成するとともに、詳細な3次元表面を再構成する。 本研究では,SDFから放射場への射影を一様等間隔のアイコニカル正規化で定式化し,最適化することを考えると,光度重み付け係数を改良する。 提案する textitRaNeuS は,合成データと実データの両方で広く評価されている。
  論文  参考訳（メタデータ） (2024-06-14T07:54:25Z)
• GaussianRoom: Improving 3D Gaussian Splatting with SDF Guidance and Monocular Cues for Indoor Scene Reconstruction [3.043712258792239]
  ニューラルネットワークSDFと3DGSを統合した統合フレームワークを提案する。 このフレームワークには学習可能なニューラルネットワークSDFフィールドが組み込まれており、ガウスの密度化と刈り取りをガイドしている。 本手法は, 表面再構成と新しいビュー合成の両面において, 最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-05-30T03:46:59Z)
• GS-ROR: 3D Gaussian Splatting for Reflective Object Relighting via SDF Priors [20.523085632567717]
  SDF前駆体を用いた3DGSでリライトする反射物体に対してGS-RORを提案する。 提案手法は,既存のガウス方式の逆レンダリング手法よりも,照明品質に優れる。
  論文  参考訳（メタデータ） (2024-05-22T09:40:25Z)
• 3DGSR: Implicit Surface Reconstruction with 3D Gaussian Splatting [58.95801720309658]
  本稿では,3次元ガウス散乱(3DGS),すなわち3DGSRを用いた暗黙的表面再構成法を提案する。 重要な洞察は、暗黙の符号付き距離場(SDF)を3Dガウスに組み込んで、それらが整列され、共同最適化されるようにすることである。 実験により, 3DGSの効率とレンダリング品質を保ちながら, 高品質な3D表面再構成が可能な3DGSR法が実証された。
  論文  参考訳（メタデータ） (2024-03-30T16:35:38Z)
• Neural Geometric Level of Detail: Real-time Rendering with Implicit 3D Shapes [77.6741486264257]
  本稿では,高忠実度ニューラルネットワークSDFのリアルタイムレンダリングを可能にする,効率的なニューラル表現を提案する。 我々の表現は、以前の作品に比べてレンダリング速度の点で2～3桁の効率であることを示す。
  論文  参考訳（メタデータ） (2021-01-26T18:50:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。