論文の概要: RDG-GS: Relative Depth Guidance with Gaussian Splatting for Real-time Sparse-View 3D Rendering

• arxiv url: http://arxiv.org/abs/2501.11102v1
• Date: Sun, 19 Jan 2025 16:22:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-22 14:22:40.306845
• Title: RDG-GS: Relative Depth Guidance with Gaussian Splatting for Real-time Sparse-View 3D Rendering
• Title（参考訳）: RDG-GS: リアルタイムスパースビュー3Dレンダリングのためのガウススプレイティングによる相対深さ誘導
• Authors: Chenlu Zhan, Yufei Zhang, Yu Lin, Gaoang Wang, Hongwei Wang,
• Abstract要約: 本稿では,3次元ガウススプラッティングに基づく相対深度誘導を用いた新しいスパースビュー3DレンダリングフレームワークRDG-GSを提案する。 中心となる革新は、相対的な深度誘導を利用してガウス場を洗練させ、ビュー一貫性のある空間幾何学的表現に向けてそれを操ることである。 Mip-NeRF360, LLFF, DTU, Blenderに関する広範な実験を通じて、RDG-GSは最先端のレンダリング品質と効率を実証している。
• 参考スコア（独自算出の注目度）: 13.684624443214599
• License:
• Abstract: Efficiently synthesizing novel views from sparse inputs while maintaining accuracy remains a critical challenge in 3D reconstruction. While advanced techniques like radiance fields and 3D Gaussian Splatting achieve rendering quality and impressive efficiency with dense view inputs, they suffer from significant geometric reconstruction errors when applied to sparse input views. Moreover, although recent methods leverage monocular depth estimation to enhance geometric learning, their dependence on single-view estimated depth often leads to view inconsistency issues across different viewpoints. Consequently, this reliance on absolute depth can introduce inaccuracies in geometric information, ultimately compromising the quality of scene reconstruction with Gaussian splats. In this paper, we present RDG-GS, a novel sparse-view 3D rendering framework with Relative Depth Guidance based on 3D Gaussian Splatting. The core innovation lies in utilizing relative depth guidance to refine the Gaussian field, steering it towards view-consistent spatial geometric representations, thereby enabling the reconstruction of accurate geometric structures and capturing intricate textures. First, we devise refined depth priors to rectify the coarse estimated depth and insert global and fine-grained scene information to regular Gaussians. Building on this, to address spatial geometric inaccuracies from absolute depth, we propose relative depth guidance by optimizing the similarity between spatially correlated patches of depth and images. Additionally, we also directly deal with the sparse areas challenging to converge by the adaptive sampling for quick densification. Across extensive experiments on Mip-NeRF360, LLFF, DTU, and Blender, RDG-GS demonstrates state-of-the-art rendering quality and efficiency, making a significant advancement for real-world application.
• Abstract（参考訳）: 精度を維持しながらスパース入力からの新規ビューを効果的に合成することは、3次元再構成において重要な課題である。 放射場や3次元ガウススプラッティングのような高度な技術は、高密度のビューインプットでレンダリング品質と印象的な効率を達成する一方で、スパースインプットビューに適用した場合、かなりの幾何的再構成誤差に悩まされる。 さらに、近年の手法では、一眼深度推定を利用して幾何学的学習を向上させるが、一眼深度推定への依存は、しばしば異なる視点における不整合性の問題に繋がる。 したがって、絶対深度に依存しているため、幾何学的情報に不正確さを生じさせ、最終的にガウススプラッターによる景観復元の質を損なうことになる。 本稿では,3次元ガウススプラッティングに基づく相対深度誘導を用いた新しいスパースビュー3DレンダリングフレームワークRDG-GSを提案する。 中心となる革新は、相対的な深度誘導を利用してガウス場を洗練させ、それを視界に一貫性のある空間幾何学的表現に向けて操り、正確な幾何学的構造を再構築し、複雑なテクスチャを捉えることである。 まず、粗い推定深度を補正し、グローバルできめ細かい風景情報を正規のガウスに挿入するために、精密な深度を事前に考案する。 これに基づいて、絶対深度からの空間的幾何学的不正確性に対処するため、空間的相関のパッチと画像との類似性を最適化し、相対的な深度誘導を提案する。 また, 急激なデンシフィケーションのための適応サンプリングにより, 収束に苦慮するスパース領域に直接対処する。 Mip-NeRF360, LLFF, DTU, Blenderに関する広範な実験を通じて、RDG-GSは最先端のレンダリング品質と効率を実証し、現実世界のアプリケーションに多大な進歩をもたらした。

関連論文リスト

• AGS-Mesh: Adaptive Gaussian Splatting and Meshing with Geometric Priors for Indoor Room Reconstruction Using Smartphones [19.429461194706786]
  室内シーンの正確な3次元再構成のためのガウススメッティング法における接合面深度と正規化のアプローチを提案する。 我々のフィルタリング戦略と最適化設計は、メッシュ推定と新規ビュー合成の両方において大きな改善を示す。
  論文  参考訳（メタデータ） (2024-11-28T17:04:32Z)
• GPS-Gaussian+: Generalizable Pixel-wise 3D Gaussian Splatting for Real-Time Human-Scene Rendering from Sparse Views [67.34073368933814]
  スパースビューカメラ設定下での高解像度画像レンダリングのための一般化可能なガウススプラッティング手法を提案する。 我々は,人間のみのデータや人景データに基づいてガウスパラメータ回帰モジュールをトレーニングし,深度推定モジュールと共同で2次元パラメータマップを3次元空間に引き上げる。 いくつかのデータセットに対する実験により、我々の手法はレンダリング速度を超越しながら最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2024-11-18T08:18:44Z)
• PF3plat: Pose-Free Feed-Forward 3D Gaussian Splatting [54.7468067660037]
  PF3platは、設計選択を検証した包括的なアブレーション研究によってサポートされた、すべてのベンチマークに新しい最先端を設定します。 本フレームワークは,3DGSの高速,スケーラビリティ,高品質な3D再構成とビュー合成機能を活用している。
  論文  参考訳（メタデータ） (2024-10-29T15:28:15Z)
• Mode-GS: Monocular Depth Guided Anchored 3D Gaussian Splatting for Robust Ground-View Scene Rendering [47.879695094904015]
  そこで本研究では,地上ロボット軌道データセットのための新しいビューレンダリングアルゴリズムであるMode-GSを提案する。 提案手法は,既存の3次元ガウススプラッティングアルゴリズムの限界を克服する目的で,アンカー付きガウススプラッターを用いている。 提案手法は,PSNR,SSIM,LPIPSの計測値に基づいて,自由軌道パターンを持つ地上環境におけるレンダリング性能を向上する。
  論文  参考訳（メタデータ） (2024-10-06T23:01:57Z)
• Visual SLAM with 3D Gaussian Primitives and Depth Priors Enabling Novel View Synthesis [11.236094544193605]
  従来の幾何学に基づくSLAMシステムは、密度の高い3D再構成機能を持たない。 本稿では,新しいビュー合成技術である3次元ガウススプラッティングを組み込んだリアルタイムRGB-D SLAMシステムを提案する。
  論文  参考訳（メタデータ） (2024-08-10T21:23:08Z)
• Uncertainty-guided Optimal Transport in Depth Supervised Sparse-View 3D Gaussian [49.21866794516328]
  3次元ガウシアンスプラッティングは、リアルタイムな新規ビュー合成において顕著な性能を示した。 これまでのアプローチでは、3Dガウスの訓練に奥行き監視を取り入れ、オーバーフィッティングを軽減してきた。 本研究では,3次元ガウスの深度分布を可視化する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-30T03:18:30Z)
• Gaussian Opacity Fields: Efficient Adaptive Surface Reconstruction in Unbounded Scenes [50.92217884840301]
  Gaussian Opacity Fields (GOF)は、シーンにおける効率的で高品質で適応的な表面再構成のための新しいアプローチである。 GOFは3Dガウスのレイトレーシングに基づくボリュームレンダリングに由来する。 GOFは、表面再構成と新しいビュー合成において、既存の3DGSベースの手法を超越している。
  論文  参考訳（メタデータ） (2024-04-16T17:57:19Z)
• 2D Gaussian Splatting for Geometrically Accurate Radiance Fields [50.056790168812114]
  3D Gaussian Splatting (3DGS)は近年,高画質の新規ビュー合成と高速レンダリングを実現し,放射界再構成に革命をもたらした。 多視点画像から幾何学的精度の高い放射場をモデル化・再構成するための新しいアプローチである2DGS(2D Gaussian Splatting)を提案する。 競合する外観品質、高速トレーニング速度、リアルタイムレンダリングを維持しつつ、ノイズフリーかつ詳細な幾何学的再構成を可能にする。
  論文  参考訳（メタデータ） (2024-03-26T17:21:24Z)
• DNGaussian: Optimizing Sparse-View 3D Gaussian Radiance Fields with Global-Local Depth Normalization [21.474938045227702]
  放射場は、スパース入力ビューから新しいビューを合成する際、顕著な性能を示してきたが、一般的な方法は、高いトレーニングコストと遅い推論速度に悩まされている。 本稿では,DNGaussianについて紹介する。DNGaussianは3次元ガウス放射場に基づく奥行き規則化フレームワークで,低コストでリアルタイムかつ高品質なノベルショットビュー合成を提供する。
  論文  参考訳（メタデータ） (2024-03-11T17:02:11Z)
• Occlusion-Aware Depth Estimation with Adaptive Normal Constraints [85.44842683936471]
  カラービデオから多フレーム深度を推定する新しい学習手法を提案する。 本手法は深度推定精度において最先端の手法より優れる。
  論文  参考訳（メタデータ） (2020-04-02T07:10:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。