論文の概要: See In Detail: Enhancing Sparse-view 3D Gaussian Splatting with Local Depth and Semantic Regularization

• arxiv url: http://arxiv.org/abs/2501.11508v1
• Date: Mon, 20 Jan 2025 14:30:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-22 14:22:31.863811
• Title: See In Detail: Enhancing Sparse-view 3D Gaussian Splatting with Local Depth and Semantic Regularization
• Title（参考訳）: Sparse-view 3D Gaussian Splatting with Local Depth and Semantic regularization
• Authors: Zongqi He, Zhe Xiao, Kin-Chung Chan, Yushen Zuo, Jun Xiao, Kin-Man Lam,
• Abstract要約: 3次元ガウス散乱(3DGS)は、新規なビュー合成において顕著な性能を示した。 しかし、そのレンダリング品質は、粗いインフットビューによって劣化し、歪んだコンテンツと細部が減少する。 本稿では,事前情報を取り入れたスパースビュー3DGS法を提案する。 LLFFデータセット上でPSNRを最大0.4dB改善し、最先端の新規ビュー合成手法より優れる。
• 参考スコア（独自算出の注目度）: 14.239772421978373
• License:
• Abstract: 3D Gaussian Splatting (3DGS) has shown remarkable performance in novel view synthesis. However, its rendering quality deteriorates with sparse inphut views, leading to distorted content and reduced details. This limitation hinders its practical application. To address this issue, we propose a sparse-view 3DGS method. Given the inherently ill-posed nature of sparse-view rendering, incorporating prior information is crucial. We propose a semantic regularization technique, using features extracted from the pretrained DINO-ViT model, to ensure multi-view semantic consistency. Additionally, we propose local depth regularization, which constrains depth values to improve generalization on unseen views. Our method outperforms state-of-the-art novel view synthesis approaches, achieving up to 0.4dB improvement in terms of PSNR on the LLFF dataset, with reduced distortion and enhanced visual quality.
• Abstract（参考訳）: 3次元ガウス散乱(3DGS)は、新規なビュー合成において顕著な性能を示した。 しかし、そのレンダリング品質は、粗いインフットビューによって劣化し、歪んだコンテンツと細部が減少する。 この制限は実用化を妨げている。 この問題に対処するために,スパースビュー3DGS法を提案する。 スパースビューレンダリングの本質的に不適切な性質を考えると、事前情報を取り入れることは重要である。 本稿では,事前学習したDINO-ViTモデルから抽出した特徴を用いたセマンティック正規化手法を提案する。 さらに、未確認ビューの一般化を改善するために、深さ値を制約する局所深度正規化を提案する。 LLFFデータセット上でPSNRを最大0.4dB改善し,歪みを低減し,視覚的品質を向上する。

関連論文リスト

• GPS-Gaussian+: Generalizable Pixel-wise 3D Gaussian Splatting for Real-Time Human-Scene Rendering from Sparse Views [67.34073368933814]
  スパースビューカメラ設定下での高解像度画像レンダリングのための一般化可能なガウススプラッティング手法を提案する。 我々は,人間のみのデータや人景データに基づいてガウスパラメータ回帰モジュールをトレーニングし,深度推定モジュールと共同で2次元パラメータマップを3次元空間に引き上げる。 いくつかのデータセットに対する実験により、我々の手法はレンダリング速度を超越しながら最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2024-11-18T08:18:44Z)
• PF3plat: Pose-Free Feed-Forward 3D Gaussian Splatting [54.7468067660037]
  PF3platは、設計選択を検証した包括的なアブレーション研究によってサポートされた、すべてのベンチマークに新しい最先端を設定します。 本フレームワークは,3DGSの高速,スケーラビリティ,高品質な3D再構成とビュー合成機能を活用している。
  論文  参考訳（メタデータ） (2024-10-29T15:28:15Z)
• Mode-GS: Monocular Depth Guided Anchored 3D Gaussian Splatting for Robust Ground-View Scene Rendering [47.879695094904015]
  そこで本研究では,地上ロボット軌道データセットのための新しいビューレンダリングアルゴリズムであるMode-GSを提案する。 提案手法は,既存の3次元ガウススプラッティングアルゴリズムの限界を克服する目的で,アンカー付きガウススプラッターを用いている。 提案手法は,PSNR,SSIM,LPIPSの計測値に基づいて,自由軌道パターンを持つ地上環境におけるレンダリング性能を向上する。
  論文  参考訳（メタデータ） (2024-10-06T23:01:57Z)
• Optimizing 3D Gaussian Splatting for Sparse Viewpoint Scene Reconstruction [11.840097269724792]
  3D Gaussian Splatting (3DGS)は3Dシーン表現の有望なアプローチとして登場し、Neural Radiance Fields (NeRF)と比較して計算オーバーヘッドの低減を実現している。 SVS-GSは,3次元ガウス平滑化フィルタを統合して人工物を抑制する,スパースビューポイントシーン再構築のための新しいフレームワークである。
  論文  参考訳（メタデータ） (2024-09-05T03:18:04Z)
• LoopSparseGS: Loop Based Sparse-View Friendly Gaussian Splatting [18.682864169561498]
  LoopSparseGSは、疎結合なビュー合成タスクのためのループベースの3DGSフレームワークである。 Sparse-Friended Smpling (SFS) 戦略を導入し,ガウス楕円体を過剰に処理し,画素誤差が大きくなった。 4つのデータセットの実験により、LoopSparseGSはスパース・インプット・ノベルビューの合成において既存の最先端の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-08-01T03:26:50Z)
• Uncertainty-guided Optimal Transport in Depth Supervised Sparse-View 3D Gaussian [49.21866794516328]
  3次元ガウシアンスプラッティングは、リアルタイムな新規ビュー合成において顕著な性能を示した。 これまでのアプローチでは、3Dガウスの訓練に奥行き監視を取り入れ、オーバーフィッティングを軽減してきた。 本研究では,3次元ガウスの深度分布を可視化する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-30T03:18:30Z)
• FSGS: Real-Time Few-shot View Synthesis using Gaussian Splatting [58.41056963451056]
  本稿では,3次元ガウススプラッティングに基づく数ショットビュー合成フレームワークを提案する。 このフレームワークは3つのトレーニングビューでリアルタイムおよびフォトリアリスティックなビュー合成を可能にする。 FSGSは、さまざまなデータセットの精度とレンダリング効率の両方で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-12-01T09:30:02Z)
• Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering [71.44349029439944]
  最近の3次元ガウス散乱法は、最先端のレンダリング品質と速度を達成している。 局所的な3Dガウス分布にアンカーポイントを用いるScaffold-GSを導入する。 提案手法は,高品質なレンダリングを実現しつつ,冗長なガウスを効果的に削減できることを示す。
  論文  参考訳（メタデータ） (2023-11-30T17:58:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。