論文の概要: Depth-Regularized Optimization for 3D Gaussian Splatting in Few-Shot
Images
- arxiv url: http://arxiv.org/abs/2311.13398v3
- Date: Thu, 4 Jan 2024 08:19:16 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-05 17:09:41.623339
- Title: Depth-Regularized Optimization for 3D Gaussian Splatting in Few-Shot
Images
- Title(参考訳): ファウショット画像における3次元ガウス平滑化の深さ正規化最適化
- Authors: Jaeyoung Chung, Jeongtaek Oh, and Kyoung Mu Lee
- Abstract要約: オーバーフィッティングを緩和するための幾何ガイドとして,密集深度マップを導入する。
調整された深度は3Dガウススプラッティングのカラーベース最適化に有効である。
提案手法は,NeRF-LLFFデータセット上で,少ない画像数で検証する。
- 参考スコア(独自算出の注目度): 47.14713579719103
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we present a method to optimize Gaussian splatting with a
limited number of images while avoiding overfitting. Representing a 3D scene by
combining numerous Gaussian splats has yielded outstanding visual quality.
However, it tends to overfit the training views when only a small number of
images are available. To address this issue, we introduce a dense depth map as
a geometry guide to mitigate overfitting. We obtained the depth map using a
pre-trained monocular depth estimation model and aligning the scale and offset
using sparse COLMAP feature points. The adjusted depth aids in the color-based
optimization of 3D Gaussian splatting, mitigating floating artifacts, and
ensuring adherence to geometric constraints. We verify the proposed method on
the NeRF-LLFF dataset with varying numbers of few images. Our approach
demonstrates robust geometry compared to the original method that relies solely
on images. Project page: robot0321.github.io/DepthRegGS
- Abstract(参考訳): 本稿では,過剰適合を回避しつつ,限られた画像数でガウススプラッティングを最適化する方法を提案する。
多数のガウススプラットを組み合わせることで3Dシーンを表現することで、目立った視覚的品質が得られる。
しかし、少数の画像しか利用できない場合、トレーニングビューは過度に適合する傾向にある。
この問題に対処するため,オーバーフィッティングを緩和するための幾何ガイドとして深度マップを導入する。
事前学習した単眼深度推定モデルを用いて深度マップを求め,スパースコルマップ特徴点を用いたスケールとオフセットの調整を行った。
調整された深度は、3Dガウススプラッティングのカラーベース最適化、浮動小道具の緩和、幾何学的制約の遵守を保証する。
提案手法は,NeRF-LLFFデータセット上で,少ない画像数で検証する。
本手法は,画像のみに依存する元の手法と比較してロバストな形状を示す。
プロジェクトページ: Robot0321.github.io/DepthRegGS
関連論文リスト
- GS-SLAM: Dense Visual SLAM with 3D Gaussian Splatting [54.56928482110888]
本稿では,まず3次元ガウス表現を同時局所化・マッピングシステムで利用するtextbfGS-SLAM$を紹介する。
提案手法では,地図の最適化とRGB-D再レンダリングの大幅な高速化を実現するリアルタイム微分可能なスプレイティングレンダリングパイプラインを利用する。
提案手法は,Replica,TUM-RGBDデータセット上の既存の最先端リアルタイム手法と比較して,競争性能が向上する。
論文 参考訳(メタデータ) (2023-11-20T12:08:23Z) - Diff-DOPE: Differentiable Deep Object Pose Estimation [29.703385848843414]
Diff-DOPE, 画像入力を行う6-DoFポーズ精細機, オブジェクトの3次元テクスチャモデル, オブジェクトの初期ポーズを紹介する。
この方法は、画像とモデルの投影の間の視覚的エラーを最小限に抑えるために、オブジェクトのポーズを更新するために微分可能なレンダリングを使用する。
このシンプルで効果的なアイデアは、ポーズ推定データセットで最先端の結果を得ることができることを示す。
論文 参考訳(メタデータ) (2023-09-30T18:52:57Z) - FrozenRecon: Pose-free 3D Scene Reconstruction with Frozen Depth Models [67.96827539201071]
本稿では,3次元シーン再構成のための新しいテスト時間最適化手法を提案する。
本手法は5つのゼロショットテストデータセット上で,最先端のクロスデータセット再構築を実現する。
論文 参考訳(メタデータ) (2023-08-10T17:55:02Z) - NEF: Neural Edge Fields for 3D Parametric Curve Reconstruction from
Multi-view Images [18.303674194874457]
キャリブレーションされた多視点画像から物体の3次元特徴曲線を再構成する問題について検討する。
ニューラルエッジ場(NEF)と呼ばれる3次元エッジの密度分布を表すニューラル暗黙フィールドを学習する。
NEFは、所定のビューで2次元エッジマップを描画するビューベースのレンダリングロスで最適化され、そのビューの画像から抽出された接地トラスエッジマップと比較される。
論文 参考訳(メタデータ) (2023-03-14T06:45:13Z) - Neural 3D Scene Reconstruction with the Manhattan-world Assumption [58.90559966227361]
本稿では,多視点画像から3次元屋内シーンを再構築する課題について述べる。
平面的制約は、最近の暗黙の神経表現に基づく再構成手法に便利に組み込むことができる。
提案手法は, 従来の手法よりも3次元再構成品質に優れていた。
論文 参考訳(メタデータ) (2022-05-05T17:59:55Z) - Graph-Based Depth Denoising & Dequantization for Point Cloud Enhancement [47.61748619439693]
3Dポイントの雲は通常、センサーが1つ以上の視点で取得した深さの測定から構築される。
以前の作業では、不完全な深度データを3D空間に投影した後、点雲テクティタ後部をノイズ化する。
本研究では,3次元点雲の合成に先立って,検出画像のテクスタイタ事前に直接深度測定を施す。
論文 参考訳(メタデータ) (2021-11-09T04:17:35Z) - Depth Completion using Piecewise Planar Model [94.0808155168311]
深度マップは一連の学習された基底で表現することができ、閉じた解法で効率的に解ける。
しかし、この方法の1つの問題は、色境界が深さ境界と矛盾する場合にアーチファクトを生成することである。
私たちは、より厳密な深度回復モデルを実行します。
論文 参考訳(メタデータ) (2020-12-06T07:11:46Z) - Geometric Correspondence Fields: Learned Differentiable Rendering for 3D
Pose Refinement in the Wild [96.09941542587865]
野生の任意のカテゴリのオブジェクトに対する微分可能レンダリングに基づく新しい3次元ポーズ精細化手法を提案する。
このようにして、3DモデルとRGB画像のオブジェクトを正確に整列し、3Dポーズ推定を大幅に改善する。
我々は、Pix3Dデータセットの挑戦に対するアプローチを評価し、複数のメトリクスにおける最先端の精錬手法と比較して、最大55%の改善を実現した。
論文 参考訳(メタデータ) (2020-07-17T12:34:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。