論文の概要: Uncertainty-guided Optimal Transport in Depth Supervised Sparse-View 3D Gaussian
- arxiv url: http://arxiv.org/abs/2405.19657v1
- Date: Thu, 30 May 2024 03:18:30 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-31 18:26:21.599631
- Title: Uncertainty-guided Optimal Transport in Depth Supervised Sparse-View 3D Gaussian
- Title(参考訳): 深度監督されたスパースビュー3次元ガウスにおける不確かさ誘導最適輸送
- Authors: Wei Sun, Qi Zhang, Yanzhao Zhou, Qixiang Ye, Jianbin Jiao, Yuan Li,
- Abstract要約: 3次元ガウシアンスプラッティングは、リアルタイムな新規ビュー合成において顕著な性能を示した。
これまでのアプローチでは、3Dガウスの訓練に奥行き監視を取り入れ、オーバーフィッティングを軽減してきた。
本研究では,3次元ガウスの深度分布を可視化する新しい手法を提案する。
- 参考スコア(独自算出の注目度): 49.21866794516328
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: 3D Gaussian splatting has demonstrated impressive performance in real-time novel view synthesis. However, achieving successful reconstruction from RGB images generally requires multiple input views captured under static conditions. To address the challenge of sparse input views, previous approaches have incorporated depth supervision into the training of 3D Gaussians to mitigate overfitting, using dense predictions from pretrained depth networks as pseudo-ground truth. Nevertheless, depth predictions from monocular depth estimation models inherently exhibit significant uncertainty in specific areas. Relying solely on pixel-wise L2 loss may inadvertently incorporate detrimental noise from these uncertain areas. In this work, we introduce a novel method to supervise the depth distribution of 3D Gaussians, utilizing depth priors with integrated uncertainty estimates. To address these localized errors in depth predictions, we integrate a patch-wise optimal transport strategy to complement traditional L2 loss in depth supervision. Extensive experiments conducted on the LLFF, DTU, and Blender datasets demonstrate that our approach, UGOT, achieves superior novel view synthesis and consistently outperforms state-of-the-art methods.
- Abstract(参考訳): 3次元ガウシアンスプラッティングは、リアルタイムな新規なビュー合成において顕著な性能を示した。
しかし、RGB画像からの再構成を成功させるためには、通常、静的条件下でキャプチャされた複数の入力ビューが必要である。
スパース・インプット・ビューの課題に対処するため、従来のアプローチでは、事前訓練された深度ネットワークからの密集した予測を擬似地下真実として利用して、3Dガウスのトレーニングに深度監視を組み込んでオーバーフィッティングを緩和している。
それにもかかわらず、単分子深度推定モデルによる深度予測は、本質的に特定の領域において重大な不確実性を示す。
画素単位のL2損失のみに頼れば、これらの不確実な領域からの有害ノイズを必然的に取り込むことができる。
本研究では,3次元ガウスの深度分布を可視化する新しい手法を提案する。
深度予測におけるこれらの局所誤差に対処するため,従来のL2損失を補完するパッチワイド輸送戦略を統合した。
LLFF,DTU,Blenderのデータセットを用いて行った大規模な実験により,我々のアプローチであるUGOTが優れた新規なビュー合成を実現し,常に最先端の手法より優れた性能を発揮することが示された。
関連論文リスト
- GEOcc: Geometrically Enhanced 3D Occupancy Network with Implicit-Explicit Depth Fusion and Contextual Self-Supervision [49.839374549646884]
本稿では,視覚のみのサラウンドビュー知覚に適したジオメトリ強化OccupancyネットワークであるGEOccについて述べる。
提案手法は,Occ3D-nuScenesデータセット上で,画像解像度が最小で,画像バックボーンが最大である状態-Of-The-Art性能を実現する。
論文 参考訳(メタデータ) (2024-05-17T07:31:20Z) - Self-Supervised Depth Completion Guided by 3D Perception and Geometry
Consistency [17.68427514090938]
本稿では,3次元の知覚的特徴と多視点幾何整合性を利用して,高精度な自己監督深度補完法を提案する。
NYU-Depthv2 と VOID のベンチマークデータセットを用いた実験により,提案モデルが最先端の深度補完性能を実現することを示す。
論文 参考訳(メタデータ) (2023-12-23T14:19:56Z) - Probabilistic Volumetric Fusion for Dense Monocular SLAM [33.156523309257786]
本研究では,高密度単分子SLAMと高速不確実性伝搬を利用して3次元シーンを再構成する手法を提案する。
提案手法は, 極めてノイズの多い深度推定値に対して頑健でありながら, 密集度, 精度, リアルタイムにシーンを3次元再構成することができる。
その結果,本手法は単分子SLAMからの直接拡散深度よりも92%精度が向上し,最大90%の精度向上が得られた。
論文 参考訳(メタデータ) (2022-10-03T23:53:35Z) - Uncertainty-Aware Adaptation for Self-Supervised 3D Human Pose
Estimation [70.32536356351706]
本稿では、2つの出力ヘッドを2つの異なる構成にサブスクライブする共通のディープネットワークバックボーンを構成するMPP-Netを紹介する。
ポーズと関節のレベルで予測の不確実性を定量化するための適切な尺度を導出する。
本稿では,提案手法の総合評価を行い,ベンチマークデータセット上での最先端性能を示す。
論文 参考訳(メタデータ) (2022-03-29T07:14:58Z) - Robust Depth Completion with Uncertainty-Driven Loss Functions [60.9237639890582]
本研究では,不確実性による損失関数を導入し,深度補修の堅牢性を改善し,深度補修の不確実性に対処する。
提案手法は,KITTI深度評価ベンチマークでテストされ,MAE, IMAE, IRMSEの計測値を用いて最先端のロバスト性性能を達成した。
論文 参考訳(メタデータ) (2021-12-15T05:22:34Z) - 3D Dense Geometry-Guided Facial Expression Synthesis by Adversarial
Learning [54.24887282693925]
本稿では,3次元密度(深度,表面正規度)情報を表現操作に用いる新しいフレームワークを提案する。
既製の最先端3D再構成モデルを用いて深度を推定し,大規模RGB-Depthデータセットを作成する。
実験により,提案手法は競争ベースラインと既存の芸術を大きなマージンで上回ることを示した。
論文 参考訳(メタデータ) (2020-09-30T17:12:35Z) - Guiding Monocular Depth Estimation Using Depth-Attention Volume [38.92495189498365]
本研究では,特に屋内環境に広く分布する平面構造を優先するための奥行き推定法を提案する。
2つのポピュラーな屋内データセットであるNYU-Depth-v2とScanNetの実験により,本手法が最先端の深度推定結果を実現することを示す。
論文 参考訳(メタデータ) (2020-04-06T15:45:52Z) - Occlusion-Aware Depth Estimation with Adaptive Normal Constraints [85.44842683936471]
カラービデオから多フレーム深度を推定する新しい学習手法を提案する。
本手法は深度推定精度において最先端の手法より優れる。
論文 参考訳(メタデータ) (2020-04-02T07:10:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。