論文の概要: Uncertainty-guided Optimal Transport in Depth Supervised Sparse-View 3D Gaussian

• arxiv url: http://arxiv.org/abs/2405.19657v1
• Date: Thu, 30 May 2024 03:18:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-31 18:26:21.599631
• Title: Uncertainty-guided Optimal Transport in Depth Supervised Sparse-View 3D Gaussian
• Title（参考訳）: 深度監督されたスパースビュー3次元ガウスにおける不確かさ誘導最適輸送
• Authors: Wei Sun, Qi Zhang, Yanzhao Zhou, Qixiang Ye, Jianbin Jiao, Yuan Li,
• Abstract要約: 3次元ガウシアンスプラッティングは、リアルタイムな新規ビュー合成において顕著な性能を示した。 これまでのアプローチでは、3Dガウスの訓練に奥行き監視を取り入れ、オーバーフィッティングを軽減してきた。 本研究では,3次元ガウスの深度分布を可視化する新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 49.21866794516328
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: 3D Gaussian splatting has demonstrated impressive performance in real-time novel view synthesis. However, achieving successful reconstruction from RGB images generally requires multiple input views captured under static conditions. To address the challenge of sparse input views, previous approaches have incorporated depth supervision into the training of 3D Gaussians to mitigate overfitting, using dense predictions from pretrained depth networks as pseudo-ground truth. Nevertheless, depth predictions from monocular depth estimation models inherently exhibit significant uncertainty in specific areas. Relying solely on pixel-wise L2 loss may inadvertently incorporate detrimental noise from these uncertain areas. In this work, we introduce a novel method to supervise the depth distribution of 3D Gaussians, utilizing depth priors with integrated uncertainty estimates. To address these localized errors in depth predictions, we integrate a patch-wise optimal transport strategy to complement traditional L2 loss in depth supervision. Extensive experiments conducted on the LLFF, DTU, and Blender datasets demonstrate that our approach, UGOT, achieves superior novel view synthesis and consistently outperforms state-of-the-art methods.
• Abstract（参考訳）: 3次元ガウシアンスプラッティングは、リアルタイムな新規なビュー合成において顕著な性能を示した。 しかし、RGB画像からの再構成を成功させるためには、通常、静的条件下でキャプチャされた複数の入力ビューが必要である。 スパース・インプット・ビューの課題に対処するため、従来のアプローチでは、事前訓練された深度ネットワークからの密集した予測を擬似地下真実として利用して、3Dガウスのトレーニングに深度監視を組み込んでオーバーフィッティングを緩和している。 それにもかかわらず、単分子深度推定モデルによる深度予測は、本質的に特定の領域において重大な不確実性を示す。 画素単位のL2損失のみに頼れば、これらの不確実な領域からの有害ノイズを必然的に取り込むことができる。 本研究では,3次元ガウスの深度分布を可視化する新しい手法を提案する。 深度予測におけるこれらの局所誤差に対処するため,従来のL2損失を補完するパッチワイド輸送戦略を統合した。 LLFF,DTU,Blenderのデータセットを用いて行った大規模な実験により,我々のアプローチであるUGOTが優れた新規なビュー合成を実現し,常に最先端の手法より優れた性能を発揮することが示された。

関連論文リスト

• PF3plat: Pose-Free Feed-Forward 3D Gaussian Splatting [54.7468067660037]
  PF3platは、設計選択を検証した包括的なアブレーション研究によってサポートされた、すべてのベンチマークに新しい最先端を設定します。 本フレームワークは,3DGSの高速,スケーラビリティ,高品質な3D再構成とビュー合成機能を活用している。
  論文  参考訳（メタデータ） (2024-10-29T15:28:15Z)
• Binocular-Guided 3D Gaussian Splatting with View Consistency for Sparse View Synthesis [53.702118455883095]
  本稿では,ガウススプラッティングを用いたスパースビューから新しいビューを合成する新しい手法を提案する。 私たちのキーとなるアイデアは、両眼画像間の両眼立体的一貫性に固有の自己超越を探索することにあります。 我々の手法は最先端の手法よりも優れています。
  論文  参考訳（メタデータ） (2024-10-24T15:10:27Z)
• DepthSplat: Connecting Gaussian Splatting and Depth [90.06180236292866]
  ガウススプラッティングと深さ推定を結合するDepthSplatを提案する。 まず,事前学習した単眼深度特徴を生かして,頑健な多眼深度モデルを提案する。 また,ガウス的スプラッティングは教師なし事前学習の目的として機能することを示す。
  論文  参考訳（メタデータ） (2024-10-17T17:59:58Z)
• Self-Evolving Depth-Supervised 3D Gaussian Splatting from Rendered Stereo Pairs [27.364205809607302]
  3D Gaussian Splatting (GS) は、基礎となる3Dシーンの形状を正確に表現するのにかなり苦労している。 この制限に対処し、最適化プロセス全体を通して深度事前の統合を包括的に分析する。 この後者は、容易に利用できるステレオネットワークからの奥行きを動的に利用し、トレーニング中にGSモデル自身がレンダリングした仮想ステレオペアを処理し、一貫した自己改善を実現する。
  論文  参考訳（メタデータ） (2024-09-11T17:59:58Z)
• GEOcc: Geometrically Enhanced 3D Occupancy Network with Implicit-Explicit Depth Fusion and Contextual Self-Supervision [49.839374549646884]
  本稿では,視覚のみのサラウンドビュー知覚に適したジオメトリ強化OccupancyネットワークであるGEOccについて述べる。 提案手法は,Occ3D-nuScenesデータセット上で,画像解像度が最小で,画像バックボーンが最大である状態-Of-The-Art性能を実現する。
  論文  参考訳（メタデータ） (2024-05-17T07:31:20Z)
• Self-Supervised Depth Completion Guided by 3D Perception and Geometry Consistency [17.68427514090938]
  本稿では,3次元の知覚的特徴と多視点幾何整合性を利用して,高精度な自己監督深度補完法を提案する。 NYU-Depthv2 と VOID のベンチマークデータセットを用いた実験により,提案モデルが最先端の深度補完性能を実現することを示す。
  論文  参考訳（メタデータ） (2023-12-23T14:19:56Z)
• 3D Dense Geometry-Guided Facial Expression Synthesis by Adversarial Learning [54.24887282693925]
  本稿では,3次元密度(深度,表面正規度)情報を表現操作に用いる新しいフレームワークを提案する。 既製の最先端3D再構成モデルを用いて深度を推定し,大規模RGB-Depthデータセットを作成する。 実験により,提案手法は競争ベースラインと既存の芸術を大きなマージンで上回ることを示した。
  論文  参考訳（メタデータ） (2020-09-30T17:12:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。