論文の概要: UniDepthV2: Universal Monocular Metric Depth Estimation Made Simpler

• arxiv url: http://arxiv.org/abs/2502.20110v1
• Date: Thu, 27 Feb 2025 14:03:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-28 14:57:23.062207
• Title: UniDepthV2: Universal Monocular Metric Depth Estimation Made Simpler
• Title（参考訳）: UniDepthV2:Universal Monocular Metric Depth Estimationの簡易化
• Authors: Luigi Piccinelli, Christos Sakaridis, Yung-Hsu Yang, Mattia Segu, Siyuan Li, Wim Abbeloos, Luc Van Gool,
• Abstract要約: ドメインをまたいだ単一の画像からメートル法3Dシーンを再構成できる新しいモデルUniDepthV2を提案する。 UniDepthV2は、追加情報なしで、入力画像から推論時にメートル法3Dポイントを直接予測する。 我々のモデルは擬似球面出力表現を利用し、カメラと深度表現をアンタングル化する。
• 参考スコア（独自算出の注目度）: 62.06785782635153
• License:
• Abstract: Accurate monocular metric depth estimation (MMDE) is crucial to solving downstream tasks in 3D perception and modeling. However, the remarkable accuracy of recent MMDE methods is confined to their training domains. These methods fail to generalize to unseen domains even in the presence of moderate domain gaps, which hinders their practical applicability. We propose a new model, UniDepthV2, capable of reconstructing metric 3D scenes from solely single images across domains. Departing from the existing MMDE paradigm, UniDepthV2 directly predicts metric 3D points from the input image at inference time without any additional information, striving for a universal and flexible MMDE solution. In particular, UniDepthV2 implements a self-promptable camera module predicting a dense camera representation to condition depth features. Our model exploits a pseudo-spherical output representation, which disentangles the camera and depth representations. In addition, we propose a geometric invariance loss that promotes the invariance of camera-prompted depth features. UniDepthV2 improves its predecessor UniDepth model via a new edge-guided loss which enhances the localization and sharpness of edges in the metric depth outputs, a revisited, simplified and more efficient architectural design, and an additional uncertainty-level output which enables downstream tasks requiring confidence. Thorough evaluations on ten depth datasets in a zero-shot regime consistently demonstrate the superior performance and generalization of UniDepthV2. Code and models are available at https://github.com/lpiccinelli-eth/UniDepth
• Abstract（参考訳）: 3次元知覚・モデリングにおける下流課題の解決には,MMDEの高精度化が不可欠である。 しかし,近年のMMDE法の精度はトレーニング領域に限られている。 これらの手法は、適度な領域ギャップが存在する場合でも、目に見えない領域に一般化することができず、実際の適用性を妨げている。 ドメインをまたいだ単一の画像からメートル法3Dシーンを再構成できる新しいモデルUniDepthV2を提案する。 既存のMMDEパラダイムとは別に、UniDepthV2は、追加情報なしで入力画像からメートル法3Dポイントを直接予測し、普遍的で柔軟なMMDEソリューションを模索する。 特にUniDepthV2は、高密度カメラ表現を条件深度の特徴に予測する自走式カメラモジュールを実装している。 我々のモデルは擬似球面出力表現を利用し、カメラと深度表現をアンタングル化する。 さらに,カメラのプロンプト深度特性の不変性を促進する幾何学的不変性損失を提案する。 UniDepthV2は、新しいエッジ誘導損失により、メートル法深度出力におけるエッジのローカライズとシャープネスを向上し、再検討され、単純化され、より効率的なアーキテクチャ設計と、下流タスクに信頼性を必要とする不確実性レベルの出力によって、以前のUniDepthモデルを改善している。 ゼロショット方式における10深度データセットの詳細な評価は、UniDepthV2の優れた性能と一般化を一貫して示している。 コードとモデルはhttps://github.com/lpiccinelli-eth/UniDepthで公開されている。

関連論文リスト

• SCIPaD: Incorporating Spatial Clues into Unsupervised Pose-Depth Joint Learning [17.99904937160487]
  本研究では,教師なし深層学習のための空間的手がかりを取り入れた新しいアプローチであるSCIPaDを紹介する。 SCIPaDは平均翻訳誤差22.2%、カメラポーズ推定タスクの平均角誤差34.8%をKITTI Odometryデータセットで達成している。
  論文  参考訳（メタデータ） (2024-07-07T06:52:51Z)
• UniDepth: Universal Monocular Metric Depth Estimation [81.80512457953903]
  ドメインをまたいだ単一の画像からメートル法3Dシーンを再構成できる新しいモデルUniDepthを提案する。 我々のモデルは擬似球面出力表現を利用しており、カメラと奥行きの表現を歪めている。 ゼロショット方式における10のデータセットの詳細な評価は、一貫してUniDepthの優れた性能を示している。
  論文  参考訳（メタデータ） (2024-03-27T18:06:31Z)
• Metric3Dv2: A Versatile Monocular Geometric Foundation Model for Zero-shot Metric Depth and Surface Normal Estimation [74.28509379811084]
  Metric3D v2は、ゼロショット距離深さと1枚の画像からの表面正規推定のための幾何学的基礎モデルである。 距離深度推定と表面正規度推定の両方の解を提案する。 本手法は, ランダムに収集したインターネット画像上での計測3次元構造の正確な復元を可能にする。
  論文  参考訳（メタデータ） (2024-03-22T02:30:46Z)
• Metric3D: Towards Zero-shot Metric 3D Prediction from A Single Image [85.91935485902708]
  ゼロショット単視距離深度モデルの鍵は、大規模データトレーニングと様々なカメラモデルからの距離あいまいさの解消の組合せにあることを示す。 本稿では,あいまいさ問題に明示的に対処し,既存の単分子モデルにシームレスに接続可能な標準カメラ空間変換モジュールを提案する。 本手法は, ランダムに収集したインターネット画像上での計測3次元構造の正確な復元を可能にする。
  論文  参考訳（メタデータ） (2023-07-20T16:14:23Z)
• Single Image Depth Prediction Made Better: A Multivariate Gaussian Take [163.14849753700682]
  本稿では,画素ごとの深度を連続的にモデル化する手法を提案する。 提案手法の精度(MG)は,KITTI深度予測ベンチマークリーダーボードの上位に位置する。
  論文  参考訳（メタデータ） (2023-03-31T16:01:03Z)
• Towards Domain Generalization for Multi-view 3D Object Detection in Bird-Eye-View [11.958753088613637]
  まず,MV3D-Detタスクにおける領域ギャップの原因を解析する。 頑健な深度予測を得るために,カメラの内在パラメータから深度推定を分離する手法を提案する。 焦点長の値を変更して複数の擬似ドメインを作成し、敵の訓練損失を発生させ、特徴表現をよりドメインに依存しないものにするよう促す。
  論文  参考訳（メタデータ） (2023-03-03T02:59:13Z)
• DeepMLE: A Robust Deep Maximum Likelihood Estimator for Two-view Structure from Motion [9.294501649791016]
  動きからの2次元構造(SfM)は3次元再構成と視覚SLAM(vSLAM)の基礎となる。 本稿では,2視点SfM問題を最大最大推定(MLE)として定式化し,DeepMLEと表記されるフレームワークを用いて解いた。 提案手法は,最先端の2ビューSfM手法よりも精度と一般化能力において優れる。
  論文  参考訳（メタデータ） (2022-10-11T15:07:25Z)
• Towards Model Generalization for Monocular 3D Object Detection [57.25828870799331]
  我々は,Mono3Dオブジェクト検出に有効な統合カメラ一般化パラダイム(CGP)を提案する。 また,インスタンスレベルの拡張によりギャップを埋める2D-3D幾何一貫性オブジェクトスケーリング戦略(GCOS)を提案する。 DGMono3Dと呼ばれる手法は、評価された全てのデータセットに対して顕著な性能を達成し、SoTAの教師なしドメイン適応スキームを上回ります。
  論文  参考訳（メタデータ） (2022-05-23T23:05:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。