論文の概要: UniDepth: Universal Monocular Metric Depth Estimation

• arxiv url: http://arxiv.org/abs/2403.18913v1
• Date: Wed, 27 Mar 2024 18:06:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-29 20:13:44.240048
• Title: UniDepth: Universal Monocular Metric Depth Estimation
• Title（参考訳）: UniDepth:Universal Monocular Metric Depth Estimation
• Authors: Luigi Piccinelli, Yung-Hsu Yang, Christos Sakaridis, Mattia Segu, Siyuan Li, Luc Van Gool, Fisher Yu,
• Abstract要約: ドメインをまたいだ単一の画像からメートル法3Dシーンを再構成できる新しいモデルUniDepthを提案する。 我々のモデルは擬似球面出力表現を利用しており、カメラと奥行きの表現を歪めている。 ゼロショット方式における10のデータセットの詳細な評価は、一貫してUniDepthの優れた性能を示している。
• 参考スコア（独自算出の注目度）: 81.80512457953903
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Accurate monocular metric depth estimation (MMDE) is crucial to solving downstream tasks in 3D perception and modeling. However, the remarkable accuracy of recent MMDE methods is confined to their training domains. These methods fail to generalize to unseen domains even in the presence of moderate domain gaps, which hinders their practical applicability. We propose a new model, UniDepth, capable of reconstructing metric 3D scenes from solely single images across domains. Departing from the existing MMDE methods, UniDepth directly predicts metric 3D points from the input image at inference time without any additional information, striving for a universal and flexible MMDE solution. In particular, UniDepth implements a self-promptable camera module predicting dense camera representation to condition depth features. Our model exploits a pseudo-spherical output representation, which disentangles camera and depth representations. In addition, we propose a geometric invariance loss that promotes the invariance of camera-prompted depth features. Thorough evaluations on ten datasets in a zero-shot regime consistently demonstrate the superior performance of UniDepth, even when compared with methods directly trained on the testing domains. Code and models are available at: https://github.com/lpiccinelli-eth/unidepth
• Abstract（参考訳）: 3次元知覚・モデリングにおける下流課題の解決には,MMDEの高精度化が不可欠である。 しかし,近年のMMDE法の精度はトレーニング領域に限られている。 これらの手法は、適度な領域ギャップが存在する場合でも、目に見えない領域に一般化することができず、実際の適用性を妨げている。 ドメインをまたいだ単一の画像からメートル法3Dシーンを再構成できる新しいモデルUniDepthを提案する。 既存のMMDE法とは別に、UniDepthは入力画像から追加情報なしで直接3Dポイントを予測し、普遍的で柔軟なMMDEソリューションを模索する。 特に、UniDepthは、高密度カメラ表現を条件深度の特徴に予測する自走式カメラモジュールを実装している。 我々のモデルは擬似球面出力表現を利用しており、カメラと奥行きの表現を歪めている。 さらに,カメラのプロンプト深度特性の不変性を促進する幾何学的不変性損失を提案する。 ゼロショット方式の10のデータセットに対する詳細な評価は、テストドメインで直接訓練されたメソッドと比較しても、一貫してUniDepthの優れたパフォーマンスを示している。 コードとモデルは、https://github.com/lpiccinelli-eth/unidepth.comで入手できる。

関連論文リスト

• Metric3Dv2: A Versatile Monocular Geometric Foundation Model for Zero-shot Metric Depth and Surface Normal Estimation [74.28509379811084]
  Metric3D v2は、ゼロショット距離深さと1枚の画像からの表面正規推定のための幾何学的基礎モデルである。 距離深度推定と表面正規度推定の両方の解を提案する。 本手法は, ランダムに収集したインターネット画像上での計測3次元構造の正確な復元を可能にする。
  論文  参考訳（メタデータ） (2024-03-22T02:30:46Z)
• SM4Depth: Seamless Monocular Metric Depth Estimation across Multiple Cameras and Scenes by One Model [72.0795843450604]
  現在のアプローチでは、さまざまなシーンで一貫した精度を維持する上で、課題に直面している。 これらの手法は、何千万、あるいは数千万のデータからなる広範囲なデータセットに依存している。 本稿では室内と屋外の両方でシームレスに機能するSM$4$Depthについて述べる。
  論文  参考訳（メタデータ） (2024-03-13T14:08:25Z)
• Source-Free and Image-Only Unsupervised Domain Adaptation for Category Level Object Pose Estimation [18.011044932979143]
  3DUDAは、3Dや深度データを使わずに、ニュアンスドライデンのターゲットドメインに適応できる手法である。 対象のカテゴリを単純な立方体メッシュとして表現し、ニューラル特徴活性化の生成モデルを利用する。 本手法は,グローバルな擬似ラベル付きデータセットの微調整を軽度な仮定でシミュレートする。
  論文  参考訳（メタデータ） (2024-01-19T17:48:05Z)
• Depth-discriminative Metric Learning for Monocular 3D Object Detection [14.554132525651868]
  本稿では,視覚的属性に関係なく,モデルが深度識別的特徴を抽出することを奨励する新しい計量学習手法を提案する。 本手法は, 各種ベースラインの性能を平均23.51%, 5.78%向上させる。
  論文  参考訳（メタデータ） (2024-01-02T07:34:09Z)
• Metric3D: Towards Zero-shot Metric 3D Prediction from A Single Image [85.91935485902708]
  ゼロショット単視距離深度モデルの鍵は、大規模データトレーニングと様々なカメラモデルからの距離あいまいさの解消の組合せにあることを示す。 本稿では,あいまいさ問題に明示的に対処し,既存の単分子モデルにシームレスに接続可能な標準カメラ空間変換モジュールを提案する。 本手法は, ランダムに収集したインターネット画像上での計測3次元構造の正確な復元を可能にする。
  論文  参考訳（メタデータ） (2023-07-20T16:14:23Z)
• Single Image Depth Prediction Made Better: A Multivariate Gaussian Take [163.14849753700682]
  本稿では,画素ごとの深度を連続的にモデル化する手法を提案する。 提案手法の精度(MG)は,KITTI深度予測ベンチマークリーダーボードの上位に位置する。
  論文  参考訳（メタデータ） (2023-03-31T16:01:03Z)
• Manifold Topology Divergence: a Framework for Comparing Data Manifolds [109.0784952256104]
  本研究では,深部生成モデルの評価を目的としたデータ多様体の比較フレームワークを開発する。 クロスバーコードに基づき,manifold Topology Divergence score(MTop-Divergence)を導入する。 MTop-Divergenceは,様々なモードドロップ,モード内崩壊,モード発明,画像乱れを正確に検出する。
  論文  参考訳（メタデータ） (2021-06-08T00:30:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。