論文の概要: A Simple yet Effective Test-Time Adaptation for Zero-Shot Monocular Metric Depth Estimation

• arxiv url: http://arxiv.org/abs/2412.14103v2
• Date: Fri, 07 Mar 2025 11:02:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-10 15:01:10.326427
• Title: A Simple yet Effective Test-Time Adaptation for Zero-Shot Monocular Metric Depth Estimation
• Title（参考訳）: ゼロショット単眼メートル深さ推定のための簡易かつ効果的なテスト時間適応法
• Authors: Rémi Marsal, Alexandre Chapoutot, Philippe Xu, David Filliat,
• Abstract要約: センサや低分解能LiDARなどの技術によって提供される3Dポイントや、IMUが提示したポーズによる構造移動を用いて、奥行きの予測を再現する新しい手法を提案する。 実験では, ゼロショット単角距離推定法, 微調整法と比較しての競合性, 深度補修法よりも頑健さが向上した。
• 参考スコア（独自算出の注目度）: 46.037640130193566
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The recent development of foundation models for monocular depth estimation such as Depth Anything paved the way to zero-shot monocular depth estimation. Since it returns an affine-invariant disparity map, the favored technique to recover the metric depth consists in fine-tuning the model. However, this stage is not straightforward, it can be costly and time-consuming because of the training and the creation of the dataset. The latter must contain images captured by the camera that will be used at test time and the corresponding ground truth. Moreover, the fine-tuning may also degrade the generalizing capacity of the original model. Instead, we propose in this paper a new method to rescale Depth Anything predictions using 3D points provided by sensors or techniques such as low-resolution LiDAR or structure-from-motion with poses given by an IMU. This approach avoids fine-tuning and preserves the generalizing power of the original depth estimation model while being robust to the noise of the sparse depth or of the depth model. Our experiments highlight enhancements relative to zero-shot monocular metric depth estimation methods, competitive results compared to fine-tuned approaches and a better robustness than depth completion approaches. Code available at https://gitlab.ensta.fr/ssh/monocular-depth-rescaling.
• Abstract（参考訳）: 近年、Depth Anythingのような単眼深度推定の基礎モデルが開発され、ゼロショット単眼深度推定への道が開かれた。 アフィン不変不均等写像を返すので、計量深度を復元する好適な手法は、モデルを微調整することである。 しかし、このステージは単純ではなく、トレーニングとデータセットの作成のためにコストと時間を要する可能性がある。 後者には、テスト時に使用されるカメラが撮影した画像と、それに対応する地上の真実が含まれなければならない。 さらに、微調整により元のモデルの一般化能力も低下する可能性がある。 そこで本研究では,センサや低分解能LiDARなどの技術を用いた3Dポイントを用いた奥行き予測を,IMUが提示したポーズで再現する手法を提案する。 このアプローチは、疎水深のノイズや深度モデルのノイズに頑健でありながら、微調整を回避し、元の深度推定モデルの一般化力を保っている。 実験では, ゼロショット単角距離推定法, 微調整法と比較しての競合性, 深度補修法よりも頑健さが向上した。 コードはhttps://gitlab.ensta.fr/ssh/monocular-depth-rescaling.comで公開されている。

関連論文リスト

• Revisiting Gradient-based Uncertainty for Monocular Depth Estimation [10.502852645001882]
  単分子深度推定モデルに対する勾配に基づく不確実性推定を導入する。 我々は,本手法が再トレーニングを伴わずに不確実性を決定するのに有効であることを実証した。 特に、単分子配列で訓練されたモデルにおいて、最も不確実性が高いため、本手法は関連するアプローチよりも優れる。
  論文  参考訳（メタデータ） (2025-02-09T17:21:41Z)
• Marigold-DC: Zero-Shot Monocular Depth Completion with Guided Diffusion [51.69876947593144]
  奥行き完了のための既存の手法は、厳密に制約された設定で動作する。 単眼深度推定の進歩に触発されて,画像条件の深度マップ生成として深度補完を再構成した。 Marigold-DCは、単分子深度推定のための事前訓練された潜伏拡散モデルを構築し、試験時間ガイダンスとして深度観測を注入する。
  論文  参考訳（メタデータ） (2024-12-18T00:06:41Z)
• Metrically Scaled Monocular Depth Estimation through Sparse Priors for Underwater Robots [0.0]
  三角特徴量からのスパース深度測定を融合して深度予測を改善する深度学習モデルを定式化する。 このネットワークは、前方に見える水中データセットFLSeaで教師ありの方法で訓練されている。 この方法は、ラップトップGPUで160FPS、単一のCPUコアで7FPSで実行することで、リアルタイムのパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-10-25T16:32:31Z)
• FrozenRecon: Pose-free 3D Scene Reconstruction with Frozen Depth Models [67.96827539201071]
  本稿では,3次元シーン再構成のための新しいテスト時間最適化手法を提案する。 本手法は5つのゼロショットテストデータセット上で,最先端のクロスデータセット再構築を実現する。
  論文  参考訳（メタデータ） (2023-08-10T17:55:02Z)
• Self-Supervised Learning based Depth Estimation from Monocular Images [0.0]
  単色深度推定の目標は、入力として2次元単色RGB画像が与えられた深度マップを予測することである。 我々は、トレーニング中に固有のカメラパラメータを実行し、我々のモデルをさらに一般化するために天気増悪を適用することを計画している。
  論文  参考訳（メタデータ） (2023-04-14T07:14:08Z)
• Single Image Depth Prediction Made Better: A Multivariate Gaussian Take [163.14849753700682]
  本稿では,画素ごとの深度を連続的にモデル化する手法を提案する。 提案手法の精度(MG)は,KITTI深度予測ベンチマークリーダーボードの上位に位置する。
  論文  参考訳（メタデータ） (2023-03-31T16:01:03Z)
• SC-DepthV3: Robust Self-supervised Monocular Depth Estimation for Dynamic Scenes [58.89295356901823]
  自己監督型単眼深度推定は静的な場面で顕著な結果を示した。 トレーニングネットワークのマルチビュー整合性の仮定に依存するが、動的オブジェクト領域に違反する。 単一画像の深度を事前に生成するための,外部トレーニング付き単眼深度推定モデルを提案する。 我々のモデルは、高度にダイナミックなシーンのモノクロビデオからトレーニングしても、シャープで正確な深度マップを予測できる。
  論文  参考訳（メタデータ） (2022-11-07T16:17:47Z)
• Towards Accurate Reconstruction of 3D Scene Shape from A Single Monocular Image [91.71077190961688]
  まず、未知のスケールまで深さを予測し、単一の単眼画像からシフトする2段階のフレームワークを提案する。 次に、3Dポイントの雲のデータを利用して、奥行きの変化とカメラの焦点距離を予測し、3Dシーンの形状を復元します。 我々は9つの未知のデータセットで深度モデルを検証し、ゼロショット評価で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-08-28T16:20:14Z)
• Improving Depth Estimation using Location Information [0.0]
  本稿では,自己教師型深度学習法の改良を行い,高精度な単眼深度推定を行う。 主なアイデアは、異なるフレームのシーケンスを考慮に入れたディープモデルをトレーニングすることであり、各フレームはその位置情報でタグ付けされる。
  論文  参考訳（メタデータ） (2021-12-27T22:30:14Z)
• Learning to Recover 3D Scene Shape from a Single Image [98.20106822614392]
  まず,未知のスケールまで深さを予測し,単一の単眼画像からシフトする2段階フレームワークを提案する。 そして、3dポイントクラウドエンコーダを使って深度シフトと焦点距離を予測し、リアルな3dシーンの形状を復元します。
  論文  参考訳（メタデータ） (2020-12-17T02:35:13Z)
• Variational Monocular Depth Estimation for Reliability Prediction [12.951621755732544]
  教師付き学習手法の代替として,単眼深度推定のための自己教師付き学習が広く研究されている。 従来はモデル構造の変更による深度推定の精度向上に成功している。 本稿では, 単眼深度推定のための変分モデルを理論的に定式化し, 推定深度画像の信頼性を推定する。
  論文  参考訳（メタデータ） (2020-11-24T06:23:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。