論文の概要: Repurposing Marigold for Zero-Shot Metric Depth Estimation via Defocus Blur Cues

• arxiv url: http://arxiv.org/abs/2505.17358v1
• Date: Fri, 23 May 2025 00:27:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-26 18:08:33.743879
• Title: Repurposing Marigold for Zero-Shot Metric Depth Estimation via Defocus Blur Cues
• Title（参考訳）: Defocus Blur Cuesを用いたゼロショットメートル深さ推定のための再資源化マリゴールド
• Authors: Chinmay Talegaonkar, Nikhil Gandudi Suresh, Zachary Novack, Yash Belhe, Priyanka Nagasamudra, Nicholas Antipa,
• Abstract要約: ゼロショット,スケール不変な単分子深度推定(MDE)のためのテキスト先行学習拡散モデルであるMarigoldに,推論時にデフォーカスブラーキューを導入する。 本手法は,Marigoldをトレーニング不要な方法でメートル法深度予測器に効果的に変換する。 我々は,既存のゼロショットMMDE法と比較した。
• 参考スコア（独自算出の注目度）: 1.3349615170141398
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent monocular metric depth estimation (MMDE) methods have made notable progress towards zero-shot generalization. However, they still exhibit a significant performance drop on out-of-distribution datasets. We address this limitation by injecting defocus blur cues at inference time into Marigold, a \textit{pre-trained} diffusion model for zero-shot, scale-invariant monocular depth estimation (MDE). Our method effectively turns Marigold into a metric depth predictor in a training-free manner. To incorporate defocus cues, we capture two images with a small and a large aperture from the same viewpoint. To recover metric depth, we then optimize the metric depth scaling parameters and the noise latents of Marigold at inference time using gradients from a loss function based on the defocus-blur image formation model. We compare our method against existing state-of-the-art zero-shot MMDE methods on a self-collected real dataset, showing quantitative and qualitative improvements.
• Abstract（参考訳）: 最近のモノクラー計量深度推定法(MMDE)は、ゼロショットの一般化に向けて顕著な進歩を遂げている。 しかし、彼らは相変わらず、アウト・オブ・ディストリビューションデータセットに大幅なパフォーマンス低下を見せている。 ゼロショット,スケール不変な単分子深度推定(MDE)のための<textit{pre-trained}拡散モデルであるMarigoldに,デフォーカスブラーキューを推論時に注入することにより,この制限に対処する。 本手法は,Marigoldをトレーニング不要な方法でメートル法深度予測器に効果的に変換する。 defocus cuesを取り入れるために、同じ視点から、小さくて大きな開口部を持つ2つの画像をキャプチャする。 次に、デフォーカス・ブルー画像形成モデルに基づく損失関数からの勾配を用いて、推定時間における計量深度スケーリングパラメータとマリゴールドの雑音潜時を最適化する。 我々は,既存のゼロショットMMDE法と比較し,定量的および定性的な改善を示す。

関連論文リスト

• UniDepthV2: Universal Monocular Metric Depth Estimation Made Simpler [62.06785782635153]
  ドメインをまたいだ単一の画像からメートル法3Dシーンを再構成できる新しいモデルUniDepthV2を提案する。 UniDepthV2は、追加情報なしで、入力画像から推論時にメートル法3Dポイントを直接予測する。 我々のモデルは擬似球面出力表現を利用し、カメラと深度表現をアンタングル化する。
  論文  参考訳（メタデータ） (2025-02-27T14:03:15Z)
• A Simple yet Effective Test-Time Adaptation for Zero-Shot Monocular Metric Depth Estimation [46.037640130193566]
  センサや低分解能LiDARなどの技術によって提供される3Dポイントや、IMUが提示したポーズによる構造移動を用いて、奥行きの予測を再現する新しい手法を提案する。 実験では, ゼロショット単角距離推定法, 微調整法と比較しての競合性, 深度補修法よりも頑健さが向上した。
  論文  参考訳（メタデータ） (2024-12-18T17:50:15Z)
• Marigold-DC: Zero-Shot Monocular Depth Completion with Guided Diffusion [51.69876947593144]
  奥行き完了のための既存の手法は、厳密に制約された設定で動作する。 単眼深度推定の進歩に触発されて,画像条件の深度マップ生成として深度補完を再構成した。 Marigold-DCは、単分子深度推定のための事前訓練された潜伏拡散モデルを構築し、試験時間ガイダンスとして深度観測を注入する。
  論文  参考訳（メタデータ） (2024-12-18T00:06:41Z)
• UniDepth: Universal Monocular Metric Depth Estimation [81.80512457953903]
  ドメインをまたいだ単一の画像からメートル法3Dシーンを再構成できる新しいモデルUniDepthを提案する。 我々のモデルは擬似球面出力表現を利用しており、カメラと奥行きの表現を歪めている。 ゼロショット方式における10のデータセットの詳細な評価は、一貫してUniDepthの優れた性能を示している。
  論文  参考訳（メタデータ） (2024-03-27T18:06:31Z)
• Blur aware metric depth estimation with multi-focus plenoptic cameras [8.508198765617196]
  多焦点レンズカメラからの原画像のみを用いた新しい距離深度推定アルゴリズムを提案する。 提案手法は、焦点距離の異なる複数のマイクロレンズを用いるマルチフォーカス構成に特に適している。
  論文  参考訳（メタデータ） (2023-08-08T13:38:50Z)
• The Surprising Effectiveness of Diffusion Models for Optical Flow and Monocular Depth Estimation [42.48819460873482]
  拡散確率モデルは、その印象的な忠実さと多様性で画像生成を変換した。 また,タスク固有のアーキテクチャや損失関数を使わずに,光学的フローと単眼深度の推定に優れることを示す。
  論文  参考訳（メタデータ） (2023-06-02T21:26:20Z)
• Single Image Depth Prediction Made Better: A Multivariate Gaussian Take [163.14849753700682]
  本稿では,画素ごとの深度を連続的にモデル化する手法を提案する。 提案手法の精度(MG)は,KITTI深度予測ベンチマークリーダーボードの上位に位置する。
  論文  参考訳（メタデータ） (2023-03-31T16:01:03Z)
• End-to-end Learning for Joint Depth and Image Reconstruction from Diffracted Rotation [10.896567381206715]
  回折回転から深度を学習する新しいエンド・ツー・エンド学習手法を提案する。 提案手法は, 単分子深度推定のタスクにおいて既存の手法よりもはるかに少ない複雑なモデルと少ないトレーニングデータを必要とする。
  論文  参考訳（メタデータ） (2022-04-14T16:14:37Z)
• Deep Multi-Scale Feature Learning for Defocus Blur Estimation [10.455763145066168]
  本稿では,1つの非焦点画像からエッジベースのデフォーカスボケ推定手法を提案する。 まず、深さの不連続性(ぼかし推定が曖昧な)にあるエッジと、ほぼ一定の深さ領域にあるエッジ(ぼかし推定が適切に定義されたパターンエッジ)とを区別する。 パターンエッジのみにおけるデフォーカスのぼかし量を推定し,検出した深度エッジ間のデータ伝搬を防止し,適切に定義されたオブジェクト境界を持つ濃密なぼかしマップを得るためのガイド付きフィルタに基づくスキームを探索する。
  論文  参考訳（メタデータ） (2020-09-24T20:36:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。