論文の概要: Amodal Depth Anything: Amodal Depth Estimation in the Wild

• arxiv url: http://arxiv.org/abs/2412.02336v1
• Date: Tue, 03 Dec 2024 09:56:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:44:27.019687
• Title: Amodal Depth Anything: Amodal Depth Estimation in the Wild
• Title（参考訳）: Amodal Depth Anything: Amodal Depth Estimation in the Wild
• Authors: Zhenyu Li, Mykola Lavreniuk, Jian Shi, Shariq Farooq Bhat, Peter Wonka,
• Abstract要約: アモーダル深度推定は、シーン内の物体の閉塞された(見えない)部分の深さを予測することを目的としている。 本研究では,様々な自然画像におけるモデル一般化を改善するために,相対的深度予測に焦点をあてて,野生におけるアモーダル深度推定の新しい定式化を提案する。 本稿では,Depth Anything V2に基づく決定論的モデルであるAmodal-DAV2と,条件付きフローマッチングの原理を統合する生成モデルであるAmodal-DepthFMの2つの補完的フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 39.27552294431748
• License:
• Abstract: Amodal depth estimation aims to predict the depth of occluded (invisible) parts of objects in a scene. This task addresses the question of whether models can effectively perceive the geometry of occluded regions based on visible cues. Prior methods primarily rely on synthetic datasets and focus on metric depth estimation, limiting their generalization to real-world settings due to domain shifts and scalability challenges. In this paper, we propose a novel formulation of amodal depth estimation in the wild, focusing on relative depth prediction to improve model generalization across diverse natural images. We introduce a new large-scale dataset, Amodal Depth In the Wild (ADIW), created using a scalable pipeline that leverages segmentation datasets and compositing techniques. Depth maps are generated using large pre-trained depth models, and a scale-and-shift alignment strategy is employed to refine and blend depth predictions, ensuring consistency in ground-truth annotations. To tackle the amodal depth task, we present two complementary frameworks: Amodal-DAV2, a deterministic model based on Depth Anything V2, and Amodal-DepthFM, a generative model that integrates conditional flow matching principles. Our proposed frameworks effectively leverage the capabilities of large pre-trained models with minimal modifications to achieve high-quality amodal depth predictions. Experiments validate our design choices, demonstrating the flexibility of our models in generating diverse, plausible depth structures for occluded regions. Our method achieves a 69.5% improvement in accuracy over the previous SoTA on the ADIW dataset.
• Abstract（参考訳）: アモーダル深度推定は、シーン内の物体の閉塞された(見えない)部分の深さを予測することを目的としている。 この課題は、モデルが視覚的手がかりに基づいて隠蔽領域の幾何学を効果的に知覚できるかどうかという問題に対処する。 従来の手法は、主に合成データセットに頼り、メートル法深度推定に重点を置いており、ドメインシフトと拡張性の問題により、その一般化を現実の設定に限定している。 本稿では,様々な自然画像におけるモデル一般化を改善するために,相対的深度予測に着目し,野生におけるアモーダル深度推定の新しい定式化を提案する。 ADIW(Amodal Depth In the Wild)と呼ばれる新しい大規模データセットを導入し、セグメンテーションデータセットと合成技術を活用したスケーラブルなパイプラインを作成しました。 深度マップは,大規模な事前学習深度モデルを用いて生成され,深度予測を洗練・ブレンドするスケール・アンド・シフトアライメント・ストラテジーが採用され,地中トルースアノテーションの一貫性が確保される。 Amodal-DAV2はDepth Anything V2に基づく決定論的モデルであり、Amodal-DepthFMは条件付きフローマッチングの原理を統合した生成モデルである。 提案フレームワークは,高品質なアモーダル深度予測を実現するために,最小限の修正を施した大規模事前学習モデルの能力を効果的に活用する。 実験は我々の設計選択を検証し、閉ざされた領域に対して多種多様な可塑性深度構造を生成する際のモデルの柔軟性を実証する。 ADIWデータセットの以前のSoTAよりも69.5%の精度向上を実現している。

関連論文リスト

• Plane2Depth: Hierarchical Adaptive Plane Guidance for Monocular Depth Estimation [38.81275292687583]
  平面情報を適応的に利用し,階層的なフレームワーク内での深度予測を改善するPlane2Depthを提案する。 提案する平面案内深度発生器 (PGDG) では, 現場の平面をソフトにモデル化し, 画素ごとの平面係数を予測するためのプロトタイプとして, 一連の平面クエリを設計する。 提案するアダプティブプレーンクエリアグリゲーション(APGA)モジュールでは,マルチスケール平面特徴のアグリゲーションを改善するために,新たな機能インタラクションアプローチを導入する。
  論文  参考訳（メタデータ） (2024-09-04T07:45:06Z)
• ScaleDepth: Decomposing Metric Depth Estimation into Scale Prediction and Relative Depth Estimation [62.600382533322325]
  本研究では,新しい単分子深度推定法であるScaleDepthを提案する。 提案手法は,距離深度をシーンスケールと相対深度に分解し,セマンティック・アウェア・スケール予測モジュールを用いて予測する。 本手法は,室内と屋外の両方のシーンを統一した枠組みで距離推定する。
  論文  参考訳（メタデータ） (2024-07-11T05:11:56Z)
• Progressive Depth Decoupling and Modulating for Flexible Depth Completion [28.693100885012008]
  画像誘導深度補正は、疎LiDARデータとRGB画像から高密度深度マップを生成することを目的としている。 近年の手法では,2つのサブタスク(深度離散化と確率予測)で分類問題として再検討し,有望な性能を示した。 本研究では, 深度範囲をビンに漸進的に分離し, マルチスケールの深度マップを適応的に生成するプログレッシブ・ディープ・デカップリング・変調ネットワークを提案する。
  論文  参考訳（メタデータ） (2024-05-15T13:45:33Z)
• Adaptive Discrete Disparity Volume for Self-supervised Monocular Depth Estimation [0.0]
  本稿では,学習可能なモジュールAdaptive Discrete Disparity Volume (ADDV)を提案する。 ADDVは異なるRGB画像の深さ分布を動的に感知し、適応的なビンを生成することができる。 また、自己監督型条件下での正規化を実現するために、新しいトレーニング戦略(統一化と強化)も導入する。
  論文  参考訳（メタデータ） (2024-04-04T04:22:25Z)
• SC-DepthV3: Robust Self-supervised Monocular Depth Estimation for Dynamic Scenes [58.89295356901823]
  自己監督型単眼深度推定は静的な場面で顕著な結果を示した。 トレーニングネットワークのマルチビュー整合性の仮定に依存するが、動的オブジェクト領域に違反する。 単一画像の深度を事前に生成するための,外部トレーニング付き単眼深度推定モデルを提案する。 我々のモデルは、高度にダイナミックなシーンのモノクロビデオからトレーニングしても、シャープで正確な深度マップを予測できる。
  論文  参考訳（メタデータ） (2022-11-07T16:17:47Z)
• Non-parametric Depth Distribution Modelling based Depth Inference for Multi-view Stereo [43.415242967722804]
  最近のコストボリュームピラミッドに基づくディープニューラルネットワークは、多視点ステレオからの深度推論に高解像度の画像を効率的に活用する可能性を解き放った。 一般に、これらのアプローチは各ピクセルの深さが一様分布に従うと仮定する。 本研究では,非パラメトリック深度分布モデルを用いて,一様および多モード分布の画素を扱うコストボリュームを構築することを提案する。
  論文  参考訳（メタデータ） (2022-05-08T05:13:04Z)
• DDR-Net: Learning Multi-Stage Multi-View Stereo With Dynamic Depth Range [2.081393321765571]
  深度範囲の仮説を動的に決定するための動的深さ範囲ネットワーク(DDR-Net)を提案する。 DDR-Netでは、まず、深度範囲全体にわたる画像の最も粗い解像度で初期深度マップを構築します。 学習した動的深度範囲を利用して、洗練された深度マップを生成する新しい損失戦略を開発します。
  論文  参考訳（メタデータ） (2021-03-26T05:52:38Z)
• Virtual Normal: Enforcing Geometric Constraints for Accurate and Robust Depth Prediction [87.08227378010874]
  深度予測における高次3次元幾何学的制約の重要性を示す。 単純な幾何学的制約を強制する損失項を設計することにより、単眼深度推定の精度とロバスト性を大幅に改善する。 The-of-the-art results of learning metric depth on NYU Depth-V2 and KITTI。
  論文  参考訳（メタデータ） (2021-03-07T00:08:21Z)
• Adaptive Context-Aware Multi-Modal Network for Depth Completion [107.15344488719322]
  我々は,観測された空間コンテキストを捉えるために,グラフ伝搬を採用することを提案する。 次に、注意機構を伝搬に適用し、ネットワークが文脈情報を適応的にモデル化することを奨励する。 最後に、抽出したマルチモーダル特徴を効果的に活用するための対称ゲート融合戦略を導入する。 本稿では,Adaptive Context-Aware Multi-Modal Network (ACMNet) を2つのベンチマークで評価した。
  論文  参考訳（メタデータ） (2020-08-25T06:00:06Z)
• DiverseDepth: Affine-invariant Depth Prediction Using Diverse Data [110.29043712400912]
  本稿では,アフィン変換に至るまでの多様なシーンにおける高品質な深度を予測できるモノクロ画像を用いた深度推定手法を提案する。 実験の結果,提案手法は,ゼロショットテスト設定と大差で8つのデータセットの先行手法より優れていた。
  論文  参考訳（メタデータ） (2020-02-03T05:38:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。