論文の概要: DCPI-Depth: Explicitly Infusing Dense Correspondence Prior to Unsupervised Monocular Depth Estimation

• arxiv url: http://arxiv.org/abs/2405.16960v1
• Date: Mon, 27 May 2024 08:55:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-28 16:21:29.697285
• Title: DCPI-Depth: Explicitly Infusing Dense Correspondence Prior to Unsupervised Monocular Depth Estimation
• Title（参考訳）: DCPI-Depth: 教師なし単眼深度推定に先立って強調した高密度対応
• Authors: Mengtan Zhang, Yi Feng, Qijun Chen, Rui Fan,
• Abstract要約: DCPI-Depthは、これらの革新的なコンポーネントをすべて組み込んで、2つの双方向および協調的なストリームを結合するフレームワークである。 複数の公開データセットにまたがる最先端のパフォーマンスと一般化性を実現し、既存のすべての先行技術を上回っている。
• 参考スコア（独自算出の注目度）: 17.99904937160487
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: There has been a recent surge of interest in learning to perceive depth from monocular videos in an unsupervised fashion. A key challenge in this field is achieving robust and accurate depth estimation in challenging scenarios, particularly in regions with weak textures or where dynamic objects are present. This study makes three major contributions by delving deeply into dense correspondence priors to provide existing frameworks with explicit geometric constraints. The first novelty is a contextual-geometric depth consistency loss, which employs depth maps triangulated from dense correspondences based on estimated ego-motion to guide the learning of depth perception from contextual information, since explicitly triangulated depth maps capture accurate relative distances among pixels. The second novelty arises from the observation that there exists an explicit, deducible relationship between optical flow divergence and depth gradient. A differential property correlation loss is, therefore, designed to refine depth estimation with a specific emphasis on local variations. The third novelty is a bidirectional stream co-adjustment strategy that enhances the interaction between rigid and optical flows, encouraging the former towards more accurate correspondence and making the latter more adaptable across various scenarios under the static scene hypotheses. DCPI-Depth, a framework that incorporates all these innovative components and couples two bidirectional and collaborative streams, achieves state-of-the-art performance and generalizability across multiple public datasets, outperforming all existing prior arts. Specifically, it demonstrates accurate depth estimation in texture-less and dynamic regions, and shows more reasonable smoothness.
• Abstract（参考訳）: 教師なしの方法でモノクロビデオから奥行きを知覚する学習への関心が高まっている。 この分野での重要な課題は、特に弱いテクスチャを持つ領域や動的オブジェクトが存在する領域において、挑戦的なシナリオにおいて、堅牢で正確な深さ推定を達成することである。 この研究は、既存のフレームワークに明示的な幾何学的制約を与えるために、事前に密接な対応を深く掘り下げることによって、3つの大きな貢献をする。 第1の新規性は文脈幾何学的深度整合性損失であり、推定エゴモーションに基づく密接な対応から三角した深度マップを用いて、文脈情報から深度知覚の学習を誘導する。 第二の新規性は、光学流の発散と深度勾配の間に明らかで導出可能な関係が存在するという観察から生じる。 したがって、差分特性相関損失は、局所的な変動に特に重点を置いた深度推定を洗練させるように設計されている。 第3の新規性は双方向ストリーム協調調整戦略であり、剛性と光学的流れの相互作用を強化し、前者がより正確な対応を奨励し、後者が静的シーン仮説の下で様々なシナリオに適応できるようにする。 DCPI-Depthは、これらすべての革新的なコンポーネントを組み込んだフレームワークで、2つの双方向および協調的なストリームを結合する。 具体的には、テクスチャレスおよび動的領域における正確な深さ推定を示し、より合理的な滑らかさを示す。

関連論文リスト

• Unveiling the Depths: A Multi-Modal Fusion Framework for Challenging Scenarios [103.72094710263656]
  本稿では,学習に基づくフレームワークを用いて,支配的モダリティの奥行きを識別し,統合する手法を提案する。 本稿では,信頼度予測ネットワークを操り,潜在電位深度領域を特定する信頼マップを作成する新しい信頼損失を提案する。 得られた信頼度マップを用いて,最終深度をエンドツーエンドに融合するマルチモーダル融合ネットワークを提案する。
  論文  参考訳（メタデータ） (2024-02-19T04:39:16Z)
• Depth-aware Volume Attention for Texture-less Stereo Matching [67.46404479356896]
  実用的な屋外シナリオにおけるテクスチャ劣化に対処する軽量なボリューム改善手法を提案する。 画像テクスチャの相対的階層を抽出し,地中深度マップによって教師される深度体積を導入する。 局所的な微細構造と文脈は、体積凝集時のあいまいさと冗長性を緩和するために強調される。
  論文  参考訳（メタデータ） (2024-02-14T04:07:44Z)
• NDDepth: Normal-Distance Assisted Monocular Depth Estimation [22.37113584192617]
  単眼深度推定のための新しい物理(幾何学)駆動深度学習フレームワークを提案する。 そこで我々は,各位置における深度を導出するために,画素レベル表面の正規化と平面-オリジン距離を出力する新しい正規距離ヘッドを提案する。 我々は,深度不確実性に応じて相補的に深度を洗練する効果的なコントラッシブ・イテレーティブ・リファインメント・モジュールを開発した。
  論文  参考訳（メタデータ） (2023-09-19T13:05:57Z)
• Self-Supervised Monocular Depth Estimation by Direction-aware Cumulative Convolution Network [80.19054069988559]
  自己教師付き単眼深度推定は, 方向感度と環境依存性を示す。 本稿では2つの側面において深度表現を改善する方向対応累積畳み込みネットワーク(DaCCN)を提案する。 実験の結果,提案手法は広く使用されている3つのベンチマークにおいて大幅な改善が得られた。
  論文  参考訳（メタデータ） (2023-08-10T14:32:18Z)
• On Robust Cross-View Consistency in Self-Supervised Monocular Depth Estimation [56.97699793236174]
  本論文では,2種類の堅牢なクロスビュー整合性について検討する。 深度特徴空間と3次元ボクセル空間の時間的コヒーレンスを自己教師付き単眼深度推定に利用した。 いくつかのアウトドアベンチマークの実験結果から,本手法は最先端技術より優れていることが示された。
  論文  参考訳（メタデータ） (2022-09-19T03:46:13Z)
• Exploiting Correspondences with All-pairs Correlations for Multi-view Depth Estimation [19.647670347925754]
  多視点深度推定は,3次元世界を再構築し,理解する上で重要な役割を担っている。 最適化過程を模倣した新しい反復的多視点深度推定フレームワークを設計する。 ScanNet,DeMoN,ETH3D,および7Scenesについて十分な実験を行い,本手法の優位性を実証した。
  論文  参考訳（メタデータ） (2022-05-05T07:38:31Z)
• Self-Guided Instance-Aware Network for Depth Completion and Enhancement [6.319531161477912]
  既存の手法では,画素ワイド画像の内容とそれに対応する近傍の深度値に基づいて,欠落した深度測定を直接補間する。 本稿では、自己誘導機構を利用して、深度復元に必要なインスタンスレベルの特徴を抽出する自己誘導型インスタンス認識ネットワーク(SG-IANet)を提案する。
  論文  参考訳（メタデータ） (2021-05-25T19:41:38Z)
• Deep Two-View Structure-from-Motion Revisited [83.93809929963969]
  2次元構造移動(SfM)は3次元再構成と視覚SLAMの基礎となる。 古典パイプラインの適切性を活用することで,深部2視点sfmの問題を再検討することを提案する。 本手法は,1)2つのフレーム間の密対応を予測する光フロー推定ネットワーク,2)2次元光フロー対応から相対カメラポーズを計算する正規化ポーズ推定モジュール,3)エピポーラ幾何を利用して探索空間を縮小し,密対応を洗練し,相対深度マップを推定するスケール不変深さ推定ネットワークからなる。
  論文  参考訳（メタデータ） (2021-04-01T15:31:20Z)
• Boundary-induced and scene-aggregated network for monocular depth prediction [20.358133522462513]
  本稿では,1枚のRGB画像の深度を推定するための境界誘導・Scene-aggregated Network (BS-Net)を提案する。 NYUD v2データセットとxffthe iBims-1データセットに関するいくつかの実験結果は、提案手法の最先端性能を示している。
  論文  参考訳（メタデータ） (2021-02-26T01:43:17Z)
• Multi-view Depth Estimation using Epipolar Spatio-Temporal Networks [87.50632573601283]
  一つのビデオから多視点深度を推定する新しい手法を提案する。 提案手法は,新しいEpipolar Spatio-Temporal Transformer(EST)を用いて時間的コヒーレントな深度推定を行う。 最近のMixture-of-Expertsモデルにインスパイアされた計算コストを削減するため、我々はコンパクトなハイブリッドネットワークを設計する。
  論文  参考訳（メタデータ） (2020-11-26T04:04:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。