論文の概要: The Devil is in the Edges: Monocular Depth Estimation with Edge-aware Consistency Fusion
- arxiv url: http://arxiv.org/abs/2404.00373v1
- Date: Sat, 30 Mar 2024 13:58:19 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-04 04:10:32.473454
- Title: The Devil is in the Edges: Monocular Depth Estimation with Edge-aware Consistency Fusion
- Title（参考訳）: The Devil is in the Edges: Onecular Depth Estimation with Edge-Aware Consistency Fusion (特集:ユビキタスコンピューティング)
- Authors: Pengzhi Li, Yikang Ding, Haohan Wang, Chengshuai Tang, Zhiheng Li,
- Abstract要約: 本稿では,高品質な単分子深度を鮮明なエッジで推定し,単一のRGB画像から全体構造を検証し,新しい単分子深度推定手法 ECFNet を提案する。
我々は,MDEネットワークのエッジ深度推定に影響を及ぼす重要な要因について徹底的な調査を行い,エッジ情報自体が深度予測において重要な役割を担っていることを示す。
- 参考スコア（独自算出の注目度）: 30.03608191629917
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper presents a novel monocular depth estimation method, named ECFNet, for estimating high-quality monocular depth with clear edges and valid overall structure from a single RGB image. We make a thorough inquiry about the key factor that affects the edge depth estimation of the MDE networks, and come to a ratiocination that the edge information itself plays a critical role in predicting depth details. Driven by this analysis, we propose to explicitly employ the image edges as input for ECFNet and fuse the initial depths from different sources to produce the final depth. Specifically, ECFNet first uses a hybrid edge detection strategy to get the edge map and edge-highlighted image from the input image, and then leverages a pre-trained MDE network to infer the initial depths of the aforementioned three images. After that, ECFNet utilizes a layered fusion module (LFM) to fuse the initial depth, which will be further updated by a depth consistency module (DCM) to form the final estimation. Extensive experimental results on public datasets and ablation studies indicate that our method achieves state-of-the-art performance. Project page: https://zrealli.github.io/edgedepth.
- Abstract（参考訳）: 本稿では,高品質な単分子深度を鮮明なエッジで推定し,単一のRGB画像から全体構造を検証し,新しい単分子深度推定手法 ECFNet を提案する。
我々は,MDEネットワークのエッジ深度推定に影響を及ぼす重要な要因について徹底的な調査を行い,エッジ情報自体が深度予測において重要な役割を担っていることを示す。
そこで本研究では,ECFNetの入力として画像エッジを明示的に利用し,異なるソースから初期深度を抽出して最終深度を生成する手法を提案する。
具体的には、まずハイブリッドエッジ検出戦略を使用して、入力画像からエッジマップとエッジハイライト画像を取得し、次にトレーニング済みのMDEネットワークを利用して、上記の3つの画像の初期深さを推測する。
その後、EDFNetは層融合モジュール(LFM)を使用して初期深度を融合し、さらに深度整合モジュール(DCM)によって更新して最終的な推定を行う。
公開データセットとアブレーション研究の大規模な実験結果から,本手法が最先端の性能を達成できることが示唆された。
プロジェクトページ: https://zrealli.github.io/edgedepth.com
関連論文リスト
- Depth Estimation Based on 3D Gaussian Splatting Siamese Defocus [14.354405484663285]
本稿では,3次元幾何学における深さ推定のための3次元ガウススプラッティングとシームズネットワークに基づく自己教師型フレームワークを提案する。
提案したフレームワークは、人工的に合成されたデータセットと実際のぼやけたデータセットの両方で検証されている。
論文 参考訳（メタデータ） (2024-09-18T21:36:37Z) - Robust Depth Enhancement via Polarization Prompt Fusion Tuning [112.88371907047396]
様々な深度センサによる不正確な深度測定を改善するために偏光イメージングを利用するフレームワークを提案する。
まず、偏光データとセンサ深度マップから高密度で完全な深度マップを推定するために、ニューラルネットワークを訓練した学習ベースの戦略を採用する。
大規模データセット上で事前学習したRGBモデルを有効に活用するためのPPFT(Polarization Prompt Fusion Tuning)戦略を提案する。
論文 参考訳（メタデータ） (2024-04-05T17:55:33Z) - Bilateral Propagation Network for Depth Completion [41.163328523175466]
深度補正は,色画像の同期による疎深度測定から高密度深度マップを導出することを目的としている。
現在の最先端技術(SOTA)法は主に伝播に基づく手法であり、初期推定密度深さの反復精製として機能する。
本稿では, スパースデータの直接結合を避けるために, 早期に深度を伝播するバイラテラル伝搬ネットワーク(BP-Net)を提案する。
論文 参考訳（メタデータ） (2024-03-17T16:48:46Z) - Monocular Depth Estimation Primed by Salient Point Detection and
Normalized Hessian Loss [43.950140695759764]
本稿では,単眼深度推定のための高精度で軽量なフレームワークを提案する。
深度方向のスケーリングとせん断に不変な正規化ヘッセン損失項を導入し,精度を著しく向上させることを示した。
提案手法は,NYU-Depth-v2 と KITTI の3.1-38.4 倍小さいモデルを用いて,ベースライン手法よりもパラメータ数が多い場合の最先端結果を実現する。
論文 参考訳（メタデータ） (2021-08-25T07:51:09Z) - Sparse Auxiliary Networks for Unified Monocular Depth Prediction and
Completion [56.85837052421469]
コスト効率のよいセンサで得られたデータからシーン形状を推定することは、ロボットや自動運転車にとって鍵となる。
本稿では,1枚のRGB画像から,低コストな能動深度センサによるスパース計測により,深度を推定する問題について検討する。
sparse networks (sans) は,深さ予測と完了という2つのタスクをmonodepthネットワークで実行可能にする,新しいモジュールである。
論文 参考訳（メタデータ） (2021-03-30T21:22:26Z) - Boundary-induced and scene-aggregated network for monocular depth
prediction [20.358133522462513]
本稿では,1枚のRGB画像の深度を推定するための境界誘導・Scene-aggregated Network (BS-Net)を提案する。
NYUD v2データセットとxffthe iBims-1データセットに関するいくつかの実験結果は、提案手法の最先端性能を示している。
論文 参考訳（メタデータ） (2021-02-26T01:43:17Z) - Deep Multi-Scale Feature Learning for Defocus Blur Estimation [10.455763145066168]
本稿では,1つの非焦点画像からエッジベースのデフォーカスボケ推定手法を提案する。
まず、深さの不連続性(ぼかし推定が曖昧な)にあるエッジと、ほぼ一定の深さ領域にあるエッジ(ぼかし推定が適切に定義されたパターンエッジ)とを区別する。
パターンエッジのみにおけるデフォーカスのぼかし量を推定し,検出した深度エッジ間のデータ伝搬を防止し,適切に定義されたオブジェクト境界を持つ濃密なぼかしマップを得るためのガイド付きフィルタに基づくスキームを探索する。
論文 参考訳（メタデータ） (2020-09-24T20:36:40Z) - A Single Stream Network for Robust and Real-time RGB-D Salient Object
Detection [89.88222217065858]
我々は、深度マップを用いて、RGBと深度の間の早期融合と中核融合を誘導する単一ストリームネットワークを設計する。
このモデルは、現在の最も軽量なモデルよりも55.5%軽く、32 FPSのリアルタイム速度で384倍の384ドルの画像を処理している。
論文 参考訳（メタデータ） (2020-07-14T04:40:14Z) - Depth Completion Using a View-constrained Deep Prior [73.21559000917554]
近年の研究では、畳み込みニューラルネットワーク(CNN)の構造が、自然画像に有利な強い先行性をもたらすことが示されている。
この前者はディープ・イメージ・先行 (DIP) と呼ばれ、画像の装飾や塗装といった逆問題において有効な正則化器である。
我々は、DIPの概念を深度画像に拡張し、色画像とノイズと不完全な目標深度マップから、CNNネットワーク構造を先行して復元された深度マップを再構成する。
論文 参考訳（メタデータ） (2020-01-21T21:56:01Z) - Single Image Depth Estimation Trained via Depth from Defocus Cues [105.67073923825842]
単一のRGB画像から深度を推定することはコンピュータビジョンの基本的な課題である。
この作業では、異なる視点ではなく、フォーカスキューからの奥行きに依存しています。
我々は,KITTIとMake3Dデータセットの教師あり手法と同等な結果を提示し,教師なし学習手法より優れていることを示す。
論文 参考訳（メタデータ） (2020-01-14T20:22:54Z) - Video Depth Estimation by Fusing Flow-to-Depth Proposals [65.24533384679657]
本稿では,映像深度推定のためのフロー・ツー・ディープス・レイヤの異なる手法を提案する。
モデルは、フロー・トゥ・ディープス層、カメラ・ポーズ・リファインメント・モジュール、ディープ・フュージョン・ネットワークから構成される。
提案手法は,最先端の深度推定法より優れ,合理的なデータセット一般化能力を有する。
論文 参考訳（メタデータ） (2019-12-30T10:45:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。