論文の概要: Progressive Depth Decoupling and Modulating for Flexible Depth Completion
- arxiv url: http://arxiv.org/abs/2405.09342v1
- Date: Wed, 15 May 2024 13:45:33 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-16 13:16:53.560824
- Title: Progressive Depth Decoupling and Modulating for Flexible Depth Completion
- Title（参考訳）: フレキシブルディープス完了のためのプログレッシブディープスデカップリングと変調
- Authors: Zhiwen Yang, Jiehua Zhang, Liang Li, Chenggang Yan, Yaoqi Sun, Haibing Yin,
- Abstract要約: 画像誘導深度補正は、疎LiDARデータとRGB画像から高密度深度マップを生成することを目的としている。
近年の手法では,2つのサブタスク(深度離散化と確率予測)で分類問題として再検討し,有望な性能を示した。
本研究では, 深度範囲をビンに漸進的に分離し, マルチスケールの深度マップを適応的に生成するプログレッシブ・ディープ・デカップリング・変調ネットワークを提案する。
- 参考スコア（独自算出の注目度）: 28.693100885012008
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Image-guided depth completion aims at generating a dense depth map from sparse LiDAR data and RGB image. Recent methods have shown promising performance by reformulating it as a classification problem with two sub-tasks: depth discretization and probability prediction. They divide the depth range into several discrete depth values as depth categories, serving as priors for scene depth distributions. However, previous depth discretization methods are easy to be impacted by depth distribution variations across different scenes, resulting in suboptimal scene depth distribution priors. To address the above problem, we propose a progressive depth decoupling and modulating network, which incrementally decouples the depth range into bins and adaptively generates multi-scale dense depth maps in multiple stages. Specifically, we first design a Bins Initializing Module (BIM) to construct the seed bins by exploring the depth distribution information within a sparse depth map, adapting variations of depth distribution. Then, we devise an incremental depth decoupling branch to progressively refine the depth distribution information from global to local. Meanwhile, an adaptive depth modulating branch is developed to progressively improve the probability representation from coarse-grained to fine-grained. And the bi-directional information interactions are proposed to strengthen the information interaction between those two branches (sub-tasks) for promoting information complementation in each branch. Further, we introduce a multi-scale supervision mechanism to learn the depth distribution information in latent features and enhance the adaptation capability across different scenes. Experimental results on public datasets demonstrate that our method outperforms the state-of-the-art methods. The code will be open-sourced at [this https URL](https://github.com/Cisse-away/PDDM).
- Abstract（参考訳）: 画像誘導深度補正は、疎LiDARデータとRGB画像から高密度深度マップを生成することを目的としている。
近年の手法では,2つのサブタスク(深度離散化と確率予測)で分類問題として再検討し,有望な性能を示した。
彼らは、深度範囲を複数の離散深度値に分割し、シーン深度分布の先行として機能する。
しかし, 従来の深度離散化手法は, 異なるシーンにまたがる深度分布の変化の影響を受けやすいため, 最下位シーンの深度分布に先行する。
以上の問題に対処するため, 深度範囲をインクリメンタルにビンに分解し, 多段階の高密度マップを適応的に生成するプログレッシブ・ディープ・デカップリング・変調ネットワークを提案する。
具体的には、まずBins Initializing Module (BIM) を設計し、深さ分布のばらつきに適応し、スパース深度マップ内の深さ分布情報を探索してシードビンを構築する。
そこで我々は, 深度分布情報をグローバルからローカルへ段階的に洗練するために, 漸進的な深度デカップリング分岐を考案した。
一方、粗い粒度から細かい粒度への確率表現を段階的に改善する適応深度変調分岐が開発された。
また,これら2つのブランチ(サブタスク)間の情報インタラクションを強化し,各ブランチにおける情報補完を促進するために,双方向情報インタラクションを提案する。
さらに,潜時特徴の深度分布情報を学習し,異なるシーンにまたがる適応性を高めるため,マルチスケールの監視機構を導入する。
公開データセットによる実験結果から,本手法は最先端の手法よりも優れていることが示された。
コードは[ this https URL](https://github.com/Cisse-away/PDDM)でオープンソース化される。
関連論文リスト
- Bilateral Propagation Network for Depth Completion [41.163328523175466]
深度補正は,色画像の同期による疎深度測定から高密度深度マップを導出することを目的としている。
現在の最先端技術(SOTA)法は主に伝播に基づく手法であり、初期推定密度深さの反復精製として機能する。
本稿では, スパースデータの直接結合を避けるために, 早期に深度を伝播するバイラテラル伝搬ネットワーク(BP-Net)を提案する。
論文 参考訳（メタデータ） (2024-03-17T16:48:46Z) - Transferring to Real-World Layouts: A Depth-aware Framework for Scene Adaptation [34.786268652516355]
教師なしドメイン適応(UDA)によるシーンセグメンテーションは、ソース合成データから取得した知識を現実のターゲットデータに転送することを可能にする。
深度推定を明示的に活用してカテゴリを混合し,2つの補完的タスク,すなわちセグメンテーションと深度学習を促進するための奥行き認識フレームワークを提案する。
特に、このフレームワークには、DCF(Depth-guided Contextual Filter)フォーンデータ拡張と、コンテキスト学習のためのクロスタスクエンコーダが含まれている。
論文 参考訳（メタデータ） (2023-11-21T15:39:21Z) - LRRU: Long-short Range Recurrent Updating Networks for Depth Completion [45.48580252300282]
深度補修をより効率的に行うために,Long-Short Range Recurrent Updating (LRRU) ネットワークを提案する。
LRRUはまずスパース入力を大まかに満たして初期密度の深度マップを取得し、次に学習された空間変化カーネルを通して反復的に更新する。
我々の初期深度マップには粗いが完全な深度情報があり、粗い深度から深度を直接退避させる負担を軽減できる。
論文 参考訳（メタデータ） (2023-10-13T09:04:52Z) - Non-parametric Depth Distribution Modelling based Depth Inference for
Multi-view Stereo [43.415242967722804]
最近のコストボリュームピラミッドに基づくディープニューラルネットワークは、多視点ステレオからの深度推論に高解像度の画像を効率的に活用する可能性を解き放った。
一般に、これらのアプローチは各ピクセルの深さが一様分布に従うと仮定する。
本研究では,非パラメトリック深度分布モデルを用いて,一様および多モード分布の画素を扱うコストボリュームを構築することを提案する。
論文 参考訳（メタデータ） (2022-05-08T05:13:04Z) - Joint Learning of Salient Object Detection, Depth Estimation and Contour
Extraction [91.43066633305662]
RGB-D Salient Object Detection (SOD) のための新しいマルチタスク・マルチモーダルフィルタトランス (MMFT) ネットワークを提案する。
具体的には、深度推定、健全な物体検出、輪郭推定の3つの相補的なタスクを統合する。マルチタスク機構は、タスク認識の特徴を補助タスクから学習するためのモデルを促進する。
実験の結果、複数のデータセット上での深度に基づくRGB-D SOD法をはるかに上回るだけでなく、高品質の深度マップと塩分濃度を同時に正確に予測できることがわかった。
論文 参考訳（メタデータ） (2022-03-09T17:20:18Z) - Towards Interpretable Deep Networks for Monocular Depth Estimation [78.84690613778739]
我々は,深部MDEネットワークの解釈可能性について,その隠蔽ユニットの深さ選択性を用いて定量化する。
本稿では,解釈可能なMDE深層ネットワークを,元のアーキテクチャを変更することなく学習する手法を提案する。
実験により,本手法は深部MDEネットワークの解釈可能性を向上させることができることが示された。
論文 参考訳（メタデータ） (2021-08-11T16:43:45Z) - Depth Completion using Plane-Residual Representation [84.63079529738924]
深度情報を最も近い深度平面ラベル$p$と残値$r$で解釈する新しい方法を紹介し,これをPlane-Residual (PR)表現と呼ぶ。
PR表現で深度情報を解釈し,それに対応する深度補完網を用いて,高速な計算により深度補完性能を向上させることができた。
論文 参考訳（メタデータ） (2021-04-15T10:17:53Z) - Boundary-induced and scene-aggregated network for monocular depth
prediction [20.358133522462513]
本稿では,1枚のRGB画像の深度を推定するための境界誘導・Scene-aggregated Network (BS-Net)を提案する。
NYUD v2データセットとxffthe iBims-1データセットに関するいくつかの実験結果は、提案手法の最先端性能を示している。
論文 参考訳（メタデータ） (2021-02-26T01:43:17Z) - Direct Depth Learning Network for Stereo Matching [79.3665881702387]
ステレオマッチングのための新しいダイレクトディープス学習ネットワーク(DDL-Net)が設計されている。
DDL-Netは、粗度推定段階と適応勾配深度補正段階の2段階からなる。
我々は,DDL-NetがSceneFlowデータセットで25%,DrivingStereoデータセットで12%の平均的な改善を実現していることを示す。
論文 参考訳（メタデータ） (2020-12-10T10:33:57Z) - Efficient Depth Completion Using Learned Bases [94.0808155168311]
深度補正のための新しい大域的幾何制約を提案する。
低次元部分空間上によく配置される深さ写像を仮定することにより、高密度深度写像は全解像度の主深度基底の重み付け和で近似することができる。
論文 参考訳（メタデータ） (2020-12-02T11:57:37Z) - Adaptive Context-Aware Multi-Modal Network for Depth Completion [107.15344488719322]
我々は,観測された空間コンテキストを捉えるために,グラフ伝搬を採用することを提案する。
次に、注意機構を伝搬に適用し、ネットワークが文脈情報を適応的にモデル化することを奨励する。
最後に、抽出したマルチモーダル特徴を効果的に活用するための対称ゲート融合戦略を導入する。
本稿では,Adaptive Context-Aware Multi-Modal Network (ACMNet) を2つのベンチマークで評価した。
論文 参考訳（メタデータ） (2020-08-25T06:00:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。