Fugu-MT 論文翻訳(概要): FCFR-Net: Feature Fusion based Coarse-to-Fine Residual Learning for Monocular Depth Completion

論文の概要: FCFR-Net: Feature Fusion based Coarse-to-Fine Residual Learning for Monocular Depth Completion

arxiv url: http://arxiv.org/abs/2012.08270v1
Date: Tue, 15 Dec 2020 13:09:56 GMT
ステータス: 処理完了
システム内更新日: 2021-05-07 05:22:25.387836
Title: FCFR-Net: Feature Fusion based Coarse-to-Fine Residual Learning for Monocular Depth Completion
Title（参考訳）: FCFR-Net:単眼深度補完のための特徴フュージョンに基づく粗/偽残差学習
Authors: Lina Liu, Xibin Song, Xiaoyang Lyu, Junwei Diao, Mengmeng Wang, Yong Liu, Liangjun Zhang
Abstract要約: 最近のアプローチは、主に1段階のエンドツーエンドの学習タスクとして深さの完成を定式化します。深度完了を2段階学習タスクとして定式化する,新しいエンドツーエンドの残留学習フレームワークを提案する。
参考スコア（独自算出の注目度）: 15.01291779855834
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Depth completion aims to recover a dense depth map from a sparse depth map with the corresponding color image as input. Recent approaches mainly formulate the depth completion as a one-stage end-to-end learning task, which outputs dense depth maps directly. However, the feature extraction and supervision in one-stage frameworks are insufficient, limiting the performance of these approaches. To address this problem, we propose a novel end-to-end residual learning framework, which formulates the depth completion as a two-stage learning task, i.e., a sparse-to-coarse stage and a coarse-to-fine stage. First, a coarse dense depth map is obtained by a simple CNN framework. Then, a refined depth map is further obtained using a residual learning strategy in the coarse-to-fine stage with coarse depth map and color image as input. Specially, in the coarse-to-fine stage, a channel shuffle extraction operation is utilized to extract more representative features from color image and coarse depth map, and an energy based fusion operation is exploited to effectively fuse these features obtained by channel shuffle operation, thus leading to more accurate and refined depth maps. We achieve SoTA performance in RMSE on KITTI benchmark. Extensive experiments on other datasets future demonstrate the superiority of our approach over current state-of-the-art depth completion approaches.
Abstract（参考訳）: 奥行き完了は、対応する色イメージを入力としてスパース深度マップから濃密深度マップを復元することを目的としている。近年のアプローチでは, 深度マップを直接出力する一段階のエンドツーエンド学習タスクとして, 深度補完を定式化している。しかし、一段階フレームワークの機能抽出と監視は不十分であり、これらのアプローチのパフォーマンスを制限している。この問題に対処するために,2段階の学習課題,すなわちスパース・ツー・粗い段階と粗い・粗い段階として深度完了を定式化する,新しいエンドツーエンド残差学習フレームワークを提案する。まず、単純なCNNフレームワークによって粗密深度マップを得る。そして、粗い深度マップとカラー画像とを入力として、粗い粒度ステージにおける残差学習戦略を用いて洗練された深度マップを得る。特に、細粒度ステージにおいて、カラー画像と粗度マップからより代表的な特徴を抽出するためにチャンネルシャッフル抽出操作が用いられ、チャンネルシャッフル操作によって得られた特徴を効果的に融合するためにエネルギーベースの融合操作が活用され、より正確で洗練された深度マップが作成される。我々は,RMSE on KITTIベンチマークでSoTA性能を実現する。他のデータセットに関する大規模な実験は、現在の最先端の深度補完アプローチよりも、我々のアプローチが優れていることを示す。

関連論文リスト

DepthSplat: Connecting Gaussian Splatting and Depth [90.06180236292866]
ガウススプラッティングと深さ推定を結合するDepthSplatを提案する。まず,事前学習した単眼深度特徴を生かして,頑健な多眼深度モデルを提案する。また,ガウス的スプラッティングは教師なし事前学習の目的として機能することを示す。
論文参考訳（メタデータ） (2024-10-17T17:59:58Z)
SteeredMarigold: Steering Diffusion Towards Depth Completion of Largely Incomplete Depth Maps [3.399289369740637]
SteeredMarigold は訓練なし、ゼロショット深度補完法である。これは、大半不完全深度写像であっても、メートル法的な密度深度を生成する。私たちのコードは公開されます。
論文参考訳（メタデータ） (2024-09-16T11:52:13Z)
Bilateral Propagation Network for Depth Completion [41.163328523175466]
深度補正は,色画像の同期による疎深度測定から高密度深度マップを導出することを目的としている。現在の最先端技術(SOTA)法は主に伝播に基づく手法であり、初期推定密度深さの反復精製として機能する。本稿では, スパースデータの直接結合を避けるために, 早期に深度を伝播するバイラテラル伝搬ネットワーク(BP-Net)を提案する。
論文参考訳（メタデータ） (2024-03-17T16:48:46Z)
Unveiling the Depths: A Multi-Modal Fusion Framework for Challenging Scenarios [103.72094710263656]
本稿では,学習に基づくフレームワークを用いて,支配的モダリティの奥行きを識別し,統合する手法を提案する。本稿では,信頼度予測ネットワークを操り,潜在電位深度領域を特定する信頼マップを作成する新しい信頼損失を提案する。得られた信頼度マップを用いて,最終深度をエンドツーエンドに融合するマルチモーダル融合ネットワークを提案する。
論文参考訳（メタデータ） (2024-02-19T04:39:16Z)
LRRU: Long-short Range Recurrent Updating Networks for Depth Completion [45.48580252300282]
深度補修をより効率的に行うために,Long-Short Range Recurrent Updating (LRRU) ネットワークを提案する。 LRRUはまずスパース入力を大まかに満たして初期密度の深度マップを取得し、次に学習された空間変化カーネルを通して反復的に更新する。我々の初期深度マップには粗いが完全な深度情報があり、粗い深度から深度を直接退避させる負担を軽減できる。
論文参考訳（メタデータ） (2023-10-13T09:04:52Z)
RigNet: Repetitive Image Guided Network for Depth Completion [20.66405067066299]
近年のアプローチは、高密度な結果を予測するためのイメージガイド学習に重点を置いている。ぼやけたイメージガイダンスとオブジェクト構造は、まだイメージガイドされたフレームワークのパフォーマンスを妨げている。画像案内ネットワークにおける反復的な設計を探索し,徐々に深度値の回復を図る。提案手法は,NYUv2データセットの最先端化を実現し,提出時のKITTIベンチマークで1位にランクインする。
論文参考訳（メタデータ） (2021-07-29T08:00:33Z)
Depth Completion using Plane-Residual Representation [84.63079529738924]
深度情報を最も近い深度平面ラベル$p$と残値$r$で解釈する新しい方法を紹介し,これをPlane-Residual (PR)表現と呼ぶ。 PR表現で深度情報を解釈し,それに対応する深度補完網を用いて,高速な計算により深度補完性能を向上させることができた。
論文参考訳（メタデータ） (2021-04-15T10:17:53Z)
Sparse Auxiliary Networks for Unified Monocular Depth Prediction and Completion [56.85837052421469]
コスト効率のよいセンサで得られたデータからシーン形状を推定することは、ロボットや自動運転車にとって鍵となる。本稿では,1枚のRGB画像から,低コストな能動深度センサによるスパース計測により,深度を推定する問題について検討する。 sparse networks (sans) は,深さ予測と完了という2つのタスクをmonodepthネットワークで実行可能にする,新しいモジュールである。
論文参考訳（メタデータ） (2021-03-30T21:22:26Z)
Efficient Depth Completion Using Learned Bases [94.0808155168311]
深度補正のための新しい大域的幾何制約を提案する。低次元部分空間上によく配置される深さ写像を仮定することにより、高密度深度写像は全解像度の主深度基底の重み付け和で近似することができる。
論文参考訳（メタデータ） (2020-12-02T11:57:37Z)
Depth Completion Using a View-constrained Deep Prior [73.21559000917554]
近年の研究では、畳み込みニューラルネットワーク(CNN)の構造が、自然画像に有利な強い先行性をもたらすことが示されている。この前者はディープ・イメージ・先行 (DIP) と呼ばれ、画像の装飾や塗装といった逆問題において有効な正則化器である。我々は、DIPの概念を深度画像に拡張し、色画像とノイズと不完全な目標深度マップから、CNNネットワーク構造を先行して復元された深度マップを再構成する。
論文参考訳（メタデータ） (2020-01-21T21:56:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。