論文の概要: LRRU: Long-short Range Recurrent Updating Networks for Depth Completion
- arxiv url: http://arxiv.org/abs/2310.08956v1
- Date: Fri, 13 Oct 2023 09:04:52 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-16 13:43:55.172079
- Title: LRRU: Long-short Range Recurrent Updating Networks for Depth Completion
- Title(参考訳): LRRU:深度到達のための長短レンジリカレント更新ネットワーク
- Authors: Yufei Wang, Bo Li, Ge Zhang, Qi Liu, Tao Gao, Yuchao Dai
- Abstract要約: 深度補修をより効率的に行うために,Long-Short Range Recurrent Updating (LRRU) ネットワークを提案する。
LRRUはまずスパース入力を大まかに満たして初期密度の深度マップを取得し、次に学習された空間変化カーネルを通して反復的に更新する。
我々の初期深度マップには粗いが完全な深度情報があり、粗い深度から深度を直接退避させる負担を軽減できる。
- 参考スコア(独自算出の注目度): 45.48580252300282
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Existing deep learning-based depth completion methods generally employ
massive stacked layers to predict the dense depth map from sparse input data.
Although such approaches greatly advance this task, their accompanied huge
computational complexity hinders their practical applications. To accomplish
depth completion more efficiently, we propose a novel lightweight deep network
framework, the Long-short Range Recurrent Updating (LRRU) network. Without
learning complex feature representations, LRRU first roughly fills the sparse
input to obtain an initial dense depth map, and then iteratively updates it
through learned spatially-variant kernels. Our iterative update process is
content-adaptive and highly flexible, where the kernel weights are learned by
jointly considering the guidance RGB images and the depth map to be updated,
and large-to-small kernel scopes are dynamically adjusted to capture
long-to-short range dependencies. Our initial depth map has coarse but complete
scene depth information, which helps relieve the burden of directly regressing
the dense depth from sparse ones, while our proposed method can effectively
refine it to an accurate depth map with less learnable parameters and inference
time. Experimental results demonstrate that our proposed LRRU variants achieve
state-of-the-art performance across different parameter regimes. In particular,
the LRRU-Base model outperforms competing approaches on the NYUv2 dataset, and
ranks 1st on the KITTI depth completion benchmark at the time of submission.
Project page: https://npucvr.github.io/LRRU/.
- Abstract(参考訳): 既存の深度学習に基づく深度補完法は, 一般に, 粗い入力データから深度マップを予測するために, 重層化層を用いる。
このようなアプローチは、このタスクを大いに前進させるが、それに伴う膨大な計算複雑性は、その実践的応用を妨げる。
より効率的に深度処理を実現するために,Long-Short Range Recurrent Updating (LRRU) ネットワークという,軽量な深度ネットワークフレームワークを提案する。
複雑な特徴表現を学習せずに、LRRUはまずスパース入力を大まかに満たして初期密度の深度マップを取得し、学習された空間変化カーネルを通して反復的に更新する。
我々の反復的更新プロセスはコンテント順応的かつ柔軟であり、ガイドRGB画像と深度マップを併用してカーネル重みを学習し、大小のカーネルスコープを動的に調整して長短の領域依存を捕捉する。
我々の初期深度マップは粗いが完全な深度情報を持ち、疎密な深度を直接退避させる負担を軽減するのに役立ち、提案手法は学習可能なパラメータや推論時間が少ない正確な深度マップに効果的に洗練することができる。
実験の結果,提案するlrru変種は,異なるパラメータレジームで最先端の性能を実現することがわかった。
特に、LRRU-Baseモデルは、NYUv2データセット上の競合するアプローチよりも優れており、提出時にKITTI深さ補完ベンチマークで1位である。
プロジェクトページ: https://npucvr.github.io/lrru/
関連論文リスト
- Temporal Lidar Depth Completion [0.08192907805418582]
PENetは, 再発の恩恵を受けるために, 最新の手法であるPENetをどう修正するかを示す。
提案アルゴリズムは,KITTI深度補完データセットの最先端結果を実現する。
論文 参考訳(メタデータ) (2024-06-17T08:25:31Z) - Progressive Depth Decoupling and Modulating for Flexible Depth Completion [28.693100885012008]
画像誘導深度補正は、疎LiDARデータとRGB画像から高密度深度マップを生成することを目的としている。
近年の手法では,2つのサブタスク(深度離散化と確率予測)で分類問題として再検討し,有望な性能を示した。
本研究では, 深度範囲をビンに漸進的に分離し, マルチスケールの深度マップを適応的に生成するプログレッシブ・ディープ・デカップリング・変調ネットワークを提案する。
論文 参考訳(メタデータ) (2024-05-15T13:45:33Z) - Revisiting Deformable Convolution for Depth Completion [40.45231083385708]
深度完備化は、スパース深度マップから高品質の高密度深度マップを作成することを目的としている。
従来の作業では、通常、RGBイメージをガイダンスとして使用し、推定された粗い深度マップを洗練するための反復的な空間伝播を導入している。
変形可能なカーネルの畳み込みを単一パスリファインメントモジュールとして活用する,効率的なアーキテクチャを提案する。
論文 参考訳(メタデータ) (2023-08-03T17:59:06Z) - Depth Completion using Plane-Residual Representation [84.63079529738924]
深度情報を最も近い深度平面ラベル$p$と残値$r$で解釈する新しい方法を紹介し,これをPlane-Residual (PR)表現と呼ぶ。
PR表現で深度情報を解釈し,それに対応する深度補完網を用いて,高速な計算により深度補完性能を向上させることができた。
論文 参考訳(メタデータ) (2021-04-15T10:17:53Z) - Sparse Auxiliary Networks for Unified Monocular Depth Prediction and
Completion [56.85837052421469]
コスト効率のよいセンサで得られたデータからシーン形状を推定することは、ロボットや自動運転車にとって鍵となる。
本稿では,1枚のRGB画像から,低コストな能動深度センサによるスパース計測により,深度を推定する問題について検討する。
sparse networks (sans) は,深さ予測と完了という2つのタスクをmonodepthネットワークで実行可能にする,新しいモジュールである。
論文 参考訳(メタデータ) (2021-03-30T21:22:26Z) - CodeVIO: Visual-Inertial Odometry with Learned Optimizable Dense Depth [83.77839773394106]
本稿では,軽量で密結合の深い深度ネットワークと視覚慣性オドメトリーシステムを提案する。
我々は、初期深度予測の精度を高めるために、以前にVIOから切り離されたスパース特徴を持つネットワークを提供する。
本稿では,ネットワークとコードヤコビアンでのみGPUアクセラレーションを活用しながら,シングルスレッド実行でリアルタイムに動作可能であることを示す。
論文 参考訳(メタデータ) (2020-12-18T09:42:54Z) - FCFR-Net: Feature Fusion based Coarse-to-Fine Residual Learning for
Monocular Depth Completion [15.01291779855834]
最近のアプローチは、主に1段階のエンドツーエンドの学習タスクとして深さの完成を定式化します。
深度完了を2段階学習タスクとして定式化する,新しいエンドツーエンドの残留学習フレームワークを提案する。
論文 参考訳(メタデータ) (2020-12-15T13:09:56Z) - Efficient Depth Completion Using Learned Bases [94.0808155168311]
深度補正のための新しい大域的幾何制約を提案する。
低次元部分空間上によく配置される深さ写像を仮定することにより、高密度深度写像は全解像度の主深度基底の重み付け和で近似することができる。
論文 参考訳(メタデータ) (2020-12-02T11:57:37Z) - Accurate RGB-D Salient Object Detection via Collaborative Learning [101.82654054191443]
RGB-Dサリエンシ検出は、いくつかの課題シナリオにおいて素晴らしい能力を示している。
本稿では,エッジ,深度,塩分濃度をより効率的に活用する新しい協調学習フレームワークを提案する。
論文 参考訳(メタデータ) (2020-07-23T04:33:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。