論文の概要: Bilateral Propagation Network for Depth Completion

• arxiv url: http://arxiv.org/abs/2403.11270v2
• Date: Mon, 1 Apr 2024 09:11:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-04 08:08:50.868249
• Title: Bilateral Propagation Network for Depth Completion
• Title（参考訳）: 奥行き完了のための双方向伝搬ネットワーク
• Authors: Jie Tang, Fei-Peng Tian, Boshi An, Jian Li, Ping Tan,
• Abstract要約: 深度補正は,色画像の同期による疎深度測定から高密度深度マップを導出することを目的としている。 現在の最先端技術(SOTA)法は主に伝播に基づく手法であり、初期推定密度深さの反復精製として機能する。 本稿では, スパースデータの直接結合を避けるために, 早期に深度を伝播するバイラテラル伝搬ネットワーク(BP-Net)を提案する。
• 参考スコア（独自算出の注目度）: 41.163328523175466
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Depth completion aims to derive a dense depth map from sparse depth measurements with a synchronized color image. Current state-of-the-art (SOTA) methods are predominantly propagation-based, which work as an iterative refinement on the initial estimated dense depth. However, the initial depth estimations mostly result from direct applications of convolutional layers on the sparse depth map. In this paper, we present a Bilateral Propagation Network (BP-Net), that propagates depth at the earliest stage to avoid directly convolving on sparse data. Specifically, our approach propagates the target depth from nearby depth measurements via a non-linear model, whose coefficients are generated through a multi-layer perceptron conditioned on both \emph{radiometric difference} and \emph{spatial distance}. By integrating bilateral propagation with multi-modal fusion and depth refinement in a multi-scale framework, our BP-Net demonstrates outstanding performance on both indoor and outdoor scenes. It achieves SOTA on the NYUv2 dataset and ranks 1st on the KITTI depth completion benchmark at the time of submission. Experimental results not only show the effectiveness of bilateral propagation but also emphasize the significance of early-stage propagation in contrast to the refinement stage. Our code and trained models will be available on the project page.
• Abstract（参考訳）: 深度補正は,色画像の同期による疎深度測定から高密度深度マップを導出することを目的としている。 現在の最先端技術(SOTA)法は主に伝播に基づく手法であり、初期推定密度深さの反復精製として機能する。 しかし、初期深度推定は主にスパース深度マップ上の畳み込み層の直接適用によるものである。 本稿では,スパースデータの直接結合を避けるために,最初期の深度を伝播するバイラテラル伝搬ネットワーク(BP-Net)を提案する。 具体的には, 近接深度測定のターゲット深度を非線形モデルを用いて伝搬させ, 係数は, 多層パーセプトロンにより生成する。 BP-Netは,マルチモーダル融合と深度改善を併用して,屋内および屋外の両方で優れた性能を示す。 これはNYUv2データセットでSOTAを達成し、提出時にKITTI深度補完ベンチマークで1位にランクインする。 実験の結果は, 両側伝播の有効性を示すだけでなく, 改良段階とは対照的に早期伝播の重要性も強調した。 私たちのコードとトレーニングされたモデルは、プロジェクトページで公開されます。

関連論文リスト

• DepthSplat: Connecting Gaussian Splatting and Depth [90.06180236292866]
  ガウススプラッティングと深さ推定を結合するDepthSplatを提案する。 まず,事前学習した単眼深度特徴を生かして,頑健な多眼深度モデルを提案する。 また,ガウス的スプラッティングは教師なし事前学習の目的として機能することを示す。
  論文  参考訳（メタデータ） (2024-10-17T17:59:58Z)
• Progressive Depth Decoupling and Modulating for Flexible Depth Completion [28.693100885012008]
  画像誘導深度補正は、疎LiDARデータとRGB画像から高密度深度マップを生成することを目的としている。 近年の手法では,2つのサブタスク(深度離散化と確率予測)で分類問題として再検討し,有望な性能を示した。 本研究では, 深度範囲をビンに漸進的に分離し, マルチスケールの深度マップを適応的に生成するプログレッシブ・ディープ・デカップリング・変調ネットワークを提案する。
  論文  参考訳（メタデータ） (2024-05-15T13:45:33Z)
• DiffusionDepth: Diffusion Denoising Approach for Monocular Depth Estimation [23.22005119986485]
  DiffusionDepthは、単分子深度推定をデノナイズ拡散過程として再構成する新しいアプローチである。 ランダムな深度分布をモノラルな視覚条件のガイダンスで深度マップに分解する反復的復調過程を学習する。 KITTIとNYU-Depth-V2データセットの実験結果は、シンプルだが効率的な拡散アプローチが、許容可能な推論時間を持つ屋内および屋外の両方のシナリオで最先端のパフォーマンスに達することを示唆している。
  論文  参考訳（メタデータ） (2023-03-09T03:48:24Z)
• GraphCSPN: Geometry-Aware Depth Completion via Dynamic GCNs [49.55919802779889]
  本稿では,グラフ畳み込みに基づく空間伝搬ネットワーク(GraphCSPN)を提案する。 本研究では、幾何学的表現学習において、畳み込みニューラルネットワークとグラフニューラルネットワークを相補的に活用する。 提案手法は,数段の伝搬ステップのみを使用する場合と比較して,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2022-10-19T17:56:03Z)
• Non-parametric Depth Distribution Modelling based Depth Inference for Multi-view Stereo [43.415242967722804]
  最近のコストボリュームピラミッドに基づくディープニューラルネットワークは、多視点ステレオからの深度推論に高解像度の画像を効率的に活用する可能性を解き放った。 一般に、これらのアプローチは各ピクセルの深さが一様分布に従うと仮定する。 本研究では,非パラメトリック深度分布モデルを用いて,一様および多モード分布の画素を扱うコストボリュームを構築することを提案する。
  論文  参考訳（メタデータ） (2022-05-08T05:13:04Z)
• VolumeFusion: Deep Depth Fusion for 3D Scene Reconstruction [71.83308989022635]
  本稿では、ディープニューラルネットワークを用いた従来の2段階フレームワークの複製により、解釈可能性と結果の精度が向上することを提唱する。 ネットワークは,1)深部MVS技術を用いた局所深度マップの局所計算,2)深部マップと画像の特徴を融合させて単一のTSDFボリュームを構築する。 異なる視点から取得した画像間のマッチング性能を改善するために,PosedConvと呼ばれる回転不変な3D畳み込みカーネルを導入する。
  論文  参考訳（メタデータ） (2021-08-19T11:33:58Z)
• Sparse Auxiliary Networks for Unified Monocular Depth Prediction and Completion [56.85837052421469]
  コスト効率のよいセンサで得られたデータからシーン形状を推定することは、ロボットや自動運転車にとって鍵となる。 本稿では,1枚のRGB画像から,低コストな能動深度センサによるスパース計測により,深度を推定する問題について検討する。 sparse networks (sans) は,深さ予測と完了という2つのタスクをmonodepthネットワークで実行可能にする,新しいモジュールである。
  論文  参考訳（メタデータ） (2021-03-30T21:22:26Z)
• CodeVIO: Visual-Inertial Odometry with Learned Optimizable Dense Depth [83.77839773394106]
  本稿では,軽量で密結合の深い深度ネットワークと視覚慣性オドメトリーシステムを提案する。 我々は、初期深度予測の精度を高めるために、以前にVIOから切り離されたスパース特徴を持つネットワークを提供する。 本稿では,ネットワークとコードヤコビアンでのみGPUアクセラレーションを活用しながら,シングルスレッド実行でリアルタイムに動作可能であることを示す。
  論文  参考訳（メタデータ） (2020-12-18T09:42:54Z)
• FCFR-Net: Feature Fusion based Coarse-to-Fine Residual Learning for Monocular Depth Completion [15.01291779855834]
  最近のアプローチは、主に1段階のエンドツーエンドの学習タスクとして深さの完成を定式化します。 深度完了を2段階学習タスクとして定式化する,新しいエンドツーエンドの残留学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-12-15T13:09:56Z)
• Guiding Monocular Depth Estimation Using Depth-Attention Volume [38.92495189498365]
  本研究では,特に屋内環境に広く分布する平面構造を優先するための奥行き推定法を提案する。 2つのポピュラーな屋内データセットであるNYU-Depth-v2とScanNetの実験により,本手法が最先端の深度推定結果を実現することを示す。
  論文  参考訳（メタデータ） (2020-04-06T15:45:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。