論文の概要: Learning an Efficient Multimodal Depth Completion Model

• arxiv url: http://arxiv.org/abs/2208.10771v1
• Date: Tue, 23 Aug 2022 07:03:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-24 13:19:08.894845
• Title: Learning an Efficient Multimodal Depth Completion Model
• Title（参考訳）: 効率的なマルチモーダル奥行き完了モデルの学習
• Authors: Dewang Hou, Yuanyuan Du, Kai Zhao, Yang Zhao
• Abstract要約: RGB画像ガイドによるスパース深度補完は近年広く注目されているが、まだいくつかの問題に直面している。 提案手法は軽量なアーキテクチャで最先端の手法より優れている。 また、MIPI2022 RGB+TOFディープ・コンプリート・チャレンジでも優勝している。
• 参考スコア（独自算出の注目度）: 11.740546882538142
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the wide application of sparse ToF sensors in mobile devices, RGB image-guided sparse depth completion has attracted extensive attention recently, but still faces some problems. First, the fusion of multimodal information requires more network modules to process different modalities. But the application scenarios of sparse ToF measurements usually demand lightweight structure and low computational cost. Second, fusing sparse and noisy depth data with dense pixel-wise RGB data may introduce artifacts. In this paper, a light but efficient depth completion network is proposed, which consists of a two-branch global and local depth prediction module and a funnel convolutional spatial propagation network. The two-branch structure extracts and fuses cross-modal features with lightweight backbones. The improved spatial propagation module can refine the completed depth map gradually. Furthermore, corrected gradient loss is presented for the depth completion problem. Experimental results demonstrate the proposed method can outperform some state-of-the-art methods with a lightweight architecture. The proposed method also wins the championship in the MIPI2022 RGB+TOF depth completion challenge.
• Abstract（参考訳）: モバイル機器におけるスパースToFセンサーの広範な応用により、RGBイメージガイドによるスパース深度補正が近年注目されているが、まだいくつかの問題に直面している。 まず、マルチモーダル情報の融合は、異なるモダリティを処理するためにより多くのネットワークモジュールを必要とする。 しかし、スパースToF測定の応用シナリオは通常、軽量な構造と低い計算コストを必要とする。 第二に、密度の高い画素単位のRGBデータでスパースとノイズの深さデータを融合させると、アーティファクトが生じる可能性がある。 本稿では,2分岐大域および局所深度予測モジュールとファンネル畳み込み空間伝搬ネットワークからなる,軽量かつ効率的な深さ完了ネットワークを提案する。 2分岐構造は、軽量なバックボーンでクロスモーダルな特徴を抽出、融合する。 改良された空間伝搬モジュールは、完成深度マップを徐々に洗練することができる。 さらに、深さ完了問題に対して補正された勾配損失を示す。 実験結果から,提案手法は軽量アーキテクチャで最先端手法に勝ることを示した。 提案手法はMIPI2022 RGB+TOFディープコンプリートチャレンジでも優勝している。

関連論文リスト

• Progressive Depth Decoupling and Modulating for Flexible Depth Completion [28.693100885012008]
  画像誘導深度補正は、疎LiDARデータとRGB画像から高密度深度マップを生成することを目的としている。 近年の手法では,2つのサブタスク(深度離散化と確率予測)で分類問題として再検討し,有望な性能を示した。 本研究では, 深度範囲をビンに漸進的に分離し, マルチスケールの深度マップを適応的に生成するプログレッシブ・ディープ・デカップリング・変調ネットワークを提案する。
  論文  参考訳（メタデータ） (2024-05-15T13:45:33Z)
• LRRU: Long-short Range Recurrent Updating Networks for Depth Completion [45.48580252300282]
  深度補修をより効率的に行うために,Long-Short Range Recurrent Updating (LRRU) ネットワークを提案する。 LRRUはまずスパース入力を大まかに満たして初期密度の深度マップを取得し、次に学習された空間変化カーネルを通して反復的に更新する。 我々の初期深度マップには粗いが完全な深度情報があり、粗い深度から深度を直接退避させる負担を軽減できる。
  論文  参考訳（メタデータ） (2023-10-13T09:04:52Z)
• RGB-Depth Fusion GAN for Indoor Depth Completion [29.938869342958125]
  本稿では,RGBと不完全深度画像のペアを入力として,高密度で完成度の高い深度マップを推定する,新しい2分岐エンドツーエンド融合ネットワークを設計する。 あるブランチでは、RGB画像を微細なテクスチャ化深度マップに転送するRGB深度融合GANを提案する。 他方のブランチでは、W-AdaINという名前の適応核融合モジュールを採用し、2つのブランチにまたがる特徴を伝播させます。
  論文  参考訳（メタデータ） (2022-03-21T10:26:38Z)
• Joint Learning of Salient Object Detection, Depth Estimation and Contour Extraction [91.43066633305662]
  RGB-D Salient Object Detection (SOD) のための新しいマルチタスク・マルチモーダルフィルタトランス (MMFT) ネットワークを提案する。 具体的には、深度推定、健全な物体検出、輪郭推定の3つの相補的なタスクを統合する。マルチタスク機構は、タスク認識の特徴を補助タスクから学習するためのモデルを促進する。 実験の結果、複数のデータセット上での深度に基づくRGB-D SOD法をはるかに上回るだけでなく、高品質の深度マップと塩分濃度を同時に正確に予測できることがわかった。
  論文  参考訳（メタデータ） (2022-03-09T17:20:18Z)
• MSFNet:Multi-scale features network for monocular depth estimation [0.0]
  Multi-scale Features Network (MSFNet) はEDA (Enhanced Diverse Attention) モジュールと Upsample-Stage Fusion (USF) モジュールで構成される。 EDAモジュールは空間的注意法を用いて重要な空間情報を学習する。 USFモジュールは、予測された効果を改善するために、低レベルの詳細情報と高レベルの意味情報を補完する。
  論文  参考訳（メタデータ） (2021-07-14T01:38:29Z)
• Sparse Auxiliary Networks for Unified Monocular Depth Prediction and Completion [56.85837052421469]
  コスト効率のよいセンサで得られたデータからシーン形状を推定することは、ロボットや自動運転車にとって鍵となる。 本稿では,1枚のRGB画像から,低コストな能動深度センサによるスパース計測により,深度を推定する問題について検討する。 sparse networks (sans) は,深さ予測と完了という2つのタスクをmonodepthネットワークで実行可能にする,新しいモジュールである。
  論文  参考訳（メタデータ） (2021-03-30T21:22:26Z)
• Efficient Depth Completion Using Learned Bases [94.0808155168311]
  深度補正のための新しい大域的幾何制約を提案する。 低次元部分空間上によく配置される深さ写像を仮定することにより、高密度深度写像は全解像度の主深度基底の重み付け和で近似することができる。
  論文  参考訳（メタデータ） (2020-12-02T11:57:37Z)
• Adaptive Context-Aware Multi-Modal Network for Depth Completion [107.15344488719322]
  我々は,観測された空間コンテキストを捉えるために,グラフ伝搬を採用することを提案する。 次に、注意機構を伝搬に適用し、ネットワークが文脈情報を適応的にモデル化することを奨励する。 最後に、抽出したマルチモーダル特徴を効果的に活用するための対称ゲート融合戦略を導入する。 本稿では,Adaptive Context-Aware Multi-Modal Network (ACMNet) を2つのベンチマークで評価した。
  論文  参考訳（メタデータ） (2020-08-25T06:00:06Z)
• Accurate RGB-D Salient Object Detection via Collaborative Learning [101.82654054191443]
  RGB-Dサリエンシ検出は、いくつかの課題シナリオにおいて素晴らしい能力を示している。 本稿では,エッジ,深度,塩分濃度をより効率的に活用する新しい協調学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-23T04:33:36Z)
• A Single Stream Network for Robust and Real-time RGB-D Salient Object Detection [89.88222217065858]
  我々は、深度マップを用いて、RGBと深度の間の早期融合と中核融合を誘導する単一ストリームネットワークを設計する。 このモデルは、現在の最も軽量なモデルよりも55.5%軽く、32 FPSのリアルタイム速度で384倍の384ドルの画像を処理している。
  論文  参考訳（メタデータ） (2020-07-14T04:40:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。