論文の概要: BridgeNet: A Joint Learning Network of Depth Map Super-Resolution and Monocular Depth Estimation

• arxiv url: http://arxiv.org/abs/2107.12541v1
• Date: Tue, 27 Jul 2021 01:28:23 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-28 14:44:02.073321
• Title: BridgeNet: A Joint Learning Network of Depth Map Super-Resolution and Monocular Depth Estimation
• Title（参考訳）: BridgeNet: 深度マップの超解法と単眼深度推定を併用した学習ネットワーク
• Authors: Qi Tang, Runmin Cong, Ronghui Sheng, Lingzhi He, Dan Zhang, Yao Zhao, and Sam Kwong
• Abstract要約: 本稿では,DSR(Deep Map Super- resolution)とMDE(Monocular depth Estimation)の併用学習ネットワークを提案する。 1つは特徴符号化プロセスのために設計された高周波アテンションブリッジ(HABdg)で、これはDSRタスクを誘導するMDEタスクの高周波情報を学ぶ。 もう一つは、深度マップ再構築プロセス用に設計されたコンテンツガイダンスブリッジ(CGBdg)であり、MDEタスクのためにDSRタスクから学んだコンテンツガイダンスを提供する。
• 参考スコア（独自算出の注目度）: 60.34562823470874
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Depth map super-resolution is a task with high practical application requirements in the industry. Existing color-guided depth map super-resolution methods usually necessitate an extra branch to extract high-frequency detail information from RGB image to guide the low-resolution depth map reconstruction. However, because there are still some differences between the two modalities, direct information transmission in the feature dimension or edge map dimension cannot achieve satisfactory result, and may even trigger texture copying in areas where the structures of the RGB-D pair are inconsistent. Inspired by the multi-task learning, we propose a joint learning network of depth map super-resolution (DSR) and monocular depth estimation (MDE) without introducing additional supervision labels. For the interaction of two subnetworks, we adopt a differentiated guidance strategy and design two bridges correspondingly. One is the high-frequency attention bridge (HABdg) designed for the feature encoding process, which learns the high-frequency information of the MDE task to guide the DSR task. The other is the content guidance bridge (CGBdg) designed for the depth map reconstruction process, which provides the content guidance learned from DSR task for MDE task. The entire network architecture is highly portable and can provide a paradigm for associating the DSR and MDE tasks. Extensive experiments on benchmark datasets demonstrate that our method achieves competitive performance. Our code and models are available at https://rmcong.github.io/proj_BridgeNet.html.
• Abstract（参考訳）: 深度マップ超解像は、業界で高い実用的アプリケーション要件を持つタスクである。 既存のカラー誘導深度マップ超解法は、通常、RGB画像から高周波詳細情報を抽出して低解像度深度マップ再構成を導くために余分な枝を必要とする。 しかし,2つのモードの間には相違点がまだあるため,特徴次元やエッジマップ次元の直接情報伝達では満足な結果が得られず,RGB-Dペアの構造が矛盾する領域でテクスチャコピーをトリガーすることもできる。 マルチタスク学習に触発されて,新たな監視ラベルを導入することなく,深度マップ超解法(DSR)と単眼深度推定(MDE)の併用学習ネットワークを提案する。 2つのサブネットワークの相互作用については、異なる誘導戦略を採用し、対応する2つのブリッジを設計する。 1つは特徴符号化プロセスのために設計された高周波アテンションブリッジ(HABdg)で、これはDSRタスクを誘導するMDEタスクの高周波情報を学ぶ。 もうひとつは、深度マップ再構築プロセス用に設計されたcontent guidance bridge(cgbdg)で、mdeタスクでdsrタスクから学んだコンテンツガイダンスを提供する。 ネットワークアーキテクチャ全体は非常にポータブルであり、DSRとMDEタスクを関連付けるためのパラダイムを提供することができる。 ベンチマークデータセットの大規模な実験により,本手法が競合性能を実現することを示す。 私たちのコードとモデルはhttps://rmcong.github.io/proj_bridgenet.htmlで利用可能です。

関連論文リスト

• DSR-Diff: Depth Map Super-Resolution with Diffusion Model [38.68563026759223]
  本稿では,遅延空間内の拡散モデルを用いて,深度マップの超解像誘導を行う新しいCDSRパラダイムを提案する。 提案手法は,最先端手法と比較して,広範囲な実験において優れた性能を示した。
  論文  参考訳（メタデータ） (2023-11-16T14:18:10Z)
• RGB-Depth Fusion GAN for Indoor Depth Completion [29.938869342958125]
  本稿では,RGBと不完全深度画像のペアを入力として,高密度で完成度の高い深度マップを推定する,新しい2分岐エンドツーエンド融合ネットワークを設計する。 あるブランチでは、RGB画像を微細なテクスチャ化深度マップに転送するRGB深度融合GANを提案する。 他方のブランチでは、W-AdaINという名前の適応核融合モジュールを採用し、2つのブランチにまたがる特徴を伝播させます。
  論文  参考訳（メタデータ） (2022-03-21T10:26:38Z)
• Joint Learning of Salient Object Detection, Depth Estimation and Contour Extraction [91.43066633305662]
  RGB-D Salient Object Detection (SOD) のための新しいマルチタスク・マルチモーダルフィルタトランス (MMFT) ネットワークを提案する。 具体的には、深度推定、健全な物体検出、輪郭推定の3つの相補的なタスクを統合する。マルチタスク機構は、タスク認識の特徴を補助タスクから学習するためのモデルを促進する。 実験の結果、複数のデータセット上での深度に基づくRGB-D SOD法をはるかに上回るだけでなく、高品質の深度マップと塩分濃度を同時に正確に予測できることがわかった。
  論文  参考訳（メタデータ） (2022-03-09T17:20:18Z)
• RGB-D Saliency Detection via Cascaded Mutual Information Minimization [122.8879596830581]
  既存のRGB-Dサリエンシ検出モデルは、RGBと深さを効果的にマルチモーダル学習を実現するために明示的に奨励するものではない。 本稿では,RGB画像と深度データ間のマルチモーダル情報を「明示的」にモデル化するために,相互情報最小化による新しい多段階学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-15T12:31:27Z)
• Cross-modality Discrepant Interaction Network for RGB-D Salient Object Detection [78.47767202232298]
  本稿では,RGB-D SODのためのクロスモダリティ離散相互作用ネットワーク(CDINet)を提案する。 2つのコンポーネントは、効果的な相互モダリティ相互作用を実装するように設計されている。 我々のネットワークは、定量的にも質的にも15ドルの最先端の手法より優れています。
  論文  参考訳（メタデータ） (2021-08-04T11:24:42Z)
• High-resolution Depth Maps Imaging via Attention-based Hierarchical Multi-modal Fusion [84.24973877109181]
  誘導DSRのための新しい注意に基づく階層型マルチモーダル融合ネットワークを提案する。 本手法は,再現精度,動作速度,メモリ効率の点で最先端手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-04-04T03:28:33Z)
• Learning Scene Structure Guidance via Cross-Task Knowledge Transfer for Single Depth Super-Resolution [35.21324004883027]
  既存のカラーガイド深度スーパーリゾリューション(DSR)アプローチでは、RGBイメージを構造的なガイダンスとして使用するトレーニングサンプルとしてペアのRGB-Dデータを必要とします。 トレーニング段階では,RGBと深度モダリティの両方が利用できるが,単一の深度モダリティのみが存在するターゲットデータセット上でテストを行うという,クロスモダリティの知識を初めて学習する。 具体的には、RGBイメージを入力として深度マップを推定する補助深度推定(DE)タスクを構築し、DSRタスクとDSRタスクの両方を協調的にトレーニングして性能を向上させる。
  論文  参考訳（メタデータ） (2021-03-24T03:08:25Z)
• Accurate RGB-D Salient Object Detection via Collaborative Learning [101.82654054191443]
  RGB-Dサリエンシ検出は、いくつかの課題シナリオにおいて素晴らしい能力を示している。 本稿では,エッジ,深度,塩分濃度をより効率的に活用する新しい協調学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-23T04:33:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。