論文の概要: High-resolution Depth Maps Imaging via Attention-based Hierarchical Multi-modal Fusion

• arxiv url: http://arxiv.org/abs/2104.01530v1
• Date: Sun, 4 Apr 2021 03:28:33 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-06 14:36:56.968654
• Title: High-resolution Depth Maps Imaging via Attention-based Hierarchical Multi-modal Fusion
• Title（参考訳）: 注意に基づく階層型マルチモーダル融合による高分解能深度マップイメージング
• Authors: Zhiwei Zhong, Xianming Liu, Junjun Jiang, Debin Zhao, Zhiwen Chen and Xiangyang Ji
• Abstract要約: 誘導DSRのための新しい注意に基づく階層型マルチモーダル融合ネットワークを提案する。 本手法は,再現精度,動作速度,メモリ効率の点で最先端手法よりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 84.24973877109181
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Depth map records distance between the viewpoint and objects in the scene, which plays a critical role in many real-world applications. However, depth map captured by consumer-grade RGB-D cameras suffers from low spatial resolution. Guided depth map super-resolution (DSR) is a popular approach to address this problem, which attempts to restore a high-resolution (HR) depth map from the input low-resolution (LR) depth and its coupled HR RGB image that serves as the guidance. The most challenging problems for guided DSR are how to correctly select consistent structures and propagate them, and properly handle inconsistent ones. In this paper, we propose a novel attention-based hierarchical multi-modal fusion (AHMF) network for guided DSR. Specifically, to effectively extract and combine relevant information from LR depth and HR guidance, we propose a multi-modal attention based fusion (MMAF) strategy for hierarchical convolutional layers, including a feature enhance block to select valuable features and a feature recalibration block to unify the similarity metrics of modalities with different appearance characteristics. Furthermore, we propose a bi-directional hierarchical feature collaboration (BHFC) module to fully leverage low-level spatial information and high-level structure information among multi-scale features. Experimental results show that our approach outperforms state-of-the-art methods in terms of reconstruction accuracy, running speed and memory efficiency.
• Abstract（参考訳）: 深度マップは、シーン内の視点とオブジェクトの間の距離を記録し、多くの現実世界のアプリケーションにおいて重要な役割を果たす。 しかし、コンシューマグレードのRGB-Dカメラで捉えた深度マップは、空間解像度が低い。 誘導深度マップ超解像(DSR)は、高分解能(HR)深度マップを入力低分解能(LR)深度と結合したHR RGB画像から復元しようとする、この問題に対処するための一般的なアプローチである。 ガイド付きDSRの最も難しい問題は、一貫性のある構造を正しく選択し、それらを伝播し、一貫性のない構造を適切に扱う方法である。 本稿では,誘導DSRのための新しい注目型階層型マルチモーダル融合(AHMF)ネットワークを提案する。 具体的には、LR深度とHRガイダンスから関連情報を効果的に抽出し、組み合わせるために、階層的畳み込み層に対するマルチモーダルアテンションベース融合(MMAF)戦略を提案する。 さらに,マルチスケール特徴量間の低レベル空間情報と高レベル構造情報を完全に活用する双方向階層的特徴協調(BHFC)モジュールを提案する。 実験の結果,提案手法は再現精度,実行速度,メモリ効率において,最先端の手法よりも優れていた。

関連論文リスト

• PGNeXt: High-Resolution Salient Object Detection via Pyramid Grafting Network [24.54269823691119]
  本稿では、データセットとネットワークフレームワークの両方の観点から、より難解な高分解能サルエントオブジェクト検出(HRSOD)について述べる。 HRSODデータセットの欠如を補うため、UHRSDと呼ばれる大規模高解像度の高分解能物体検出データセットを慎重に収集した。 すべての画像はピクセルレベルで微妙にアノテートされ、以前の低解像度のSODデータセットをはるかに上回っている。
  論文  参考訳（メタデータ） (2024-08-02T09:31:21Z)
• Learning Hierarchical Color Guidance for Depth Map Super-Resolution [168.1463802622881]
  深度マップ超解像(DSR)を実現する階層カラー誘導ネットワークを提案する。 一方、低レベルのディテール埋め込みモジュールは、奥行き特徴の高周波カラー情報を補うように設計されている。 一方,再建過程における意味的一貫性を維持するため,高レベルの抽象的ガイダンスモジュールが提案されている。
  論文  参考訳（メタデータ） (2024-03-12T03:44:46Z)
• DSR-Diff: Depth Map Super-Resolution with Diffusion Model [38.68563026759223]
  本稿では,遅延空間内の拡散モデルを用いて,深度マップの超解像誘導を行う新しいCDSRパラダイムを提案する。 提案手法は,最先端手法と比較して,広範囲な実験において優れた性能を示した。
  論文  参考訳（メタデータ） (2023-11-16T14:18:10Z)
• Multi-Depth Branch Network for Efficient Image Super-Resolution [12.042706918188566]
  超解像(SR)における長年の課題は、低解像(LR)の高頻度細部を効率的に拡張する方法である。 MDBM(Multi-Depth Branch Module)を特徴とする非対称SRアーキテクチャを提案する。 MDBMには異なる深さの枝があり、高い周波数と低周波の情報を同時に、効率的に捉えるように設計されている。
  論文  参考訳（メタデータ） (2023-09-29T15:46:25Z)
• Symmetric Uncertainty-Aware Feature Transmission for Depth Super-Resolution [52.582632746409665]
  カラー誘導DSRのためのSymmetric Uncertainty-aware Feature Transmission (SUFT)を提案する。 本手法は最先端の手法と比較して優れた性能を実現する。
  論文  参考訳（メタデータ） (2023-06-01T06:35:59Z)
• Memory-augmented Deep Unfolding Network for Guided Image Super-resolution [67.83489239124557]
  誘導画像超解像(GISR)は、HR画像の誘導の下で低解像度(LR)目標画像の空間分解能を高めて高解像度(HR)目標画像を得る。 従来のモデルベース手法は主に画像全体を取り、HR目標画像とHRガイダンス画像との事前分布を仮定する。 HR目標画像上で2種類の事前性を持つGISRの最大後部(MAP)推定モデルを提案する。
  論文  参考訳（メタデータ） (2022-02-12T15:37:13Z)
• BridgeNet: A Joint Learning Network of Depth Map Super-Resolution and Monocular Depth Estimation [60.34562823470874]
  本稿では,DSR(Deep Map Super- resolution)とMDE(Monocular depth Estimation)の併用学習ネットワークを提案する。 1つは特徴符号化プロセスのために設計された高周波アテンションブリッジ(HABdg)で、これはDSRタスクを誘導するMDEタスクの高周波情報を学ぶ。 もう一つは、深度マップ再構築プロセス用に設計されたコンテンツガイダンスブリッジ(CGBdg)であり、MDEタスクのためにDSRタスクから学んだコンテンツガイダンスを提供する。
  論文  参考訳（メタデータ） (2021-07-27T01:28:23Z)
• Progressive Multi-scale Fusion Network for RGB-D Salient Object Detection [9.099589602551575]
  本稿では,いわゆるプログレッシブ・マルチスケール・フュージョン法の利点について論じ,マスク誘導型特徴集合モジュールを提案する。 提案フレームワークは,異なるモードの2つの特徴を効果的に組み合わせ,誤った深さ特徴の影響を軽減する。 さらに,マスク誘導型改良モジュール(MGRM)を導入し,高レベルの意味的特徴を補完し,マルチスケール融合から無関係な特徴を減らす。
  論文  参考訳（メタデータ） (2021-06-07T20:02:39Z)
• Hierarchical Deep CNN Feature Set-Based Representation Learning for Robust Cross-Resolution Face Recognition [59.29808528182607]
  クロスリゾリューション顔認識(CRFR)は、インテリジェントな監視およびバイオメトリックフォレンジックにおいて重要である。 既存の浅層学習と深層学習に基づく手法は、HR-LR対を共同特徴空間にマッピングすることに焦点を当てている。 本研究では,多レベル深層畳み込みニューラルネットワーク(CNN)の機能を完全に活用し,堅牢なCRFRを実現することを目的とする。
  論文  参考訳（メタデータ） (2021-03-25T14:03:42Z)
• Multi-Scale Progressive Fusion Learning for Depth Map Super-Resolution [11.072332820377612]
  深度カメラが収集する深度マップの解像度は、RGBカメラの解像度よりも低いことが多い。 深度マップの超解法における大きな問題は、明らかにギザギザと細部が過剰に失われることである。 本稿では,各領域に階層的特徴を統合する構造を持つ深度マップSRのためのマルチスケールプログレッシブ・フュージョン・ネットワークを提案する。
  論文  参考訳（メタデータ） (2020-11-24T03:03:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。