論文の概要: Learning Hierarchical Color Guidance for Depth Map Super-Resolution

• arxiv url: http://arxiv.org/abs/2403.07290v1
• Date: Tue, 12 Mar 2024 03:44:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-13 23:05:38.495219
• Title: Learning Hierarchical Color Guidance for Depth Map Super-Resolution
• Title（参考訳）: 深度マップ超解像のための階層色指導の学習
• Authors: Runmin Cong, Ronghui Sheng, Hao Wu, Yulan Guo, Yunchao Wei, Wangmeng Zuo, Yao Zhao, and Sam Kwong
• Abstract要約: 深度マップ超解像(DSR)を実現する階層カラー誘導ネットワークを提案する。 一方、低レベルのディテール埋め込みモジュールは、奥行き特徴の高周波カラー情報を補うように設計されている。 一方,再建過程における意味的一貫性を維持するため,高レベルの抽象的ガイダンスモジュールが提案されている。
• 参考スコア（独自算出の注目度）: 168.1463802622881
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Color information is the most commonly used prior knowledge for depth map super-resolution (DSR), which can provide high-frequency boundary guidance for detail restoration. However, its role and functionality in DSR have not been fully developed. In this paper, we rethink the utilization of color information and propose a hierarchical color guidance network to achieve DSR. On the one hand, the low-level detail embedding module is designed to supplement high-frequency color information of depth features in a residual mask manner at the low-level stages. On the other hand, the high-level abstract guidance module is proposed to maintain semantic consistency in the reconstruction process by using a semantic mask that encodes the global guidance information. The color information of these two dimensions plays a role in the front and back ends of the attention-based feature projection (AFP) module in a more comprehensive form. Simultaneously, the AFP module integrates the multi-scale content enhancement block and adaptive attention projection block to make full use of multi-scale information and adaptively project critical restoration information in an attention manner for DSR. Compared with the state-of-the-art methods on four benchmark datasets, our method achieves more competitive performance both qualitatively and quantitatively.
• Abstract（参考訳）: 色情報は深度マップ・スーパーレゾリューション(DSR)において最も一般的に用いられる知識であり、詳細復元のための高周波境界ガイダンスを提供する。 しかし、DSRにおけるその役割と機能は完全には開発されていない。 本稿では,色情報の利用を再考し,DSRを実現するための階層色誘導ネットワークを提案する。 一方、低レベル細部埋め込みモジュールは、低レベル段階において、深さ特徴の高周波色情報を残留マスク方式で補完するように設計されている。 一方,グローバル誘導情報をエンコードするセマンティックマスクを用いて,再構成過程における意味的一貫性を維持するために,高レベル抽象誘導モジュールを提案する。 これら2つの次元の色情報は、より包括的な形で注目ベースの特徴投影(AFP)モジュールの前と後ろの端で役割を果たす。 同時に、AFPモジュールは、マルチスケールコンテンツ拡張ブロックとアダプティブアテンションプロジェクションブロックを統合して、マルチスケール情報を完全に活用し、DSRに対してアダプティブアテンション方法で重要な復元情報を適応的に投影する。 4つのベンチマークデータセットの最先端手法と比較して,本手法は質的かつ定量的に,より競争力のある性能を実現する。

関連論文リスト

• Symmetric Uncertainty-Aware Feature Transmission for Depth Super-Resolution [52.582632746409665]
  カラー誘導DSRのためのSymmetric Uncertainty-aware Feature Transmission (SUFT)を提案する。 本手法は最先端の手法と比較して優れた性能を実現する。
  論文  参考訳（メタデータ） (2023-06-01T06:35:59Z)
• Towards Reliable Image Outpainting: Learning Structure-Aware Multimodal Fusion with Depth Guidance [49.94504248096527]
  異なるモードの特徴表現をモデル化するためのDGONet(Depth-Guided Outpainting Network)を提案する。 1)マルチモーダル学習モジュールは、異なるモーダル特性の観点から独自の深さとRGBの特徴表現を生成する。 我々は、不明瞭な輪郭を増進し、信頼性の高いコンテンツ生成を迅速化するために、クロスモーダルロスとエッジロスからなる追加の制約戦略を特別に設計する。
  論文  参考訳（メタデータ） (2022-04-12T06:06:50Z)
• Cross-modality Discrepant Interaction Network for RGB-D Salient Object Detection [78.47767202232298]
  本稿では,RGB-D SODのためのクロスモダリティ離散相互作用ネットワーク(CDINet)を提案する。 2つのコンポーネントは、効果的な相互モダリティ相互作用を実装するように設計されている。 我々のネットワークは、定量的にも質的にも15ドルの最先端の手法より優れています。
  論文  参考訳（メタデータ） (2021-08-04T11:24:42Z)
• BridgeNet: A Joint Learning Network of Depth Map Super-Resolution and Monocular Depth Estimation [60.34562823470874]
  本稿では,DSR(Deep Map Super- resolution)とMDE(Monocular depth Estimation)の併用学習ネットワークを提案する。 1つは特徴符号化プロセスのために設計された高周波アテンションブリッジ(HABdg)で、これはDSRタスクを誘導するMDEタスクの高周波情報を学ぶ。 もう一つは、深度マップ再構築プロセス用に設計されたコンテンツガイダンスブリッジ(CGBdg)であり、MDEタスクのためにDSRタスクから学んだコンテンツガイダンスを提供する。
  論文  参考訳（メタデータ） (2021-07-27T01:28:23Z)
• High-resolution Depth Maps Imaging via Attention-based Hierarchical Multi-modal Fusion [84.24973877109181]
  誘導DSRのための新しい注意に基づく階層型マルチモーダル融合ネットワークを提案する。 本手法は,再現精度,動作速度,メモリ効率の点で最先端手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-04-04T03:28:33Z)
• Fast Generation of High Fidelity RGB-D Images by Deep-Learning with Adaptive Convolution [10.085742605397124]
  本稿では,RGB-D画像を高解像度で効率よく生成する深層学習手法を提案する。 エンドツーエンドのアプローチとして、高忠実度RGB-D画像を毎秒約21フレームの速度で効率的に生成することができる。
  論文  参考訳（メタデータ） (2020-02-12T16:14:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。