論文の概要: Spherical Space Feature Decomposition for Guided Depth Map Super-Resolution

• arxiv url: http://arxiv.org/abs/2303.08942v1
• Date: Wed, 15 Mar 2023 21:22:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-17 17:50:28.829953
• Title: Spherical Space Feature Decomposition for Guided Depth Map Super-Resolution
• Title（参考訳）: 誘導深度マップ超解像のための球面空間特徴分解
• Authors: Zixiang Zhao, Jiangshe Zhang, Xiang Gu, Chengli Tan, Shuang Xu, Yulun Zhang, Radu Timofte, Luc Van Gool
• Abstract要約: 誘導深度マップ超解像(GDSR)は、低解像度(LR)深度マップに高解像度(HR)RGB画像を含む追加情報を加えることを目的としている。 本稿では,この問題を解決するために,Spherical Space Feature Decomposition Network (SSDNet)を提案する。 提案手法は,4つのテストデータセットを用いて最先端の結果を達成し,実世界のシーンへの一般化に成功することができる。
• 参考スコア（独自算出の注目度）: 139.005219131348
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Guided depth map super-resolution (GDSR), as a hot topic in multi-modal image processing, aims to upsample low-resolution (LR) depth maps with additional information involved in high-resolution (HR) RGB images from the same scene. The critical step of this task is to effectively extract domain-shared and domain-private RGB/depth features. In addition, three detailed issues, namely blurry edges, noisy surfaces, and over-transferred RGB texture, need to be addressed. In this paper, we propose the Spherical Space feature Decomposition Network (SSDNet) to solve the above issues. To better model cross-modality features, Restormer block-based RGB/depth encoders are employed for extracting local-global features. Then, the extracted features are mapped to the spherical space to complete the separation of private features and the alignment of shared features. Shared features of RGB are fused with the depth features to complete the GDSR task. Subsequently, a spherical contrast refinement (SCR) module is proposed to further address the detail issues. Patches that are classified according to imperfect categories are input to the SCR module, where the patch features are pulled closer to the ground truth and pushed away from the corresponding imperfect samples in the spherical feature space via contrastive learning. Extensive experiments demonstrate that our method can achieve state-of-the-art results on four test datasets and can successfully generalize to real-world scenes. Code will be released.
• Abstract（参考訳）: 誘導深度マップ超解像(GDSR)はマルチモーダル画像処理におけるホットトピックとして,高分解能(HR)RGB画像の付加情報を含む低分解能(LR)深度マップのアップサンプリングを目的としている。 このタスクの重要なステップは、ドメイン共有およびドメインプライベートなRGB/deepth機能を効果的に抽出することです。 さらに、ぼやけたエッジ、ノイズの多い表面、過剰に伝達されたRGBテクスチャという3つの詳細な問題に対処する必要がある。 本稿では,この問題を解決するために,Spherical Space Feature Decomposition Network (SSDNet)を提案する。 RestormerブロックをベースとしたRGB/deepthエンコーダは,モダリティ特性のモデル化に有効である。 そして、抽出された特徴を球面空間にマッピングし、プライベート特徴の分離と共有特徴のアライメントを完了させる。 RGBの共有機能は、GDSRタスクを完了するための奥行き機能と融合している。 その後、より詳細な問題に対処するため、球面コントラスト改善(SCR)モジュールを提案する。 不完全なカテゴリに従って分類されたパッチは、SCRモジュールに入力され、パッチの特徴は、真相に近づき、対照的な学習を通じて、球状特徴空間の対応する不完全なサンプルから押し出される。 広範な実験により,本手法は4つのテストデータセットで最先端の結果を得ることができ,実世界のシーンに一般化できることを示した。 コードはリリースされる。

関連論文リスト

• Pyramidal Attention for Saliency Detection [30.554118525502115]
  本稿では,RGB画像のみを活用し,RGBから深度を推定し,中間深度特性を利用する。 ピラミッド型アテンション構造を用いて,マルチレベル畳み込み変換器の特徴を抽出し,初期表現の処理を行う。 我々は8つのRGBおよびRGB-Dデータセット上で21と40の最先端SOD法に対する性能を著しく改善したことを報告した。
  論文  参考訳（メタデータ） (2022-04-14T06:57:46Z)
• Cross-modality Discrepant Interaction Network for RGB-D Salient Object Detection [78.47767202232298]
  本稿では,RGB-D SODのためのクロスモダリティ離散相互作用ネットワーク(CDINet)を提案する。 2つのコンポーネントは、効果的な相互モダリティ相互作用を実装するように設計されている。 我々のネットワークは、定量的にも質的にも15ドルの最先端の手法より優れています。
  論文  参考訳（メタデータ） (2021-08-04T11:24:42Z)
• PDC: Piecewise Depth Completion utilizing Superpixels [0.0]
  現在のアプローチは、いくつかの既知の欠点のあるCNNベースのメソッドに依存することが多い。 深層学習なしで完全に機能する小説『Piecewise Depth Completion』(PDC)を提案する。 本評価では,提案した処理ステップがKITTIデータセットに与える影響と,本手法の全体的な性能に与える影響について述べる。
  論文  参考訳（メタデータ） (2021-07-14T13:58:39Z)
• Discrete Cosine Transform Network for Guided Depth Map Super-Resolution [19.86463937632802]
  目標は、高解像度(HR)RGB画像を使用してエッジとオブジェクトの輪郭に関する余分な情報を提供し、低解像度の深度マップをHR画像にアップサンプリングできるようにすることです。 本稿では,4つのコンポーネントから構成されるDCTNet(Digital Discrete Cosine Transform Network)を提案する。 本手法は,最新手法を越しに,正確かつ人事深度マップを生成できることを示した。
  論文  参考訳（メタデータ） (2021-04-14T17:01:03Z)
• High-resolution Depth Maps Imaging via Attention-based Hierarchical Multi-modal Fusion [84.24973877109181]
  誘導DSRのための新しい注意に基づく階層型マルチモーダル融合ネットワークを提案する。 本手法は,再現精度,動作速度,メモリ効率の点で最先端手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-04-04T03:28:33Z)
• Accurate RGB-D Salient Object Detection via Collaborative Learning [101.82654054191443]
  RGB-Dサリエンシ検出は、いくつかの課題シナリオにおいて素晴らしい能力を示している。 本稿では,エッジ,深度,塩分濃度をより効率的に活用する新しい協調学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-23T04:33:36Z)
• Cross-Modal Weighting Network for RGB-D Salient Object Detection [76.0965123893641]
  我々は,RGB-D SODの深度チャネルとRGB-D SODの包括的相互作用を促進するために,新しいクロスモーダルウェイトリング(CMW)戦略を提案する。 具体的には、CMW-L、CMW-M、CMW-Hという3つのRGB-depth相互作用モジュールが、それぞれ低レベル、中級、高レベルのクロスモーダル情報融合を扱うように開発されている。 CMWNetは、7つの人気のあるベンチマークで15の最先端のRGB-D SODメソッドを上回っている。
  論文  参考訳（メタデータ） (2020-07-09T16:01:44Z)
• Is Depth Really Necessary for Salient Object Detection? [50.10888549190576]
  本稿では,RGB情報のみを推論の入力とする統合深度認識フレームワークの実現に向けた最初の試みを行う。 5つの公開RGB SODベンチマークの最先端のパフォーマンスを上回るだけでなく、5つのベンチマークのRGBDベースのメソッドを大きく上回っている。
  論文  参考訳（メタデータ） (2020-05-30T13:40:03Z)
• Fast Generation of High Fidelity RGB-D Images by Deep-Learning with Adaptive Convolution [10.085742605397124]
  本稿では,RGB-D画像を高解像度で効率よく生成する深層学習手法を提案する。 エンドツーエンドのアプローチとして、高忠実度RGB-D画像を毎秒約21フレームの速度で効率的に生成することができる。
  論文  参考訳（メタデータ） (2020-02-12T16:14:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。