論文の概要: DSR-Diff: Depth Map Super-Resolution with Diffusion Model

• arxiv url: http://arxiv.org/abs/2311.09919v1
• Date: Thu, 16 Nov 2023 14:18:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-17 13:51:43.929390
• Title: DSR-Diff: Depth Map Super-Resolution with Diffusion Model
• Title（参考訳）: DSR-Diff:拡散モデルを用いた深度マップ超解法
• Authors: Yuan Shi, Bin Xia, Rui Zhu, Qingmin Liao, and Wenming Yang
• Abstract要約: 本稿では,遅延空間内の拡散モデルを用いて,深度マップの超解像誘導を行う新しいCDSRパラダイムを提案する。 提案手法は,最先端手法と比較して,広範囲な実験において優れた性能を示した。
• 参考スコア（独自算出の注目度）: 38.68563026759223
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Color-guided depth map super-resolution (CDSR) improve the spatial resolution of a low-quality depth map with the corresponding high-quality color map, benefiting various applications such as 3D reconstruction, virtual reality, and augmented reality. While conventional CDSR methods typically rely on convolutional neural networks or transformers, diffusion models (DMs) have demonstrated notable effectiveness in high-level vision tasks. In this work, we present a novel CDSR paradigm that utilizes a diffusion model within the latent space to generate guidance for depth map super-resolution. The proposed method comprises a guidance generation network (GGN), a depth map super-resolution network (DSRN), and a guidance recovery network (GRN). The GGN is specifically designed to generate the guidance while managing its compactness. Additionally, we integrate a simple but effective feature fusion module and a transformer-style feature extraction module into the DSRN, enabling it to leverage guided priors in the extraction, fusion, and reconstruction of multi-model images. Taking into account both accuracy and efficiency, our proposed method has shown superior performance in extensive experiments when compared to state-of-the-art methods. Our codes will be made available at https://github.com/shiyuan7/DSR-Diff.
• Abstract（参考訳）: カラー誘導深度マップスーパーレゾリューション(CDSR)は、低品質深度マップの空間解像度を対応する高品質のカラーマップで改善し、3D再構成、バーチャルリアリティ、拡張現実などの様々な応用に寄与する。 従来のCDSR法は一般的に畳み込みニューラルネットワークやトランスフォーマーに依存しているが、拡散モデル(DM)は高レベルの視覚タスクにおいて顕著な効果を示した。 本研究では,潜時空間内の拡散モデルを用いて深度マップ超解像のためのガイダンスを生成する新しいcdsrパラダイムを提案する。 提案手法は、誘導生成ネットワーク(GGN)、深度マップ超解像ネットワーク(DSRN)、誘導回復ネットワーク(GRN)からなる。 ggnはコンパクト性を管理しながらガイダンスを生成するよう特別に設計されている。 さらに,単純かつ効果的な機能融合モジュールとトランスフォーマチックな特徴抽出モジュールをdsrnに統合し,マルチモデル画像の抽出,融合,再構成において先駆的手法を活用できるようにした。 提案手法は, 精度と効率を考慮し, 最先端手法と比較して広範な実験において優れた性能を示した。 私たちのコードはhttps://github.com/shiyuan7/DSR-Diff.comで公開されます。

関連論文リスト

• Cutting-Edge Techniques for Depth Map Super-Resolution [0.0]
  市販の深度センサにおけるハードウェアの限界を克服するために、深度マップ超解像(DMSR)は実用的で価値のあるコンピュータビジョンタスクである。 DMSRのための共同画像フィルタリングは、空間不変かつ空間不変な畳み込みニューラルネットワーク(CNN)アプローチを用いて適用されている。 本稿では,Swin変換器アーキテクチャを用いた新しい共同画像フィルタリングDMSRアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-06-27T06:57:08Z)
• Learning Continuous Depth Representation via Geometric Spatial Aggregator [47.1698365486215]
  深度マップ超解法(DSR)のための新しい連続深度表現法を提案する。 この表現の中心は我々の提案した幾何空間アグリゲータ(GSA)であり、これは任意にアップサンプリングされたターゲットグリッドにより変調された距離場を利用する。 また、局所座標間の関数マッピングを構築するための原理的な方法を持つGeoDSRというトランスフォーマースタイルのバックボーンも提示する。
  論文  参考訳（メタデータ） (2022-12-07T07:48:23Z)
• Guided Depth Super-Resolution by Deep Anisotropic Diffusion [18.445649181582823]
  誘導異方性拡散と深層畳み込みネットワークを組み合わせた新しい手法を提案する。 誘導深度超解像のための3つの一般的なベンチマークで前例のない結果を得た。
  論文  参考訳（メタデータ） (2022-11-21T15:48:13Z)
• Deep Posterior Distribution-based Embedding for Hyperspectral Image Super-resolution [75.24345439401166]
  本稿では,高スペクトル画像の高次元空間スペクトル情報を効率的に効率的に埋め込む方法について述べる。 我々は,HS埋め込みを,慎重に定義されたHS埋め込みイベントの集合の後方分布の近似として定式化する。 そして,提案手法を物理的に解釈可能なソース一貫性超解像フレームワークに組み込む。 3つの一般的なベンチマークデータセットに対する実験により、PDE-Netは最先端の手法よりも優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2022-05-30T06:59:01Z)
• BridgeNet: A Joint Learning Network of Depth Map Super-Resolution and Monocular Depth Estimation [60.34562823470874]
  本稿では,DSR(Deep Map Super- resolution)とMDE(Monocular depth Estimation)の併用学習ネットワークを提案する。 1つは特徴符号化プロセスのために設計された高周波アテンションブリッジ(HABdg)で、これはDSRタスクを誘導するMDEタスクの高周波情報を学ぶ。 もう一つは、深度マップ再構築プロセス用に設計されたコンテンツガイダンスブリッジ(CGBdg)であり、MDEタスクのためにDSRタスクから学んだコンテンツガイダンスを提供する。
  論文  参考訳（メタデータ） (2021-07-27T01:28:23Z)
• High-resolution Depth Maps Imaging via Attention-based Hierarchical Multi-modal Fusion [84.24973877109181]
  誘導DSRのための新しい注意に基づく階層型マルチモーダル融合ネットワークを提案する。 本手法は,再現精度,動作速度,メモリ効率の点で最先端手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-04-04T03:28:33Z)
• Accurate and Lightweight Image Super-Resolution with Model-Guided Deep Unfolding Network [63.69237156340457]
  我々は、モデル誘導深部展開ネットワーク(MoG-DUN)と呼ばれるSISRに対する説明可能なアプローチを提示し、提唱する。 MoG-DUNは正確(エイリアスを少なくする)、計算効率(モデルパラメータを減らした)、多用途(多重劣化を処理できる)である。 RCAN, SRDNF, SRFBNを含む既存の最先端画像手法に対するMoG-DUN手法の優位性は、いくつかの一般的なデータセットと様々な劣化シナリオに関する広範な実験によって実証されている。
  論文  参考訳（メタデータ） (2020-09-14T08:23:37Z)
• Interpretable Deep Multimodal Image Super-Resolution [23.48305854574444]
  マルチモーダル画像超解像(Multimodal image super- resolution, SR)は、高分解能画像の再構成である。 本稿では,結合した疎結合を組み込んだマルチモーダルディープネットワーク設計を行い,他のモーダルからの情報を再構成プロセスに効果的に融合させる。
  論文  参考訳（メタデータ） (2020-09-07T14:08:35Z)
• Channel Attention based Iterative Residual Learning for Depth Map Super-Resolution [58.626803922196146]
  我々は、合成データセットで訓練されたDSRモデルは制限的であり、実世界のDSRタスクを扱うのに有効ではないと論じる。 我々は、異なる深度センサの現実世界の劣化に対処するために2つの貢献をしている。 4つのモジュールからなる実世界のDSRのための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-02T09:12:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。