論文の概要: IGAF: Incremental Guided Attention Fusion for Depth Super-Resolution

• arxiv url: http://arxiv.org/abs/2501.01723v1
• Date: Fri, 03 Jan 2025 09:27:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-06 15:11:35.733827
• Title: IGAF: Incremental Guided Attention Fusion for Depth Super-Resolution
• Title（参考訳）: IGAF:Depth Super-Resolutionのためのインクリメンタルガイド・アテンション・フュージョン
• Authors: Athanasios Tragakis, Chaitanya Kaul, Kevin J. Mitchell, Hang Dai, Roderick Murray-Smith, Daniele Faccio,
• Abstract要約: 誘導深度超解像(GDSR)のための新しいセンサ融合手法を提案する。 GDSRは、LR深度マップとHR画像を組み合わせて詳細なHR深度マップを推定する。 本モデルでは,NYU v2データセットのベースラインモデルすべてと比較して,最先端の結果が得られている。
• 参考スコア（独自算出の注目度）: 13.04760414998408
• License:
• Abstract: Accurate depth estimation is crucial for many fields, including robotics, navigation, and medical imaging. However, conventional depth sensors often produce low-resolution (LR) depth maps, making detailed scene perception challenging. To address this, enhancing LR depth maps to high-resolution (HR) ones has become essential, guided by HR-structured inputs like RGB or grayscale images. We propose a novel sensor fusion methodology for guided depth super-resolution (GDSR), a technique that combines LR depth maps with HR images to estimate detailed HR depth maps. Our key contribution is the Incremental guided attention fusion (IGAF) module, which effectively learns to fuse features from RGB images and LR depth maps, producing accurate HR depth maps. Using IGAF, we build a robust super-resolution model and evaluate it on multiple benchmark datasets. Our model achieves state-of-the-art results compared to all baseline models on the NYU v2 dataset for $\times 4$, $\times 8$, and $\times 16$ upsampling. It also outperforms all baselines in a zero-shot setting on the Middlebury, Lu, and RGB-D-D datasets. Code, environments, and models are available on GitHub.
• Abstract（参考訳）: 正確な深度推定は、ロボット工学、ナビゲーション、医療画像など多くの分野において重要である。 しかし、従来の深度センサはしばしば低解像度(LR)深度マップを生成するため、詳細なシーン知覚は困難である。 これを解決するために、RGBやグレースケール画像のようなHR構造化入力によって誘導される高分解能(HR)マップへのLR深度マップの強化が不可欠になっている。 本稿では、LR深度マップとHR画像を組み合わせて詳細なHR深度マップを推定する技術であるガイドド深度超解法(GDSR)の新たなセンサ融合手法を提案する。 このモジュールは、RGB画像とLR深度マップから機能を効果的に融合させ、正確なHR深度マップを生成する。 IGAFを用いて、堅牢な超解像モデルを構築し、複数のベンチマークデータセット上で評価する。 我々のモデルは、NYU v2データセットのすべてのベースラインモデルに対して、$\times 4$, $\times 8$, $\times 16$ upsamplingに対して、最先端の結果を達成する。 また、Middlebury、Lu、RGB-D-Dデータセットのゼロショット設定ですべてのベースラインを上回ります。 コード、環境、モデルはGitHubで入手できる。

関連論文リスト

• SGNet: Structure Guided Network via Gradient-Frequency Awareness for Depth Map Super-Resolution [17.847216843129342]
  深度超解像は高分解能(HR)深度を低分解能(LR)深度から復元することを目的としており、そこではRGB画像がこの課題を促進するためにしばしば使用される。 最近の画像誘導型DSRアプローチは、主に深度構造を再構築するための空間領域に焦点を当てている。 本稿では、勾配や周波数領域にもっと注意を払う構造案内ネットワーク(SGNet)を提案する。
  論文  参考訳（メタデータ） (2023-12-10T07:17:06Z)
• RDFC-GAN: RGB-Depth Fusion CycleGAN for Indoor Depth Completion [28.634851863097953]
  本稿では,RDFC-GANという2分岐のエンドツーエンド核融合ネットワークを提案する。 RGBと不完全な深度画像のペアを入力として、密集した深度マップを予測する。 第1分枝は、マンハッタン世界の仮定に固執することにより、エンコーダ・デコーダ構造を用いる。 もう一方のブランチでは、RGBイメージを詳細なテクスチャ化された深度マップに変換するのに適したRGB深度融合CycleGANが適用されている。
  論文  参考訳（メタデータ） (2023-06-06T11:03:05Z)
• Symmetric Uncertainty-Aware Feature Transmission for Depth Super-Resolution [52.582632746409665]
  カラー誘導DSRのためのSymmetric Uncertainty-aware Feature Transmission (SUFT)を提案する。 本手法は最先端の手法と比較して優れた性能を実現する。
  論文  参考訳（メタデータ） (2023-06-01T06:35:59Z)
• Spherical Space Feature Decomposition for Guided Depth Map Super-Resolution [123.04455334124188]
  誘導深度マップ超解像(GDSR)は、低解像度(LR)深度マップに高解像度(HR)RGB画像を含む追加情報を加えることを目的としている。 本稿では,この問題を解決するために,Spherical Space Feature Decomposition Network (SSDNet)を提案する。 提案手法は,4つのテストデータセットの最先端結果と実世界のシーンへの一般化を実現する。
  論文  参考訳（メタデータ） (2023-03-15T21:22:21Z)
• RGB-Depth Fusion GAN for Indoor Depth Completion [29.938869342958125]
  本稿では,RGBと不完全深度画像のペアを入力として,高密度で完成度の高い深度マップを推定する,新しい2分岐エンドツーエンド融合ネットワークを設計する。 あるブランチでは、RGB画像を微細なテクスチャ化深度マップに転送するRGB深度融合GANを提案する。 他方のブランチでは、W-AdaINという名前の適応核融合モジュールを採用し、2つのブランチにまたがる特徴を伝播させます。
  論文  参考訳（メタデータ） (2022-03-21T10:26:38Z)
• BridgeNet: A Joint Learning Network of Depth Map Super-Resolution and Monocular Depth Estimation [60.34562823470874]
  本稿では,DSR(Deep Map Super- resolution)とMDE(Monocular depth Estimation)の併用学習ネットワークを提案する。 1つは特徴符号化プロセスのために設計された高周波アテンションブリッジ(HABdg)で、これはDSRタスクを誘導するMDEタスクの高周波情報を学ぶ。 もう一つは、深度マップ再構築プロセス用に設計されたコンテンツガイダンスブリッジ(CGBdg)であり、MDEタスクのためにDSRタスクから学んだコンテンツガイダンスを提供する。
  論文  参考訳（メタデータ） (2021-07-27T01:28:23Z)
• Towards Fast and Accurate Real-World Depth Super-Resolution: Benchmark Dataset and Baseline [48.69396457721544]
  深度写像スーパーリゾリューション(SR)の研究を促進するために,RGB-D-Dという大規模データセットを構築した。 本稿では、RGB画像から高周波成分を適応的に分解して深度マップSRを導出する高速深度マップ超解像(FDSR)ベースラインを提供する。 実世界のLR深度マップでは、より明確な境界を持つより正確なHR深度マップを作成でき、ある程度の精度で深度値誤差を補正できる。
  論文  参考訳（メタデータ） (2021-04-13T13:27:26Z)
• High-resolution Depth Maps Imaging via Attention-based Hierarchical Multi-modal Fusion [84.24973877109181]
  誘導DSRのための新しい注意に基づく階層型マルチモーダル融合ネットワークを提案する。 本手法は,再現精度,動作速度,メモリ効率の点で最先端手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-04-04T03:28:33Z)
• Channel Attention based Iterative Residual Learning for Depth Map Super-Resolution [58.626803922196146]
  我々は、合成データセットで訓練されたDSRモデルは制限的であり、実世界のDSRタスクを扱うのに有効ではないと論じる。 我々は、異なる深度センサの現実世界の劣化に対処するために2つの貢献をしている。 4つのモジュールからなる実世界のDSRのための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-02T09:12:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。