論文の概要: Symmetric Uncertainty-Aware Feature Transmission for Depth Super-Resolution

• arxiv url: http://arxiv.org/abs/2306.00386v1
• Date: Thu, 1 Jun 2023 06:35:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-02 18:04:04.974991
• Title: Symmetric Uncertainty-Aware Feature Transmission for Depth Super-Resolution
• Title（参考訳）: 深さ超解像のための対称不確かさ認識特徴伝達
• Authors: Wuxuan Shi, Mang Ye, Bo Du
• Abstract要約: カラー誘導DSRのためのSymmetric Uncertainty-aware Feature Transmission (SUFT)を提案する。 本手法は最先端の手法と比較して優れた性能を実現する。
• 参考スコア（独自算出の注目度）: 52.582632746409665
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Color-guided depth super-resolution (DSR) is an encouraging paradigm that enhances a low-resolution (LR) depth map guided by an extra high-resolution (HR) RGB image from the same scene. Existing methods usually use interpolation to upscale the depth maps before feeding them into the network and transfer the high-frequency information extracted from HR RGB images to guide the reconstruction of depth maps. However, the extracted high-frequency information usually contains textures that are not present in depth maps in the existence of the cross-modality gap, and the noises would be further aggravated by interpolation due to the resolution gap between the RGB and depth images. To tackle these challenges, we propose a novel Symmetric Uncertainty-aware Feature Transmission (SUFT) for color-guided DSR. (1) For the resolution gap, SUFT builds an iterative up-and-down sampling pipeline, which makes depth features and RGB features spatially consistent while suppressing noise amplification and blurring by replacing common interpolated pre-upsampling. (2) For the cross-modality gap, we propose a novel Symmetric Uncertainty scheme to remove parts of RGB information harmful to the recovery of HR depth maps. Extensive experiments on benchmark datasets and challenging real-world settings suggest that our method achieves superior performance compared to state-of-the-art methods. Our code and models are available at https://github.com/ShiWuxuan/SUFT.
• Abstract（参考訳）: カラー誘導深度超解像(DSR)は、低解像度(LR)深度マップを同じシーンから高解像度(HR)RGB画像でガイドする奨励パラダイムである。 既存の方法では、補間を利用して深度マップをアップスケールし、ネットワークに供給し、HR RGB画像から抽出した高周波情報を転送して深度マップの再構築を導く。 しかし, 抽出した高周波情報は通常, クロスモダリティギャップの存在下では深度マップに存在しないテクスチャを含んでおり, RGBと深度画像の解像度ギャップによる補間によりさらにノイズが増大する。 これらの課題に対処するために、カラー誘導DSRのための新しいSymmetric Uncertainty-aware Feature Transmission (SUFT)を提案する。 1) 分解能ギャップを解消するために,SUFTは, 補間プリサンプリングを置き換え, ノイズ増幅やぼやけを抑制しつつ, 奥行き特性とRGB特性を空間的に一貫した反復的アップ・アンド・ダウンサンプリングパイプラインを構築した。 2)クロスモダリティギャップに対して,HR深度マップの復元に有害なRGB情報の一部を除去するシンメトリクス不確実性手法を提案する。 ベンチマークデータセットの広範囲な実験と実世界設定への挑戦から,本手法は最先端手法よりも優れた性能が得られることが示唆された。 私たちのコードとモデルはhttps://github.com/shiwuxuan/suft.comで利用可能です。

関連論文リスト

• SGNet: Structure Guided Network via Gradient-Frequency Awareness for Depth Map Super-Resolution [17.847216843129342]
  深度超解像は高分解能(HR)深度を低分解能(LR)深度から復元することを目的としており、そこではRGB画像がこの課題を促進するためにしばしば使用される。 最近の画像誘導型DSRアプローチは、主に深度構造を再構築するための空間領域に焦点を当てている。 本稿では、勾配や周波数領域にもっと注意を払う構造案内ネットワーク(SGNet)を提案する。
  論文  参考訳（メタデータ） (2023-12-10T07:17:06Z)
• Spherical Space Feature Decomposition for Guided Depth Map Super-Resolution [123.04455334124188]
  誘導深度マップ超解像(GDSR)は、低解像度(LR)深度マップに高解像度(HR)RGB画像を含む追加情報を加えることを目的としている。 本稿では,この問題を解決するために,Spherical Space Feature Decomposition Network (SSDNet)を提案する。 提案手法は,4つのテストデータセットの最先端結果と実世界のシーンへの一般化を実現する。
  論文  参考訳（メタデータ） (2023-03-15T21:22:21Z)
• RGB-D Grasp Detection via Depth Guided Learning with Cross-modal Attention [14.790193023912973]
  本稿では,DGCAN(Depth Guided Cross-modal Attention Network)を用いた新しい学習手法を提案する。 深度チャネルに記録された幾何情報をよりよく活用するために、全6次元矩形表現を専用に考慮して採用する。 余分な掴み深度の予測は特徴学習を大幅に強化し、より正確な結果をもたらす。
  論文  参考訳（メタデータ） (2023-02-28T02:41:27Z)
• Joint Learning of Salient Object Detection, Depth Estimation and Contour Extraction [91.43066633305662]
  RGB-D Salient Object Detection (SOD) のための新しいマルチタスク・マルチモーダルフィルタトランス (MMFT) ネットワークを提案する。 具体的には、深度推定、健全な物体検出、輪郭推定の3つの相補的なタスクを統合する。マルチタスク機構は、タスク認識の特徴を補助タスクから学習するためのモデルを促進する。 実験の結果、複数のデータセット上での深度に基づくRGB-D SOD法をはるかに上回るだけでなく、高品質の深度マップと塩分濃度を同時に正確に予測できることがわかった。
  論文  参考訳（メタデータ） (2022-03-09T17:20:18Z)
• Cross-modality Discrepant Interaction Network for RGB-D Salient Object Detection [78.47767202232298]
  本稿では,RGB-D SODのためのクロスモダリティ離散相互作用ネットワーク(CDINet)を提案する。 2つのコンポーネントは、効果的な相互モダリティ相互作用を実装するように設計されている。 我々のネットワークは、定量的にも質的にも15ドルの最先端の手法より優れています。
  論文  参考訳（メタデータ） (2021-08-04T11:24:42Z)
• Discrete Cosine Transform Network for Guided Depth Map Super-Resolution [19.86463937632802]
  目標は、高解像度(HR)RGB画像を使用してエッジとオブジェクトの輪郭に関する余分な情報を提供し、低解像度の深度マップをHR画像にアップサンプリングできるようにすることです。 本稿では,4つのコンポーネントから構成されるDCTNet(Digital Discrete Cosine Transform Network)を提案する。 本手法は,最新手法を越しに,正確かつ人事深度マップを生成できることを示した。
  論文  参考訳（メタデータ） (2021-04-14T17:01:03Z)
• Towards Fast and Accurate Real-World Depth Super-Resolution: Benchmark Dataset and Baseline [48.69396457721544]
  深度写像スーパーリゾリューション(SR)の研究を促進するために,RGB-D-Dという大規模データセットを構築した。 本稿では、RGB画像から高周波成分を適応的に分解して深度マップSRを導出する高速深度マップ超解像(FDSR)ベースラインを提供する。 実世界のLR深度マップでは、より明確な境界を持つより正確なHR深度マップを作成でき、ある程度の精度で深度値誤差を補正できる。
  論文  参考訳（メタデータ） (2021-04-13T13:27:26Z)
• High-resolution Depth Maps Imaging via Attention-based Hierarchical Multi-modal Fusion [84.24973877109181]
  誘導DSRのための新しい注意に基づく階層型マルチモーダル融合ネットワークを提案する。 本手法は,再現精度,動作速度,メモリ効率の点で最先端手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-04-04T03:28:33Z)
• Multi-Scale Progressive Fusion Learning for Depth Map Super-Resolution [11.072332820377612]
  深度カメラが収集する深度マップの解像度は、RGBカメラの解像度よりも低いことが多い。 深度マップの超解法における大きな問題は、明らかにギザギザと細部が過剰に失われることである。 本稿では,各領域に階層的特徴を統合する構造を持つ深度マップSRのためのマルチスケールプログレッシブ・フュージョン・ネットワークを提案する。
  論文  参考訳（メタデータ） (2020-11-24T03:03:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。