論文の概要: 360$^\circ$ High-Resolution Depth Estimation via Uncertainty-aware Structural Knowledge Transfer

• arxiv url: http://arxiv.org/abs/2304.07967v3
• Date: Thu, 23 May 2024 08:37:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-26 21:32:22.096114
• Title: 360$^\circ$ High-Resolution Depth Estimation via Uncertainty-aware Structural Knowledge Transfer
• Title（参考訳）: 360$^\circ$ 高分解能深さ推定における不確実性を考慮した構造的知識伝達
• Authors: Zidong Cao, Hao Ai, Athanasios V. Vasilakos, Lin Wang,
• Abstract要約: 高分解能(HR)全方位深度マップを予測するために、既存の手法では、完全に教師付き学習を通じて入力としてHR全方位画像(ODI)を利用するのが一般的である。 本稿では,HR深度GTマップが存在しない場合に,低分解能(LR) ODIから直接HR全方位深度を推定する。 我々のキーとなる考え方は、HR画像のモダリティと対応するLR深度マップからシーン構造的知識を移譲し、余分な推論コストを伴わずにHR深度推定の目標を達成することである。
• 参考スコア（独自算出の注目度）: 8.988255747467333
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: To predict high-resolution (HR) omnidirectional depth map, existing methods typically leverage HR omnidirectional image (ODI) as the input via fully-supervised learning. However, in practice, taking HR ODI as input is undesired due to resource-constrained devices. In addition, depth maps are often with lower resolution than color images. Therefore, in this paper, we explore for the first time to estimate the HR omnidirectional depth directly from a low-resolution (LR) ODI, when no HR depth GT map is available. Our key idea is to transfer the scene structural knowledge from the HR image modality and the corresponding LR depth maps to achieve the goal of HR depth estimation without any extra inference cost. Specifically, we introduce ODI super-resolution (SR) as an auxiliary task and train both tasks collaboratively in a weakly supervised manner to boost the performance of HR depth estimation. The ODI SR task extracts the scene structural knowledge via uncertainty estimation. Buttressed by this, a scene structural knowledge transfer (SSKT) module is proposed with two key components. First, we employ a cylindrical implicit interpolation function (CIIF) to learn cylindrical neural interpolation weights for feature up-sampling and share the parameters of CIIFs between the two tasks. Then, we propose a feature distillation (FD) loss that provides extra structural regularization to help the HR depth estimation task learn more scene structural knowledge. Extensive experiments demonstrate that our weakly-supervised method outperforms baseline methods, and even achieves comparable performance with the fully-supervised methods.
• Abstract（参考訳）: 高分解能(HR)全方位深度マップを予測するために、既存の手法では、完全に教師付き学習を通じて入力としてHR全方位画像(ODI)を利用するのが一般的である。 しかし、実際には、HR ODIを入力として扱うのは、リソース制約されたデバイスのため望ましくない。 さらに、深度マップはカラー画像よりも解像度が低いことが多い。 そこで本研究では,HR深度GTマップが存在しない場合に,低分解能(LR) ODIから直接HR全方位深度を推定する。 我々のキーとなる考え方は、HR画像のモダリティと対応するLR深度マップからシーン構造的知識を移譲し、余分な推論コストを伴わずにHR深度推定の目標を達成することである。 具体的には,ODIスーパーレゾリューション(SR)を補助タスクとして導入し,HR深度推定の性能を高めるために,両タスクを弱教師付きで協調的に訓練する。 ODI SRタスクは不確実性推定によってシーン構造的知識を抽出する。 これにより,シーン構造知識伝達 (SSKT) モジュールを2つのキーコンポーネントで提案する。 まず,疑似補間関数(CIIF)を用いて,2つのタスク間でCIIFのパラメータを共有する。 そこで本研究では,HR深度推定タスクがよりシーン構造的知識を学習するのを助けるために,付加的な構造正則化を提供する特徴蒸留(FD)損失を提案する。 大規模な実験により,本手法はベースライン法よりも優れており,完全教師付き手法と同等の性能を達成できることが示された。

関連論文リスト

• Single-Point Supervised High-Resolution Dynamic Network for Infrared Small Target Detection [7.0456782736205685]
  単一点教師付き高分解能ダイナミックネットワーク(SSHD-Net)を提案する。 単一点監視のみを用いて、最先端(SOTA)検出性能を実現する。 公開データセット NUDT-SIRST と IRSTD-1k の実験により,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-08-04T09:44:47Z)
• Memory-augmented Deep Unfolding Network for Guided Image Super-resolution [67.83489239124557]
  誘導画像超解像(GISR)は、HR画像の誘導の下で低解像度(LR)目標画像の空間分解能を高めて高解像度(HR)目標画像を得る。 従来のモデルベース手法は主に画像全体を取り、HR目標画像とHRガイダンス画像との事前分布を仮定する。 HR目標画像上で2種類の事前性を持つGISRの最大後部(MAP)推定モデルを提案する。
  論文  参考訳（メタデータ） (2022-02-12T15:37:13Z)
• Weakly-Supervised Monocular Depth Estimationwith Resolution-Mismatched Data [73.9872931307401]
  単眼深度推定ネットワークをトレーニングするための弱教師付きフレームワークを提案する。 提案フレームワークは, 共有重量単分子深度推定ネットワークと蒸留用深度再構成ネットワークから構成される。 実験結果から,本手法は教師なし・半教師付き学習ベース方式よりも優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2021-09-23T18:04:12Z)
• BridgeNet: A Joint Learning Network of Depth Map Super-Resolution and Monocular Depth Estimation [60.34562823470874]
  本稿では,DSR(Deep Map Super- resolution)とMDE(Monocular depth Estimation)の併用学習ネットワークを提案する。 1つは特徴符号化プロセスのために設計された高周波アテンションブリッジ(HABdg)で、これはDSRタスクを誘導するMDEタスクの高周波情報を学ぶ。 もう一つは、深度マップ再構築プロセス用に設計されたコンテンツガイダンスブリッジ(CGBdg)であり、MDEタスクのためにDSRタスクから学んだコンテンツガイダンスを提供する。
  論文  参考訳（メタデータ） (2021-07-27T01:28:23Z)
• Towards Fast and Accurate Real-World Depth Super-Resolution: Benchmark Dataset and Baseline [48.69396457721544]
  深度写像スーパーリゾリューション(SR)の研究を促進するために,RGB-D-Dという大規模データセットを構築した。 本稿では、RGB画像から高周波成分を適応的に分解して深度マップSRを導出する高速深度マップ超解像(FDSR)ベースラインを提供する。 実世界のLR深度マップでは、より明確な境界を持つより正確なHR深度マップを作成でき、ある程度の精度で深度値誤差を補正できる。
  論文  参考訳（メタデータ） (2021-04-13T13:27:26Z)
• High-resolution Depth Maps Imaging via Attention-based Hierarchical Multi-modal Fusion [84.24973877109181]
  誘導DSRのための新しい注意に基づく階層型マルチモーダル融合ネットワークを提案する。 本手法は,再現精度,動作速度,メモリ効率の点で最先端手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-04-04T03:28:33Z)
• Learning Scene Structure Guidance via Cross-Task Knowledge Transfer for Single Depth Super-Resolution [35.21324004883027]
  既存のカラーガイド深度スーパーリゾリューション(DSR)アプローチでは、RGBイメージを構造的なガイダンスとして使用するトレーニングサンプルとしてペアのRGB-Dデータを必要とします。 トレーニング段階では,RGBと深度モダリティの両方が利用できるが,単一の深度モダリティのみが存在するターゲットデータセット上でテストを行うという,クロスモダリティの知識を初めて学習する。 具体的には、RGBイメージを入力として深度マップを推定する補助深度推定(DE)タスクを構築し、DSRタスクとDSRタスクの両方を協調的にトレーニングして性能を向上させる。
  論文  参考訳（メタデータ） (2021-03-24T03:08:25Z)
• Channel Attention based Iterative Residual Learning for Depth Map Super-Resolution [58.626803922196146]
  我々は、合成データセットで訓練されたDSRモデルは制限的であり、実世界のDSRタスクを扱うのに有効ではないと論じる。 我々は、異なる深度センサの現実世界の劣化に対処するために2つの貢献をしている。 4つのモジュールからなる実世界のDSRのための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-02T09:12:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。