論文の概要: 360$^\circ$ High-Resolution Depth Estimation via Uncertainty-aware
Structural Knowledge Transfer
- arxiv url: http://arxiv.org/abs/2304.07967v2
- Date: Sun, 14 Jan 2024 08:18:42 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-18 03:12:08.024657
- Title: 360$^\circ$ High-Resolution Depth Estimation via Uncertainty-aware
Structural Knowledge Transfer
- Title（参考訳）: 不確実性を考慮した構造知識伝達による360$^\circ高分解能深さ推定
- Authors: Zidong Cao, Hao Ai, Athanasios V. Vasilakos, Lin Wang
- Abstract要約: 高分解能(HR)全方位深度マップを予測するために、既存の手法では、完全に教師付き学習を通じて入力としてHR全方位画像(ODI)を利用するのが一般的である。
本稿では,HR深度GTマップが存在しない場合に,低分解能(LR) ODIから直接HR全方位深度を推定する。
我々のキーとなる考え方は、HR画像のモダリティと対応するLR深度マップからシーン構造的知識を移譲し、余分な推論コストを伴わずにHR深度推定の目標を達成することである。
- 参考スコア（独自算出の注目度）: 9.819023692217776
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: To predict high-resolution (HR) omnidirectional depth map, existing methods
typically leverage HR omnidirectional image (ODI) as the input via
fully-supervised learning. However, in practice, taking HR ODI as input is
undesired due to resource-constrained devices. In addition, depth maps are
often with lower resolution than color images. Therefore, in this paper, we
explore for the first time to estimate the HR omnidirectional depth directly
from a low-resolution (LR) ODI, when no HR depth GT map is available. Our key
idea is to transfer the scene structural knowledge from the HR image modality
and the corresponding LR depth maps to achieve the goal of HR depth estimation
without any extra inference cost. Specifically, we introduce ODI
super-resolution (SR) as an auxiliary task and train both tasks collaboratively
in a weakly supervised manner to boost the performance of HR depth estimation.
The ODI SR task extracts the scene structural knowledge via uncertainty
estimation. Buttressed by this, a scene structural knowledge transfer (SSKT)
module is proposed with two key components. First, we employ a cylindrical
implicit interpolation function (CIIF) to learn cylindrical neural
interpolation weights for feature up-sampling and share the parameters of CIIFs
between the two tasks. Then, we propose a feature distillation (FD) loss that
provides extra structural regularization to help the HR depth estimation task
learn more scene structural knowledge. Extensive experiments demonstrate that
our weakly-supervised method outperforms baseline methods, and even achieves
comparable performance with the fully-supervised methods.
- Abstract（参考訳）: 高分解能(HR)全方位深度マップを予測するために、既存の手法では、完全に教師付き学習を通じて入力としてHR全方位画像(ODI)を利用するのが一般的である。
しかし、実際にHR ODIを入力として使うのは、リソース制約されたデバイスのため望ましくない。
さらに、深度マップはカラー画像よりも解像度が低いことが多い。
そこで本研究では,HR深度GTマップが存在しない場合に,低分解能(LR) ODIから直接HR全方位深度を推定する。
我々のキーとなる考え方は、HR画像のモダリティと対応するLR深度マップからシーン構造知識を移譲し、余分な推論コストを伴わずにHR深度推定の目標を達成することである。
具体的には,ODIスーパーレゾリューション(SR)を補助タスクとして導入し,HR深度推定の性能を高めるために,両タスクを弱教師付きで協調的に訓練する。
ODI SRタスクは不確実性推定によってシーン構造的知識を抽出する。
これにより,シーン構造知識伝達(SSKT)モジュールを2つのキーコンポーネントで提案する。
まず,円筒型暗黙的補間関数(ciif)を用いて,円筒型神経補間重みを学習し,二つのタスク間でciifのパラメータを共有する。
次に,hr深度推定タスクがシーン構造知識をより多く学ぶのに役立つ追加構造正規化を提供する特徴蒸留(fd)損失を提案する。
広範な実験により,本手法はベースライン法を上回っており,完全教師あり法と同等の性能が得られることを示した。
関連論文リスト
- Single-Point Supervised High-Resolution Dynamic Network for Infrared Small Target Detection [7.0456782736205685]
単一点教師付き高分解能ダイナミックネットワーク(SSHD-Net)を提案する。
単一点監視のみを用いて、最先端(SOTA)検出性能を実現する。
公開データセット NUDT-SIRST と IRSTD-1k の実験により,本手法の有効性が示された。
論文 参考訳（メタデータ） (2024-08-04T09:44:47Z) - Memory-augmented Deep Unfolding Network for Guided Image
Super-resolution [67.83489239124557]
誘導画像超解像(GISR)は、HR画像の誘導の下で低解像度(LR)目標画像の空間分解能を高めて高解像度(HR)目標画像を得る。
従来のモデルベース手法は主に画像全体を取り、HR目標画像とHRガイダンス画像との事前分布を仮定する。
HR目標画像上で2種類の事前性を持つGISRの最大後部(MAP)推定モデルを提案する。
論文 参考訳（メタデータ） (2022-02-12T15:37:13Z) - Weakly-Supervised Monocular Depth Estimationwith Resolution-Mismatched
Data [73.9872931307401]
単眼深度推定ネットワークをトレーニングするための弱教師付きフレームワークを提案する。
提案フレームワークは, 共有重量単分子深度推定ネットワークと蒸留用深度再構成ネットワークから構成される。
実験結果から,本手法は教師なし・半教師付き学習ベース方式よりも優れた性能を発揮することが示された。
論文 参考訳（メタデータ） (2021-09-23T18:04:12Z) - BridgeNet: A Joint Learning Network of Depth Map Super-Resolution and
Monocular Depth Estimation [60.34562823470874]
本稿では,DSR(Deep Map Super- resolution)とMDE(Monocular depth Estimation)の併用学習ネットワークを提案する。
1つは特徴符号化プロセスのために設計された高周波アテンションブリッジ(HABdg)で、これはDSRタスクを誘導するMDEタスクの高周波情報を学ぶ。
もう一つは、深度マップ再構築プロセス用に設計されたコンテンツガイダンスブリッジ(CGBdg)であり、MDEタスクのためにDSRタスクから学んだコンテンツガイダンスを提供する。
論文 参考訳（メタデータ） (2021-07-27T01:28:23Z) - Towards Fast and Accurate Real-World Depth Super-Resolution: Benchmark
Dataset and Baseline [48.69396457721544]
深度写像スーパーリゾリューション(SR)の研究を促進するために,RGB-D-Dという大規模データセットを構築した。
本稿では、RGB画像から高周波成分を適応的に分解して深度マップSRを導出する高速深度マップ超解像(FDSR)ベースラインを提供する。
実世界のLR深度マップでは、より明確な境界を持つより正確なHR深度マップを作成でき、ある程度の精度で深度値誤差を補正できる。
論文 参考訳（メタデータ） (2021-04-13T13:27:26Z) - High-resolution Depth Maps Imaging via Attention-based Hierarchical
Multi-modal Fusion [84.24973877109181]
誘導DSRのための新しい注意に基づく階層型マルチモーダル融合ネットワークを提案する。
本手法は,再現精度,動作速度,メモリ効率の点で最先端手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2021-04-04T03:28:33Z) - Learning Scene Structure Guidance via Cross-Task Knowledge Transfer for
Single Depth Super-Resolution [35.21324004883027]
既存のカラーガイド深度スーパーリゾリューション(DSR)アプローチでは、RGBイメージを構造的なガイダンスとして使用するトレーニングサンプルとしてペアのRGB-Dデータを必要とします。
トレーニング段階では,RGBと深度モダリティの両方が利用できるが,単一の深度モダリティのみが存在するターゲットデータセット上でテストを行うという,クロスモダリティの知識を初めて学習する。
具体的には、RGBイメージを入力として深度マップを推定する補助深度推定(DE)タスクを構築し、DSRタスクとDSRタスクの両方を協調的にトレーニングして性能を向上させる。
論文 参考訳（メタデータ） (2021-03-24T03:08:25Z) - Channel Attention based Iterative Residual Learning for Depth Map
Super-Resolution [58.626803922196146]
我々は、合成データセットで訓練されたDSRモデルは制限的であり、実世界のDSRタスクを扱うのに有効ではないと論じる。
我々は、異なる深度センサの現実世界の劣化に対処するために2つの貢献をしている。
4つのモジュールからなる実世界のDSRのための新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2020-06-02T09:12:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。