論文の概要: 360$^\circ$ High-Resolution Depth Estimation via Uncertainty-aware
Structural Knowledge Transfer
- arxiv url: http://arxiv.org/abs/2304.07967v1
- Date: Mon, 17 Apr 2023 03:24:21 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-18 16:34:59.740618
- Title: 360$^\circ$ High-Resolution Depth Estimation via Uncertainty-aware
Structural Knowledge Transfer
- Title（参考訳）: 不確実性を考慮した構造知識伝達による360$^\circ高分解能深さ推定
- Authors: Zidong Cao, Hao Ai, Lin Wang
- Abstract要約: 我々は,ODIスーパーレゾリューション(SR)を補助タスクとして導入し,HR深度推定の性能を高めるために両タスクを協調的に訓練する。
ODI SR タスクは LR ODI を入力としてHR 画像を予測し,不確実性推定によりシーン構造的知識を抽出する。
また、HR深度推定タスクがよりシーン構造的知識を学習するのを助けるために、付加的な構造正則化を提供する特徴蒸留(FD)損失を提案する。
- 参考スコア（独自算出の注目度）: 4.156782836736784
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Recently, omnidirectional images (ODIs) have become increasingly popular;
however, their angular resolution tends to be lower than that of perspective
images.This leads to degraded structural details such as edges, causing
difficulty in learning 3D scene understanding tasks, especially monocular depth
estimation. Existing methods typically leverage high-resolution (HR) ODI as the
input, so as to recover the structural details via fully-supervised learning.
However, the HR depth ground truth (GT) maps may be arduous or expensive to be
collected due to resource-constrained devices in practice. Therefore, in this
paper, we explore for the first time to estimate the HR omnidirectional depth
directly from a low-resolution (LR) ODI, when no HR depth GT map is available.
Our key idea is to transfer the scene structural knowledge from the readily
available HR image modality and the corresponding LR depth maps to achieve the
goal of HR depth estimation without extra inference cost. Specifically, we
introduce ODI super-resolution (SR) as an auxiliary task and train both tasks
collaboratively in a weakly supervised manner to boost the performance of HR
depth estimation. The ODI SR task takes an LR ODI as the input to predict an HR
image, enabling us to extract the scene structural knowledge via uncertainty
estimation. Buttressed by this, a scene structural knowledge transfer (SSKT)
module is proposed with two key components. First, we employ a cylindrical
implicit interpolation function (CIIF) to learn cylindrical neural
interpolation weights for feature up-sampling and share the parameters of CIIFs
between the two tasks. Then, we propose a feature distillation (FD) loss that
provides extra structural regularization to help the HR depth estimation task
learn more scene structural knowledge.
- Abstract（参考訳）: 近年,全方位画像 (odis) が普及しているが, 角分解能は視点画像よりも低い傾向にあり, エッジなどの構造的詳細が劣化し, 3次元シーン理解課題, 特に単眼深度推定が困難になっている。
既存の手法は一般的に高分解能(HR) ODIを入力として利用し、完全に教師付き学習によって構造の詳細を復元する。
しかしながら、hr depth ground truth (gt) マップは、実際にはリソース制約されたデバイスのために収集するには大変または高価である。
そこで本研究では,HR深度GTマップが存在しない場合に,低分解能(LR) ODIから直接HR全方位深度を推定する。
我々のキーとなる考え方は、シーン構造知識を手軽に利用できるHR画像モダリティと対応するLR深度マップから転送し、余分な推論コストを伴わずにHR深度推定の目標を達成することである。
具体的には,ODIスーパーレゾリューション(SR)を補助タスクとして導入し,HR深度推定の性能を高めるために,両タスクを弱教師付きで協調的に訓練する。
ODI SR タスクは LR ODI を入力としてHR 画像を予測し,不確実性推定によりシーン構造的知識を抽出する。
これにより,シーン構造知識伝達(SSKT)モジュールを2つのキーコンポーネントで提案する。
まず,円筒型暗黙的補間関数(ciif)を用いて,円筒型神経補間重みを学習し,二つのタスク間でciifのパラメータを共有する。
次に,hr深度推定タスクがシーン構造知識をより多く学ぶのに役立つ追加構造正規化を提供する特徴蒸留(fd)損失を提案する。
関連論文リスト
- Single-Point Supervised High-Resolution Dynamic Network for Infrared Small Target Detection [7.0456782736205685]
単一点教師付き高分解能ダイナミックネットワーク(SSHD-Net)を提案する。
単一点監視のみを用いて、最先端(SOTA)検出性能を実現する。
公開データセット NUDT-SIRST と IRSTD-1k の実験により,本手法の有効性が示された。
論文 参考訳（メタデータ） (2024-08-04T09:44:47Z) - Memory-augmented Deep Unfolding Network for Guided Image
Super-resolution [67.83489239124557]
誘導画像超解像(GISR)は、HR画像の誘導の下で低解像度(LR)目標画像の空間分解能を高めて高解像度(HR)目標画像を得る。
従来のモデルベース手法は主に画像全体を取り、HR目標画像とHRガイダンス画像との事前分布を仮定する。
HR目標画像上で2種類の事前性を持つGISRの最大後部(MAP)推定モデルを提案する。
論文 参考訳（メタデータ） (2022-02-12T15:37:13Z) - Weakly-Supervised Monocular Depth Estimationwith Resolution-Mismatched
Data [73.9872931307401]
単眼深度推定ネットワークをトレーニングするための弱教師付きフレームワークを提案する。
提案フレームワークは, 共有重量単分子深度推定ネットワークと蒸留用深度再構成ネットワークから構成される。
実験結果から,本手法は教師なし・半教師付き学習ベース方式よりも優れた性能を発揮することが示された。
論文 参考訳（メタデータ） (2021-09-23T18:04:12Z) - BridgeNet: A Joint Learning Network of Depth Map Super-Resolution and
Monocular Depth Estimation [60.34562823470874]
本稿では,DSR(Deep Map Super- resolution)とMDE(Monocular depth Estimation)の併用学習ネットワークを提案する。
1つは特徴符号化プロセスのために設計された高周波アテンションブリッジ(HABdg)で、これはDSRタスクを誘導するMDEタスクの高周波情報を学ぶ。
もう一つは、深度マップ再構築プロセス用に設計されたコンテンツガイダンスブリッジ(CGBdg)であり、MDEタスクのためにDSRタスクから学んだコンテンツガイダンスを提供する。
論文 参考訳（メタデータ） (2021-07-27T01:28:23Z) - Towards Fast and Accurate Real-World Depth Super-Resolution: Benchmark
Dataset and Baseline [48.69396457721544]
深度写像スーパーリゾリューション(SR)の研究を促進するために,RGB-D-Dという大規模データセットを構築した。
本稿では、RGB画像から高周波成分を適応的に分解して深度マップSRを導出する高速深度マップ超解像(FDSR)ベースラインを提供する。
実世界のLR深度マップでは、より明確な境界を持つより正確なHR深度マップを作成でき、ある程度の精度で深度値誤差を補正できる。
論文 参考訳（メタデータ） (2021-04-13T13:27:26Z) - High-resolution Depth Maps Imaging via Attention-based Hierarchical
Multi-modal Fusion [84.24973877109181]
誘導DSRのための新しい注意に基づく階層型マルチモーダル融合ネットワークを提案する。
本手法は,再現精度,動作速度,メモリ効率の点で最先端手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2021-04-04T03:28:33Z) - Learning Scene Structure Guidance via Cross-Task Knowledge Transfer for
Single Depth Super-Resolution [35.21324004883027]
既存のカラーガイド深度スーパーリゾリューション(DSR)アプローチでは、RGBイメージを構造的なガイダンスとして使用するトレーニングサンプルとしてペアのRGB-Dデータを必要とします。
トレーニング段階では,RGBと深度モダリティの両方が利用できるが,単一の深度モダリティのみが存在するターゲットデータセット上でテストを行うという,クロスモダリティの知識を初めて学習する。
具体的には、RGBイメージを入力として深度マップを推定する補助深度推定(DE)タスクを構築し、DSRタスクとDSRタスクの両方を協調的にトレーニングして性能を向上させる。
論文 参考訳（メタデータ） (2021-03-24T03:08:25Z) - Channel Attention based Iterative Residual Learning for Depth Map
Super-Resolution [58.626803922196146]
我々は、合成データセットで訓練されたDSRモデルは制限的であり、実世界のDSRタスクを扱うのに有効ではないと論じる。
我々は、異なる深度センサの現実世界の劣化に対処するために2つの貢献をしている。
4つのモジュールからなる実世界のDSRのための新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2020-06-02T09:12:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。