論文の概要: Weakly-Supervised Monocular Depth Estimationwith Resolution-Mismatched Data

• arxiv url: http://arxiv.org/abs/2109.11573v1
• Date: Thu, 23 Sep 2021 18:04:12 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-27 14:13:54.710960
• Title: Weakly-Supervised Monocular Depth Estimationwith Resolution-Mismatched Data
• Title（参考訳）: 分解能ミスマッチデータを用いた弱教師付き単眼深度推定
• Authors: Jialei Xu, Yuanchao Bai, Xianming Liu, Junjun Jiang and Xiangyang Ji
• Abstract要約: 単眼深度推定ネットワークをトレーニングするための弱教師付きフレームワークを提案する。 提案フレームワークは, 共有重量単分子深度推定ネットワークと蒸留用深度再構成ネットワークから構成される。 実験結果から,本手法は教師なし・半教師付き学習ベース方式よりも優れた性能を発揮することが示された。
• 参考スコア（独自算出の注目度）: 73.9872931307401
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Depth estimation from a single image is an active research topic in computer vision. The most accurate approaches are based on fully supervised learning models, which rely on a large amount of dense and high-resolution (HR) ground-truth depth maps. However, in practice, color images are usually captured with much higher resolution than depth maps, leading to the resolution-mismatched effect. In this paper, we propose a novel weakly-supervised framework to train a monocular depth estimation network to generate HR depth maps with resolution-mismatched supervision, i.e., the inputs are HR color images and the ground-truth are low-resolution (LR) depth maps. The proposed weakly supervised framework is composed of a sharing weight monocular depth estimation network and a depth reconstruction network for distillation. Specifically, for the monocular depth estimation network the input color image is first downsampled to obtain its LR version with the same resolution as the ground-truth depth. Then, both HR and LR color images are fed into the proposed monocular depth estimation network to obtain the corresponding estimated depth maps. We introduce three losses to train the network: 1) reconstruction loss between the estimated LR depth and the ground-truth LR depth; 2) reconstruction loss between the downsampled estimated HR depth and the ground-truth LR depth; 3) consistency loss between the estimated LR depth and the downsampled estimated HR depth. In addition, we design a depth reconstruction network from depth to depth. Through distillation loss, features between two networks maintain the structural consistency in affinity space, and finally improving the estimation network performance. Experimental results demonstrate that our method achieves superior performance than unsupervised and semi-supervised learning based schemes, and is competitive or even better compared to supervised ones.
• Abstract（参考訳）: 単一画像からの深さ推定はコンピュータビジョンにおける活発な研究課題である。 最も正確なアプローチは、大量の高密度高分解能(hr)地中深度マップに依存する、完全に教師ありの学習モデルに基づいている。 しかし、実際には、カラー画像は通常、深度マップよりもはるかに高解像度で撮影され、解像度ミスマッチ効果をもたらす。 本稿では,モノクラー深度推定ネットワークをトレーニングして,低解像度(LR)深度マップ(HR色画像)と低解像度(LR)深度マップ(HR色画像)を用いてHR深度マップを生成する手法を提案する。 提案する弱教師付きフレームワークは, 共有重み単眼深度推定ネットワークと蒸留用深さ再構成ネットワークから構成される。 具体的には、単眼深度推定ネットワークにおいて、入力色画像をまずダウンサンプリングし、地上深度と同じ解像度のLRバージョンを得る。 そして、提案した単眼深度推定ネットワークにHR画像とLR画像の両方を入力し、対応する推定深度マップを得る。 ネットワークを訓練するために3つの損失を導入します 1) 推定LR深さと地上構造LR深さとの再構成損失 2) ダウンサンプリングされたhr深さと地下lr深さとの再構成損失 3) 推定LR深度と推定HR深度との整合性損失について検討した。 さらに,深度から深度までの深度復元ネットワークを設計する。 蒸留損失により、2つのネットワーク間の特徴は親和性空間における構造的整合性を維持し、最終的に推定ネットワーク性能を向上する。 実験結果から,本手法は教師なしおよび半教師付き学習ベース方式よりも優れた性能を示し,教師付き手法よりも競争力や性能が優れていることが示された。

関連論文リスト

• Unveiling the Depths: A Multi-Modal Fusion Framework for Challenging Scenarios [103.72094710263656]
  本稿では,学習に基づくフレームワークを用いて,支配的モダリティの奥行きを識別し,統合する手法を提案する。 本稿では,信頼度予測ネットワークを操り,潜在電位深度領域を特定する信頼マップを作成する新しい信頼損失を提案する。 得られた信頼度マップを用いて,最終深度をエンドツーエンドに融合するマルチモーダル融合ネットワークを提案する。
  論文  参考訳（メタデータ） (2024-02-19T04:39:16Z)
• Depth-Relative Self Attention for Monocular Depth Estimation [23.174459018407003]
  ディープニューラルネットワークは、RGB情報から抽出されたサイズ、日陰、テクスチャなど、さまざまな視覚的ヒントに依存している。 本稿では,相対深度を自己注意のガイダンスとして用いたRelative Depth Transformer (RED-T) という新しい深度推定モデルを提案する。 提案モデルでは, 単分子深度推定ベンチマークにおいて, 競合する結果が得られ, RGB情報に偏りが小さいことを示す。
  論文  参考訳（メタデータ） (2023-04-25T14:20:31Z)
• Boosting Monocular 3D Object Detection with Object-Centric Auxiliary Depth Supervision [13.593246617391266]
  本稿では,RGB画像に基づく3D検出器を,深度推定タスクに類似した深度予測損失で共同でトレーニングすることにより,RGB画像に基づく3D検出器の強化手法を提案する。 新たな物体中心深度予測損失は,3次元物体検出において重要な前景物体周辺の深度に焦点をあてる。 我々の深度回帰モデルは、物体の3次元信頼度を表すために、深度の不確かさを予測するためにさらに訓練される。
  論文  参考訳（メタデータ） (2022-10-29T11:32:28Z)
• VolumeFusion: Deep Depth Fusion for 3D Scene Reconstruction [71.83308989022635]
  本稿では、ディープニューラルネットワークを用いた従来の2段階フレームワークの複製により、解釈可能性と結果の精度が向上することを提唱する。 ネットワークは,1)深部MVS技術を用いた局所深度マップの局所計算,2)深部マップと画像の特徴を融合させて単一のTSDFボリュームを構築する。 異なる視点から取得した画像間のマッチング性能を改善するために,PosedConvと呼ばれる回転不変な3D畳み込みカーネルを導入する。
  論文  参考訳（メタデータ） (2021-08-19T11:33:58Z)
• Boosting Monocular Depth Estimation Models to High-Resolution via Content-Adaptive Multi-Resolution Merging [14.279471205248534]
  本研究では,一貫したシーン構造と高周波の詳細が深度推定性能に与える影響を示す。 本稿では,画像全体の深さ推定を改善する二重推定法と,局所的な詳細を付加するパッチ選択法を提案する。 異なる解像度での推定とコンテキストの変化を組み合わせることで、高精細度でマルチメガピクセルの深度マップを作成できることを実証した。
  論文  参考訳（メタデータ） (2021-05-28T17:55:15Z)
• Towards Fast and Accurate Real-World Depth Super-Resolution: Benchmark Dataset and Baseline [48.69396457721544]
  深度写像スーパーリゾリューション(SR)の研究を促進するために,RGB-D-Dという大規模データセットを構築した。 本稿では、RGB画像から高周波成分を適応的に分解して深度マップSRを導出する高速深度マップ超解像(FDSR)ベースラインを提供する。 実世界のLR深度マップでは、より明確な境界を持つより正確なHR深度マップを作成でき、ある程度の精度で深度値誤差を補正できる。
  論文  参考訳（メタデータ） (2021-04-13T13:27:26Z)
• Deep Two-View Structure-from-Motion Revisited [83.93809929963969]
  2次元構造移動(SfM)は3次元再構成と視覚SLAMの基礎となる。 古典パイプラインの適切性を活用することで,深部2視点sfmの問題を再検討することを提案する。 本手法は,1)2つのフレーム間の密対応を予測する光フロー推定ネットワーク,2)2次元光フロー対応から相対カメラポーズを計算する正規化ポーズ推定モジュール,3)エピポーラ幾何を利用して探索空間を縮小し,密対応を洗練し,相対深度マップを推定するスケール不変深さ推定ネットワークからなる。
  論文  参考訳（メタデータ） (2021-04-01T15:31:20Z)
• Attention Aware Cost Volume Pyramid Based Multi-view Stereo Network for 3D Reconstruction [12.728154351588053]
  マルチビュー画像から3次元再構成を行うための効率的なマルチビューステレオ(MVS)ネットワークを提案する。 高分解能深度を実現するために粗粒度深度推論戦略を導入する。
  論文  参考訳（メタデータ） (2020-11-25T13:34:11Z)
• Depth Completion Using a View-constrained Deep Prior [73.21559000917554]
  近年の研究では、畳み込みニューラルネットワーク(CNN)の構造が、自然画像に有利な強い先行性をもたらすことが示されている。 この前者はディープ・イメージ・先行 (DIP) と呼ばれ、画像の装飾や塗装といった逆問題において有効な正則化器である。 我々は、DIPの概念を深度画像に拡張し、色画像とノイズと不完全な目標深度マップから、CNNネットワーク構造を先行して復元された深度マップを再構成する。
  論文  参考訳（メタデータ） (2020-01-21T21:56:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。