論文の概要: Learning Depth via Leveraging Semantics: Self-supervised Monocular Depth
Estimation with Both Implicit and Explicit Semantic Guidance
- arxiv url: http://arxiv.org/abs/2102.06685v1
- Date: Thu, 11 Feb 2021 14:29:51 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-15 13:08:38.783674
- Title: Learning Depth via Leveraging Semantics: Self-supervised Monocular Depth
Estimation with Both Implicit and Explicit Semantic Guidance
- Title（参考訳）: セマンティクスを活用した学習深度:暗黙的および暗黙的セマンティックガイダンスによる自己監督単眼深度推定
- Authors: Rui Li, Xiantuo He, Danna Xue, Shaolin Su, Qing Mao, Yu Zhu, Jinqiu
Sun, Yanning Zhang
- Abstract要約: シーン認識深度推定のための暗黙的意味特徴と深度特徴とを一致させるセマンティック認識空間特徴アライメント方式を提案する。
また,推定深度マップを実シーンの文脈特性と整合性に明示的に制約する意味誘導型ランキング損失を提案する。
複雑なシーンや多様なセマンティックカテゴリで一貫して優れた、高品質な深度マップを作成します。
- 参考スコア（独自算出の注目度）: 34.62415122883441
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Self-supervised depth estimation has made a great success in learning depth
from unlabeled image sequences. While the mappings between image and pixel-wise
depth are well-studied in current methods, the correlation between image, depth
and scene semantics, however, is less considered. This hinders the network to
better understand the real geometry of the scene, since the contextual clues,
contribute not only the latent representations of scene depth, but also the
straight constraints for depth map. In this paper, we leverage the two benefits
by proposing the implicit and explicit semantic guidance for accurate
self-supervised depth estimation. We propose a Semantic-aware Spatial Feature
Alignment (SSFA) scheme to effectively align implicit semantic features with
depth features for scene-aware depth estimation. We also propose a
semantic-guided ranking loss to explicitly constrain the estimated depth maps
to be consistent with real scene contextual properties. Both semantic label
noise and prediction uncertainty is considered to yield reliable depth
supervisions. Extensive experimental results show that our method produces high
quality depth maps which are consistently superior either on complex scenes or
diverse semantic categories, and outperforms the state-of-the-art methods by a
significant margin.
- Abstract（参考訳）: 自己教師付き深度推定は、ラベルなし画像列からの深度学習において大きな成功を収めた。
画像深度と画素深度とのマッピングは、現在の方法ではよく研究されているが、画像、深度、シーンセマンティクスの相関は考慮されていない。
これはネットワークがシーンの実際の形状をよりよく理解することを妨げる、なぜならコンテキストの手がかりは、シーンの奥行きの潜在表現だけでなく、深度マップに対するストレートな制約にも寄与するからである。
本論文では, 暗黙的, 明示的な意味的ガイダンスを提案することにより, 精度の高い自己監督深度推定を行う。
シーン認識深度推定のための深度特徴と暗黙的な意味的特徴を効果的に整合するセマンティック・アウェア・空間特徴アライメント(SSFA)スキームを提案する。
また,推定深度マップを実シーンの文脈特性と整合性に明示的に制約する意味誘導型ランキング損失を提案する。
セマンティックラベルノイズと予測の不確実性の両方が信頼性の高い深度監視をもたらすと考えられる。
その結果,本手法は複雑なシーンや多種多様なセマンティックなカテゴリで一貫した高品質な深度マップを作成でき,最先端の手法よりも顕著に優れていることがわかった。
関連論文リスト
- Learning Occlusion-Aware Coarse-to-Fine Depth Map for Self-supervised
Monocular Depth Estimation [11.929584800629673]
自己教師付き単眼深度推定のためのOcclusion-aware Coarse-to-Fine Depth Mapを学習するための新しいネットワークを提案する。
提案したOCFD-Netは,粗度深度マップの学習に離散深度制約を用いるだけでなく,シーン深度残差の学習にも連続深度制約を用いる。
論文 参考訳（メタデータ） (2022-03-21T12:43:42Z) - X-Distill: Improving Self-Supervised Monocular Depth via Cross-Task
Distillation [69.9604394044652]
そこで本研究では,クロスタスク知識蒸留による単眼深度の自己指導的訓練を改善する手法を提案する。
トレーニングでは,事前訓練されたセマンティックセグメンテーション教師ネットワークを使用し,そのセマンティック知識を深度ネットワークに転送する。
提案手法の有効性をKITTIベンチマークで評価し,最新技術と比較した。
論文 参考訳（メタデータ） (2021-10-24T19:47:14Z) - Self-Supervised Monocular Depth Estimation with Internal Feature Fusion [12.874712571149725]
深度推定のための自己教師付き学習は、画像列の幾何学を用いて監督する。
そこで本研究では,ダウンおよびアップサンプリングの手順で意味情報を利用することのできる,新しい深度推定ネットワークDIFFNetを提案する。
論文 参考訳（メタデータ） (2021-10-18T17:31:11Z) - S2R-DepthNet: Learning a Generalizable Depth-specific Structural
Representation [63.58891781246175]
人間はリアルなイメージではなくスケッチからシーンの3次元幾何学を推測することができ、空間構造がシーンの深さを理解する上で基本的な役割を果たすことを示す。
我々は,深度推定に不可欠な特徴を捉え,無関係なスタイル情報を無視する,深度特異的な構造表現の学習を初めて行う。
当社のS2R-DepthNetは、合成データでのみ訓練されているにもかかわらず、目に見えない実際のデータに直接一般化できます。
論文 参考訳（メタデータ） (2021-04-02T03:55:41Z) - Progressive Depth Learning for Single Image Dehazing [56.71963910162241]
既存の脱湿法は、しばしば深度を無視し、より重いヘイズが視界を乱す遠くの地域で失敗する。
画像深度と伝送マップを反復的に推定するディープエンドツーエンドモデルを提案する。
私たちのアプローチは、画像深度と伝送マップの内部関係を明示的にモデリングすることから利益を得ます。
論文 参考訳（メタデータ） (2021-02-21T05:24:18Z) - SOSD-Net: Joint Semantic Object Segmentation and Depth Estimation from
Monocular images [94.36401543589523]
これら2つのタスクの幾何学的関係を利用するための意味的対象性の概念を紹介します。
次に, 対象性仮定に基づくセマンティックオブジェクト・深さ推定ネットワーク(SOSD-Net)を提案する。
私たちの知識を最大限に活用するために、SOSD-Netは同時単眼深度推定とセマンティックセグメンテーションのためのジオメトリ制約を利用する最初のネットワークです。
論文 参考訳（メタデータ） (2021-01-19T02:41:03Z) - Semantic-Guided Representation Enhancement for Self-supervised Monocular
Trained Depth Estimation [39.845944724079814]
自己教師付き深度推定は,画像列のみを入力として,高品質の深度マップを作成する上で大きな効果を示した。
しかし、その性能は通常、限界深度表現能力のために境界領域や細い構造を持つ物体を推定する際に低下する。
局所的および大域的な深度特徴表現を促進する意味誘導深度表現拡張法を提案する。
論文 参考訳（メタデータ） (2020-12-15T02:24:57Z) - SAFENet: Self-Supervised Monocular Depth Estimation with Semantic-Aware
Feature Extraction [27.750031877854717]
本稿では,セマンティック情報を活用して光度損失の限界を克服するSAFENetを提案する。
私たちのキーとなるアイデアは、意味的知識と幾何学的知識を統合するセマンティック・アウェア・ディープ機能を活用することです。
KITTIデータセットの実験では、我々の手法が最先端の手法と競合するか、さらに優れています。
論文 参考訳（メタデータ） (2020-10-06T17:22:25Z) - Adaptive confidence thresholding for monocular depth estimation [83.06265443599521]
本稿では,自己教師付ステレオマッチング法から生成されたステレオ画像の擬似地上真実深度マップを利用する新しい手法を提案する。
擬似地底深度マップの信頼度マップを推定し、不正確な擬似地底深度マップによる性能劣化を緩和する。
実験結果から, 最先端の単分子深度推定法よりも優れた性能を示した。
論文 参考訳（メタデータ） (2020-09-27T13:26:16Z) - Occlusion-Aware Depth Estimation with Adaptive Normal Constraints [85.44842683936471]
カラービデオから多フレーム深度を推定する新しい学習手法を提案する。
本手法は深度推定精度において最先端の手法より優れる。
論文 参考訳（メタデータ） (2020-04-02T07:10:45Z) - The Edge of Depth: Explicit Constraints between Segmentation and Depth [25.232436455640716]
画像からの自己教師付き深度推定とセマンティックセグメンテーションという2つの共通コンピュータビジョンタスクの相互利益について検討する。
セグメンテーションと深さの境界の整合性を明示的に測定し,最小化することを提案する。
提案手法は広範にわたる実験を通じて,KITTIにおける教師なし単分子深度推定技術の現状を推し進めるものである。
論文 参考訳（メタデータ） (2020-04-01T00:03:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。