論文の概要: Learning Depth via Leveraging Semantics: Self-supervised Monocular Depth
Estimation with Both Implicit and Explicit Semantic Guidance
- arxiv url: http://arxiv.org/abs/2102.06685v1
- Date: Thu, 11 Feb 2021 14:29:51 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-15 13:08:38.783674
- Title: Learning Depth via Leveraging Semantics: Self-supervised Monocular Depth
Estimation with Both Implicit and Explicit Semantic Guidance
- Title（参考訳）: セマンティクスを活用した学習深度:暗黙的および暗黙的セマンティックガイダンスによる自己監督単眼深度推定
- Authors: Rui Li, Xiantuo He, Danna Xue, Shaolin Su, Qing Mao, Yu Zhu, Jinqiu
Sun, Yanning Zhang
- Abstract要約: シーン認識深度推定のための暗黙的意味特徴と深度特徴とを一致させるセマンティック認識空間特徴アライメント方式を提案する。
また,推定深度マップを実シーンの文脈特性と整合性に明示的に制約する意味誘導型ランキング損失を提案する。
複雑なシーンや多様なセマンティックカテゴリで一貫して優れた、高品質な深度マップを作成します。
- 参考スコア（独自算出の注目度）: 34.62415122883441
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Self-supervised depth estimation has made a great success in learning depth
from unlabeled image sequences. While the mappings between image and pixel-wise
depth are well-studied in current methods, the correlation between image, depth
and scene semantics, however, is less considered. This hinders the network to
better understand the real geometry of the scene, since the contextual clues,
contribute not only the latent representations of scene depth, but also the
straight constraints for depth map. In this paper, we leverage the two benefits
by proposing the implicit and explicit semantic guidance for accurate
self-supervised depth estimation. We propose a Semantic-aware Spatial Feature
Alignment (SSFA) scheme to effectively align implicit semantic features with
depth features for scene-aware depth estimation. We also propose a
semantic-guided ranking loss to explicitly constrain the estimated depth maps
to be consistent with real scene contextual properties. Both semantic label
noise and prediction uncertainty is considered to yield reliable depth
supervisions. Extensive experimental results show that our method produces high
quality depth maps which are consistently superior either on complex scenes or
diverse semantic categories, and outperforms the state-of-the-art methods by a
significant margin.
- Abstract（参考訳）: 自己教師付き深度推定は、ラベルなし画像列からの深度学習において大きな成功を収めた。
画像深度と画素深度とのマッピングは、現在の方法ではよく研究されているが、画像、深度、シーンセマンティクスの相関は考慮されていない。
これはネットワークがシーンの実際の形状をよりよく理解することを妨げる、なぜならコンテキストの手がかりは、シーンの奥行きの潜在表現だけでなく、深度マップに対するストレートな制約にも寄与するからである。
本論文では, 暗黙的, 明示的な意味的ガイダンスを提案することにより, 精度の高い自己監督深度推定を行う。
シーン認識深度推定のための深度特徴と暗黙的な意味的特徴を効果的に整合するセマンティック・アウェア・空間特徴アライメント(SSFA)スキームを提案する。
また,推定深度マップを実シーンの文脈特性と整合性に明示的に制約する意味誘導型ランキング損失を提案する。
セマンティックラベルノイズと予測の不確実性の両方が信頼性の高い深度監視をもたらすと考えられる。
その結果,本手法は複雑なシーンや多種多様なセマンティックなカテゴリで一貫した高品質な深度マップを作成でき,最先端の手法よりも顕著に優れていることがわかった。
関連論文リスト
- Depth-guided Texture Diffusion for Image Semantic Segmentation [47.46257473475867]
本稿では,この課題を効果的に解決するディープスガイド型テクスチャ拡散手法を提案する。
本手法は,テクスチャ画像を作成するために,エッジやテクスチャから低レベル特徴を抽出する。
この拡張深度マップを元のRGB画像と結合した特徴埋め込みに統合することにより,深度マップと画像との相違を効果的に橋渡しする。
論文 参考訳（メタデータ） (2024-08-17T04:55:03Z) - ScaleDepth: Decomposing Metric Depth Estimation into Scale Prediction and Relative Depth Estimation [62.600382533322325]
本研究では,新しい単分子深度推定法であるScaleDepthを提案する。
提案手法は,距離深度をシーンスケールと相対深度に分解し,セマンティック・アウェア・スケール予測モジュールを用いて予測する。
本手法は,室内と屋外の両方のシーンを統一した枠組みで距離推定する。
論文 参考訳（メタデータ） (2024-07-11T05:11:56Z) - Depth-aware Volume Attention for Texture-less Stereo Matching [67.46404479356896]
実用的な屋外シナリオにおけるテクスチャ劣化に対処する軽量なボリューム改善手法を提案する。
画像テクスチャの相対的階層を抽出し,地中深度マップによって教師される深度体積を導入する。
局所的な微細構造と文脈は、体積凝集時のあいまいさと冗長性を緩和するために強調される。
論文 参考訳（メタデータ） (2024-02-14T04:07:44Z) - Learning Occlusion-Aware Coarse-to-Fine Depth Map for Self-supervised
Monocular Depth Estimation [11.929584800629673]
自己教師付き単眼深度推定のためのOcclusion-aware Coarse-to-Fine Depth Mapを学習するための新しいネットワークを提案する。
提案したOCFD-Netは,粗度深度マップの学習に離散深度制約を用いるだけでなく,シーン深度残差の学習にも連続深度制約を用いる。
論文 参考訳（メタデータ） (2022-03-21T12:43:42Z) - X-Distill: Improving Self-Supervised Monocular Depth via Cross-Task
Distillation [69.9604394044652]
そこで本研究では,クロスタスク知識蒸留による単眼深度の自己指導的訓練を改善する手法を提案する。
トレーニングでは,事前訓練されたセマンティックセグメンテーション教師ネットワークを使用し,そのセマンティック知識を深度ネットワークに転送する。
提案手法の有効性をKITTIベンチマークで評価し,最新技術と比較した。
論文 参考訳（メタデータ） (2021-10-24T19:47:14Z) - S2R-DepthNet: Learning a Generalizable Depth-specific Structural
Representation [63.58891781246175]
人間はリアルなイメージではなくスケッチからシーンの3次元幾何学を推測することができ、空間構造がシーンの深さを理解する上で基本的な役割を果たすことを示す。
我々は,深度推定に不可欠な特徴を捉え,無関係なスタイル情報を無視する,深度特異的な構造表現の学習を初めて行う。
当社のS2R-DepthNetは、合成データでのみ訓練されているにもかかわらず、目に見えない実際のデータに直接一般化できます。
論文 参考訳（メタデータ） (2021-04-02T03:55:41Z) - Semantic-Guided Representation Enhancement for Self-supervised Monocular
Trained Depth Estimation [39.845944724079814]
自己教師付き深度推定は,画像列のみを入力として,高品質の深度マップを作成する上で大きな効果を示した。
しかし、その性能は通常、限界深度表現能力のために境界領域や細い構造を持つ物体を推定する際に低下する。
局所的および大域的な深度特徴表現を促進する意味誘導深度表現拡張法を提案する。
論文 参考訳（メタデータ） (2020-12-15T02:24:57Z) - SAFENet: Self-Supervised Monocular Depth Estimation with Semantic-Aware
Feature Extraction [27.750031877854717]
本稿では,セマンティック情報を活用して光度損失の限界を克服するSAFENetを提案する。
私たちのキーとなるアイデアは、意味的知識と幾何学的知識を統合するセマンティック・アウェア・ディープ機能を活用することです。
KITTIデータセットの実験では、我々の手法が最先端の手法と競合するか、さらに優れています。
論文 参考訳（メタデータ） (2020-10-06T17:22:25Z) - Adaptive confidence thresholding for monocular depth estimation [83.06265443599521]
本稿では,自己教師付ステレオマッチング法から生成されたステレオ画像の擬似地上真実深度マップを利用する新しい手法を提案する。
擬似地底深度マップの信頼度マップを推定し、不正確な擬似地底深度マップによる性能劣化を緩和する。
実験結果から, 最先端の単分子深度推定法よりも優れた性能を示した。
論文 参考訳（メタデータ） (2020-09-27T13:26:16Z) - The Edge of Depth: Explicit Constraints between Segmentation and Depth [25.232436455640716]
画像からの自己教師付き深度推定とセマンティックセグメンテーションという2つの共通コンピュータビジョンタスクの相互利益について検討する。
セグメンテーションと深さの境界の整合性を明示的に測定し,最小化することを提案する。
提案手法は広範にわたる実験を通じて,KITTIにおける教師なし単分子深度推定技術の現状を推し進めるものである。
論文 参考訳（メタデータ） (2020-04-01T00:03:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。