論文の概要: Semantic-Guided Representation Enhancement for Self-supervised Monocular Trained Depth Estimation

• arxiv url: http://arxiv.org/abs/2012.08048v1
• Date: Tue, 15 Dec 2020 02:24:57 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-07 05:26:22.036140
• Title: Semantic-Guided Representation Enhancement for Self-supervised Monocular Trained Depth Estimation
• Title（参考訳）: 自己教師付き単眼訓練深度推定のための意味誘導表現強調
• Authors: Rui Li, Qing Mao, Pei Wang, Xiantuo He, Yu Zhu, Jinqiu Sun, Yanning Zhang
• Abstract要約: 自己教師付き深度推定は,画像列のみを入力として,高品質の深度マップを作成する上で大きな効果を示した。 しかし、その性能は通常、限界深度表現能力のために境界領域や細い構造を持つ物体を推定する際に低下する。 局所的および大域的な深度特徴表現を促進する意味誘導深度表現拡張法を提案する。
• 参考スコア（独自算出の注目度）: 39.845944724079814
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-supervised depth estimation has shown its great effectiveness in producing high quality depth maps given only image sequences as input. However, its performance usually drops when estimating on border areas or objects with thin structures due to the limited depth representation ability. In this paper, we address this problem by proposing a semantic-guided depth representation enhancement method, which promotes both local and global depth feature representations by leveraging rich contextual information. In stead of a single depth network as used in conventional paradigms, we propose an extra semantic segmentation branch to offer extra contextual features for depth estimation. Based on this framework, we enhance the local feature representation by sampling and feeding the point-based features that locate on the semantic edges to an individual Semantic-guided Edge Enhancement module (SEEM), which is specifically designed for promoting depth estimation on the challenging semantic borders. Then, we improve the global feature representation by proposing a semantic-guided multi-level attention mechanism, which enhances the semantic and depth features by exploring pixel-wise correlations in the multi-level depth decoding scheme. Extensive experiments validate the distinct superiority of our method in capturing highly accurate depth on the challenging image areas such as semantic category borders and thin objects. Both quantitative and qualitative experiments on KITTI show that our method outperforms the state-of-the-art methods.
• Abstract（参考訳）: 自己教師付き深度推定は,画像列のみを入力として,高品質の深度マップを作成する上で大きな効果を示した。 しかし、その性能は通常、限界深度表現能力のために境界領域や細い構造を持つ物体を推定する際に低下する。 本稿では,局所的特徴表現と大域的深さ特徴表現の両方を,リッチな文脈情報を用いて促進する意味的ガイド付き奥行き表現拡張手法を提案する。 従来のパラダイムで用いられる1つの深度ネットワークの代わりに、深度推定のための余分な文脈的特徴を提供するセグメンテーションブランチを提案する。 本稿では,この枠組みに基づき,意味的辺にある点に基づく特徴を個別の意味的誘導エッジ拡張モジュール (seem) にサンプリング・供給することにより,局所的特徴表現を向上させる。 そして,マルチレベル深度復号方式における画素単位の相関を探索することにより,意味的・深度的特徴を高める意味誘導型多レベルアテンション機構を提案することにより,グローバルな特徴表現を改善する。 広範囲な実験により,意味圏境界や細い物体などの難解な画像領域の精度の高い深度を捉える上で,本手法の顕著な優位性を検証した。 KITTIにおける定量的および定性的実験は,本手法が最先端の手法より優れていることを示す。

関連論文リスト

• Depth-guided Texture Diffusion for Image Semantic Segmentation [47.46257473475867]
  本稿では,この課題を効果的に解決するディープスガイド型テクスチャ拡散手法を提案する。 本手法は,テクスチャ画像を作成するために,エッジやテクスチャから低レベル特徴を抽出する。 この拡張深度マップを元のRGB画像と結合した特徴埋め込みに統合することにより,深度マップと画像との相違を効果的に橋渡しする。
  論文  参考訳（メタデータ） (2024-08-17T04:55:03Z)
• Depth-aware Volume Attention for Texture-less Stereo Matching [67.46404479356896]
  実用的な屋外シナリオにおけるテクスチャ劣化に対処する軽量なボリューム改善手法を提案する。 画像テクスチャの相対的階層を抽出し,地中深度マップによって教師される深度体積を導入する。 局所的な微細構造と文脈は、体積凝集時のあいまいさと冗長性を緩和するために強調される。
  論文  参考訳（メタデータ） (2024-02-14T04:07:44Z)
• X-Distill: Improving Self-Supervised Monocular Depth via Cross-Task Distillation [69.9604394044652]
  そこで本研究では,クロスタスク知識蒸留による単眼深度の自己指導的訓練を改善する手法を提案する。 トレーニングでは,事前訓練されたセマンティックセグメンテーション教師ネットワークを使用し,そのセマンティック知識を深度ネットワークに転送する。 提案手法の有効性をKITTIベンチマークで評価し,最新技術と比較した。
  論文  参考訳（メタデータ） (2021-10-24T19:47:14Z)
• Self-Supervised Monocular Depth Estimation with Internal Feature Fusion [12.874712571149725]
  深度推定のための自己教師付き学習は、画像列の幾何学を用いて監督する。 そこで本研究では,ダウンおよびアップサンプリングの手順で意味情報を利用することのできる,新しい深度推定ネットワークDIFFNetを提案する。
  論文  参考訳（メタデータ） (2021-10-18T17:31:11Z)
• Fine-grained Semantics-aware Representation Enhancement for Self-supervised Monocular Depth Estimation [16.092527463250708]
  自己教師付き単分子深度推定を改善するための新しいアイデアを提案する。 我々は、幾何学的表現強化に暗黙的な意味知識を取り入れることに注力する。 提案手法をKITTIデータセット上で評価し,提案手法が最先端の手法より優れていることを示す。
  論文  参考訳（メタデータ） (2021-08-19T17:50:51Z)
• Domain Adaptive Semantic Segmentation with Self-Supervised Depth Estimation [84.34227665232281]
  セマンティックセグメンテーションのためのドメイン適応は、ソースとターゲットドメイン間の分散シフトの存在下でモデルのパフォーマンスを向上させることを目的とする。 ドメイン間のギャップを埋めるために、両ドメインで利用可能な自己教師付き深さ推定からのガイダンスを活用します。 提案手法のベンチマークタスクSYNTHIA-to-CityscapesとGTA-to-Cityscapesの有効性を実証する。
  論文  参考訳（メタデータ） (2021-04-28T07:47:36Z)
• Learning Depth via Leveraging Semantics: Self-supervised Monocular Depth Estimation with Both Implicit and Explicit Semantic Guidance [34.62415122883441]
  シーン認識深度推定のための暗黙的意味特徴と深度特徴とを一致させるセマンティック認識空間特徴アライメント方式を提案する。 また,推定深度マップを実シーンの文脈特性と整合性に明示的に制約する意味誘導型ランキング損失を提案する。 複雑なシーンや多様なセマンティックカテゴリで一貫して優れた、高品質な深度マップを作成します。
  論文  参考訳（メタデータ） (2021-02-11T14:29:51Z)
• Three Ways to Improve Semantic Segmentation with Self-Supervised Depth Estimation [90.87105131054419]
  ラベルなし画像列からの自己教師付き単眼深度推定により強化された半教師付きセマンティックセマンティックセマンティックセマンティクスのフレームワークを提案する。 提案されたモデルをCityscapesデータセット上で検証する。
  論文  参考訳（メタデータ） (2020-12-19T21:18:03Z)
• The Edge of Depth: Explicit Constraints between Segmentation and Depth [25.232436455640716]
  画像からの自己教師付き深度推定とセマンティックセグメンテーションという2つの共通コンピュータビジョンタスクの相互利益について検討する。 セグメンテーションと深さの境界の整合性を明示的に測定し,最小化することを提案する。 提案手法は広範にわたる実験を通じて,KITTIにおける教師なし単分子深度推定技術の現状を推し進めるものである。
  論文  参考訳（メタデータ） (2020-04-01T00:03:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。