論文の概要: SemHint-MD: Learning from Noisy Semantic Labels for Self-Supervised Monocular Depth Estimation

• arxiv url: http://arxiv.org/abs/2303.18219v1
• Date: Fri, 31 Mar 2023 17:20:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-03 13:10:43.655822
• Title: SemHint-MD: Learning from Noisy Semantic Labels for Self-Supervised Monocular Depth Estimation
• Title（参考訳）: semhint-md: 自己教師付き単眼深度推定のための雑音意味ラベルからの学習
• Authors: Shan Lin, Yuheng Zhi, and Michael C. Yip
• Abstract要約: 自己教師付き深度推定は、光度損失の勾配-局所性の問題により、局所的に最小限に抑えられる。 セマンティックセグメンテーションを活用して、ネットワークを局所的な最小限から切り離すための奥行きを高めるためのフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 19.229255297016635
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Without ground truth supervision, self-supervised depth estimation can be trapped in a local minimum due to the gradient-locality issue of the photometric loss. In this paper, we present a framework to enhance depth by leveraging semantic segmentation to guide the network to jump out of the local minimum. Prior works have proposed to share encoders between these two tasks or explicitly align them based on priors like the consistency between edges in the depth and segmentation maps. Yet, these methods usually require ground truth or high-quality pseudo labels, which may not be easily accessible in real-world applications. In contrast, we investigate self-supervised depth estimation along with a segmentation branch that is supervised with noisy labels provided by models pre-trained with limited data. We extend parameter sharing from the encoder to the decoder and study the influence of different numbers of shared decoder parameters on model performance. Also, we propose to use cross-task information to refine current depth and segmentation predictions to generate pseudo-depth and semantic labels for training. The advantages of the proposed method are demonstrated through extensive experiments on the KITTI benchmark and a downstream task for endoscopic tissue deformation tracking.
• Abstract（参考訳）: 基底的真理の監督がなければ、測光損失の勾配局所性の問題により、自己教師付き深さ推定は局所的最小値に抑えられる。 本稿では,ネットワークを局所的最小値から切り離すためのガイドとして意味セグメンテーションを活用することで,奥行きを高めるための枠組みを提案する。 以前の作業では、これらの2つのタスク間でエンコーダを共有することや、深度とセグメンテーションマップのエッジ間の整合性などに基づいてそれらを明示的に整合させることが提案されている。 しかし、これらの手法は通常、現実のアプリケーションでは簡単にアクセスできないような、基礎的な真理や高品質の擬似ラベルを必要とする。 対照的に、限定データで事前訓練されたモデルによって提供されるノイズラベルで教師されるセグメンテーションブランチとともに、自己監督深度推定について検討する。 我々は、エンコーダからデコーダへのパラメータ共有を拡張し、異なる数の共有デコーダパラメータがモデル性能に与える影響について検討する。 また,クロスタスク情報を用いて現在の深度とセグメンテーション予測を洗練し,擬似深度とセマンティックラベルを生成することを提案する。 提案手法の利点は,kittiベンチマークと内視鏡的組織変形追跡のための下流課題による広範囲な実験により実証された。

関連論文リスト

• Auxiliary Tasks Enhanced Dual-affinity Learning for Weakly Supervised Semantic Segmentation [79.05949524349005]
  AuxSegNet+は、サリエンシマップから豊富な情報を探索する弱教師付き補助学習フレームワークである。 また,サリエンシとセグメンテーションの特徴マップから画素レベルの親和性を学習するためのクロスタスク親和性学習機構を提案する。
  論文  参考訳（メタデータ） (2024-03-02T10:03:21Z)
• GAM-Depth: Self-Supervised Indoor Depth Estimation Leveraging a Gradient-Aware Mask and Semantic Constraints [12.426365333096264]
  本稿では,勾配認識マスクと意味制約という,2つの新しいコンポーネントをベースとしたGAM-Depthを提案する。 グラデーション対応マスクは、キー領域とテクスチャレス領域の両方の適応的かつ堅牢な監視を可能にする。 室内における自己監督深度推定のセマンティック制約の導入は、物体の境界における深度差を改善する。
  論文  参考訳（メタデータ） (2024-02-22T07:53:34Z)
• Transferring to Real-World Layouts: A Depth-aware Framework for Scene Adaptation [34.786268652516355]
  教師なしドメイン適応(UDA)によるシーンセグメンテーションは、ソース合成データから取得した知識を現実のターゲットデータに転送することを可能にする。 深度推定を明示的に活用してカテゴリを混合し,2つの補完的タスク,すなわちセグメンテーションと深度学習を促進するための奥行き認識フレームワークを提案する。 特に、このフレームワークには、DCF(Depth-guided Contextual Filter)フォーンデータ拡張と、コンテキスト学習のためのクロスタスクエンコーダが含まれている。
  論文  参考訳（メタデータ） (2023-11-21T15:39:21Z)
• LESS: Label-Efficient Semantic Segmentation for LiDAR Point Clouds [62.49198183539889]
  我々は,LiDAR点雲を用いた屋外シーンのためのラベル効率のよいセマンティックセマンティックセマンティクスパイプラインを提案する。 本手法は,半弱教師付き学習を用いて,効率的なラベリング手法を設計する。 提案手法は,100%ラベル付き完全教師付き手法と比較して,さらに競争力が高い。
  論文  参考訳（メタデータ） (2022-10-14T19:13:36Z)
• X-Distill: Improving Self-Supervised Monocular Depth via Cross-Task Distillation [69.9604394044652]
  そこで本研究では,クロスタスク知識蒸留による単眼深度の自己指導的訓練を改善する手法を提案する。 トレーニングでは,事前訓練されたセマンティックセグメンテーション教師ネットワークを使用し,そのセマンティック知識を深度ネットワークに転送する。 提案手法の有効性をKITTIベンチマークで評価し,最新技術と比較した。
  論文  参考訳（メタデータ） (2021-10-24T19:47:14Z)
• Domain Adaptive Semantic Segmentation with Self-Supervised Depth Estimation [84.34227665232281]
  セマンティックセグメンテーションのためのドメイン適応は、ソースとターゲットドメイン間の分散シフトの存在下でモデルのパフォーマンスを向上させることを目的とする。 ドメイン間のギャップを埋めるために、両ドメインで利用可能な自己教師付き深さ推定からのガイダンスを活用します。 提案手法のベンチマークタスクSYNTHIA-to-CityscapesとGTA-to-Cityscapesの有効性を実証する。
  論文  参考訳（メタデータ） (2021-04-28T07:47:36Z)
• Three Ways to Improve Semantic Segmentation with Self-Supervised Depth Estimation [90.87105131054419]
  ラベルなし画像列からの自己教師付き単眼深度推定により強化された半教師付きセマンティックセマンティックセマンティックセマンティクスのフレームワークを提案する。 提案されたモデルをCityscapesデータセット上で検証する。
  論文  参考訳（メタデータ） (2020-12-19T21:18:03Z)
• Deep Semi-supervised Knowledge Distillation for Overlapping Cervical Cell Instance Segmentation [54.49894381464853]
  本稿では, ラベル付きデータとラベルなしデータの両方を, 知識蒸留による精度向上に活用することを提案する。 摂動に敏感なサンプルマイニングを用いたマスク誘導型平均教師フレームワークを提案する。 実験の結果,ラベル付きデータのみから学習した教師付き手法と比較して,提案手法は性能を著しく向上することがわかった。
  論文  参考訳（メタデータ） (2020-07-21T13:27:09Z)
• Semantics-Driven Unsupervised Learning for Monocular Depth and Ego-Motion Estimation [33.83396613039467]
  ビデオからの単眼深度と自我運動推定のためのセマンティクス駆動型教師なし学習手法を提案する。 近年の教師なし学習法では, 合成ビューと実画像の光度誤差を指導信号として用いている。
  論文  参考訳（メタデータ） (2020-06-08T05:55:07Z)
• Semi-Supervised Semantic Segmentation with Cross-Consistency Training [8.894935073145252]
  セマンティックセグメンテーションのための新しいクロス一貫性に基づく半教師付きアプローチを提案する。 提案手法は,いくつかのデータセットにおける最先端結果を実現する。
  論文  参考訳（メタデータ） (2020-03-19T20:10:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。