論文の概要: Improving Semi-Supervised and Domain-Adaptive Semantic Segmentation with
Self-Supervised Depth Estimation
- arxiv url: http://arxiv.org/abs/2108.12545v1
- Date: Sat, 28 Aug 2021 01:33:38 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-31 14:44:44.193634
- Title: Improving Semi-Supervised and Domain-Adaptive Semantic Segmentation with
Self-Supervised Depth Estimation
- Title（参考訳）: 自己監督深度推定による半教師付き領域適応セマンティックセマンティックセグメンテーションの改善
- Authors: Lukas Hoyer, Dengxin Dai, Qin Wang, Yuhua Chen, Luc Van Gool
- Abstract要約: 本稿では,セミアダプティブなセマンティックセマンティックセマンティックセグメンテーションのためのフレームワークを提案する。
ラベルのない画像シーケンスでのみ訓練された自己教師付き単眼深度推定によって強化される。
提案したモデルをCityscapesデータセット上で検証する。
- 参考スコア（独自算出の注目度）: 94.16816278191477
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Training deep networks for semantic segmentation requires large amounts of
labeled training data, which presents a major challenge in practice, as
labeling segmentation masks is a highly labor-intensive process. To address
this issue, we present a framework for semi-supervised and domain-adaptive
semantic segmentation, which is enhanced by self-supervised monocular depth
estimation (SDE) trained only on unlabeled image sequences.
In particular, we utilize SDE as an auxiliary task comprehensively across the
entire learning framework: First, we automatically select the most useful
samples to be annotated for semantic segmentation based on the correlation of
sample diversity and difficulty between SDE and semantic segmentation. Second,
we implement a strong data augmentation by mixing images and labels using the
geometry of the scene. Third, we transfer knowledge from features learned
during SDE to semantic segmentation by means of transfer and multi-task
learning. And fourth, we exploit additional labeled synthetic data with
Cross-Domain DepthMix and Matching Geometry Sampling to align synthetic and
real data.
We validate the proposed model on the Cityscapes dataset, where all four
contributions demonstrate significant performance gains, and achieve
state-of-the-art results for semi-supervised semantic segmentation as well as
for semi-supervised domain adaptation. In particular, with only 1/30 of the
Cityscapes labels, our method achieves 92% of the fully-supervised baseline
performance and even 97% when exploiting additional data from GTA. The source
code is available at
https://github.com/lhoyer/improving_segmentation_with_selfsupervised_depth.
- Abstract（参考訳）: セマンティックセグメンテーションのためのディープネットワークのトレーニングには、大量のラベル付きトレーニングデータが必要であり、セグメンテーションマスクのラベル付けは極めて労働集約的なプロセスであるため、実際には大きな課題となっている。
この問題に対処するために,半教師付きおよびドメイン適応型セマンティックセマンティックセマンティックセマンティクスのためのフレームワークを提案する。
まず、サンプルの多様性とSDEとセマンティックセグメンテーションの難易度との相関に基づいて、意味セグメンテーションにアノテートする最も有用なサンプルを自動的に選択する。
第2に,シーンの形状を用いて画像とラベルを混合することにより,強いデータ拡張を実現する。
第3に,sde中に学習した特徴から,伝達とマルチタスク学習による意味セグメンテーションへ知識を伝達する。
そして第4に、Cross-Domain DepthMixとMatching Geometry Smplingによるラベル付き合成データを利用して、合成データと実データを組み合わせる。
提案モデルをcityscapesデータセット上で検証し,これら4つのコントリビュートが有意な性能向上を示し,半教師付き意味セグメンテーションと半教師付きドメイン適応の最先端結果を得る。
特に,Cityscapesラベルの1/30に過ぎず,全教師付きベースライン性能の92%,GTAから追加データを利用する場合の97%を達成できた。
ソースコードはhttps://github.com/lhoyer/improving_segmentation_with_selfsupervised_depthで入手できる。
関連論文リスト
- Auxiliary Tasks Enhanced Dual-affinity Learning for Weakly Supervised
Semantic Segmentation [79.05949524349005]
AuxSegNet+は、サリエンシマップから豊富な情報を探索する弱教師付き補助学習フレームワークである。
また,サリエンシとセグメンテーションの特徴マップから画素レベルの親和性を学習するためのクロスタスク親和性学習機構を提案する。
論文 参考訳（メタデータ） (2024-03-02T10:03:21Z) - Segment Together: A Versatile Paradigm for Semi-Supervised Medical Image
Segmentation [17.69933345468061]
医用画像セグメンテーションのための強力なディープラーニングモデルをトレーニングする上で、不足は大きな障害となっている。
textbfVersatile textbfSemi-supervised framework を導入する。
論文 参考訳（メタデータ） (2023-11-20T11:35:52Z) - Navya3DSeg -- Navya 3D Semantic Segmentation Dataset & split generation
for autonomous vehicles [63.20765930558542]
3Dセマンティックデータは、障害物検出やエゴ-車両の局所化といった中核的な認識タスクに有用である。
そこで我々は,大規模生産段階の運用領域に対応する多様なラベル空間を持つ新しいデータセットであるNavala 3D(Navya3DSeg)を提案する。
ラベルのない23のラベル付きシーケンスと25の補足シーケンスが含まれており、ポイントクラウド上の自己教師付きおよび半教師付きセマンティックセマンティックセグメンテーションベンチマークを探索するために設計された。
論文 参考訳（メタデータ） (2023-02-16T13:41:19Z) - Training Semantic Segmentation on Heterogeneous Datasets [5.584060970507507]
我々は,従来の単一データセットの均質学習を超えてセマンティックセグメンテーションを探求する。
単一ネットワークトレーニングパイプラインに異種データセットを組み込んだ統合フレームワークを提案する。
我々のフレームワークは、まず異種データセットをキュレートし、それらを共通のフォーマットにし、その後、それらすべてに単一のバックボーンFCNを同時に訓練する。
論文 参考訳（メタデータ） (2023-01-18T16:22:40Z) - LESS: Label-Efficient Semantic Segmentation for LiDAR Point Clouds [62.49198183539889]
我々は,LiDAR点雲を用いた屋外シーンのためのラベル効率のよいセマンティックセマンティックセマンティクスパイプラインを提案する。
本手法は,半弱教師付き学習を用いて,効率的なラベリング手法を設計する。
提案手法は,100%ラベル付き完全教師付き手法と比較して,さらに競争力が高い。
論文 参考訳（メタデータ） (2022-10-14T19:13:36Z) - Threshold-adaptive Unsupervised Focal Loss for Domain Adaptation of
Semantic Segmentation [25.626882426111198]
意味的セグメンテーションのための教師なしドメイン適応(UDA)は近年研究の注目を集めている。
本稿では,セマンティックセグメンテーションのための2段階エントロピーに基づくUDA手法を提案する。
本稿では,DeepLabV2を用いたSynTHIA-to-CityscapesとGTA5-to-Cityscapesにおける最先端の58.4%と59.6%のmIoUと,軽量BiSeNetを用いた競合性能を実現する。
論文 参考訳（メタデータ） (2022-08-23T03:48:48Z) - Scaling up Multi-domain Semantic Segmentation with Sentence Embeddings [81.09026586111811]
ゼロショット設定に適用した場合、最先端の教師付き性能を実現するセマンティックセマンティックセマンティクスへのアプローチを提案する。
これは各クラスラベルを、クラスを記述する短い段落のベクトル値の埋め込みに置き換えることによって達成される。
結果として得られた200万以上の画像の統合セマンティックセグメンテーションデータセットは、7つのベンチマークデータセット上の最先端の教師付きメソッドと同等のパフォーマンスを達成するモデルをトレーニングすることができる。
論文 参考訳（メタデータ） (2022-02-04T07:19:09Z) - Semi-supervised Domain Adaptation based on Dual-level Domain Mixing for
Semantic Segmentation [34.790169990156684]
私たちは、少数のラベル付きターゲットデータと大量のラベル付きソースデータが利用可能である半監視ドメイン適応(SSDA)のより実用的な設定に焦点を当てています。
領域レベルとサンプルレベルのドメインギャップを低減する2種類のデータミキシング手法を提案する。
総合的視点と部分的視点から2段階の混合データに基づいて,2つの相補的ドメイン混合教師を得ることができる。
論文 参考訳（メタデータ） (2021-03-08T12:33:17Z) - Three Ways to Improve Semantic Segmentation with Self-Supervised Depth
Estimation [90.87105131054419]
ラベルなし画像列からの自己教師付き単眼深度推定により強化された半教師付きセマンティックセマンティックセマンティックセマンティクスのフレームワークを提案する。
提案されたモデルをCityscapesデータセット上で検証する。
論文 参考訳（メタデータ） (2020-12-19T21:18:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。