論文の概要: Three Ways to Improve Semantic Segmentation with Self-Supervised Depth
Estimation
- arxiv url: http://arxiv.org/abs/2012.10782v2
- Date: Mon, 5 Apr 2021 09:46:36 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-01 11:10:24.758981
- Title: Three Ways to Improve Semantic Segmentation with Self-Supervised Depth
Estimation
- Title(参考訳): 自己監督深度推定によるセマンティックセグメンテーションを改善する3つの方法
- Authors: Lukas Hoyer, Dengxin Dai, Yuhua Chen, Adrian K\"oring, Suman Saha, Luc
Van Gool
- Abstract要約: ラベルなし画像列からの自己教師付き単眼深度推定により強化された半教師付きセマンティックセマンティックセマンティックセマンティクスのフレームワークを提案する。
提案されたモデルをCityscapesデータセット上で検証する。
- 参考スコア(独自算出の注目度): 90.87105131054419
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Training deep networks for semantic segmentation requires large amounts of
labeled training data, which presents a major challenge in practice, as
labeling segmentation masks is a highly labor-intensive process. To address
this issue, we present a framework for semi-supervised semantic segmentation,
which is enhanced by self-supervised monocular depth estimation from unlabeled
image sequences. In particular, we propose three key contributions: (1) We
transfer knowledge from features learned during self-supervised depth
estimation to semantic segmentation, (2) we implement a strong data
augmentation by blending images and labels using the geometry of the scene, and
(3) we utilize the depth feature diversity as well as the level of difficulty
of learning depth in a student-teacher framework to select the most useful
samples to be annotated for semantic segmentation. We validate the proposed
model on the Cityscapes dataset, where all three modules demonstrate
significant performance gains, and we achieve state-of-the-art results for
semi-supervised semantic segmentation. The implementation is available at
https://github.com/lhoyer/improving_segmentation_with_selfsupervised_depth.
- Abstract(参考訳): セマンティックセグメンテーションのためのディープネットワークのトレーニングには、大量のラベル付きトレーニングデータが必要であり、セグメンテーションマスクのラベル付けは極めて労働集約的なプロセスであるため、実際には大きな課題となっている。
この問題に対処するために,ラベルなし画像列からの自己教師付き単眼深度推定により拡張された半教師付き意味セグメンテーションの枠組みを提案する。
特に,(1)自己教師付き奥行き推定から意味セグメンテーションへ知識を伝達する,(2)シーンの幾何学を用いて画像とラベルをブレンドして強固なデータ拡張を実現する,(3)奥行き特徴の多様性と学習深みの難易度を活用することで,意味セグメンテーションに注釈を付ける最も有用なサンプルを選択する,という3つの重要な貢献を提案する。
提案モデルをcityscapesデータセット上で検証し,これら3つのモジュールが有意な性能向上を示し,半教師ありセマンティクスセグメンテーションのための最先端の結果を得た。
実装はhttps://github.com/lhoyer/improving_segmentation_with_selfsupervised_depthで利用可能である。
関連論文リスト
- Spatially Guiding Unsupervised Semantic Segmentation Through
Depth-Informed Feature Distillation and Sampling [16.257915216763692]
本研究では,シーンの構造に関する情報を学習プロセスに組み込むことにより,教師なし学習の進歩を構築する。
本研究では,(1)特徴マップと深度マップを空間的に相関させて深度-特徴相関を学習し,シーンの構造に関する知識を誘導する。
次に,シーンの深度情報に対する3次元サンプリング技術を利用して,より効果的に特徴を抽出するために,最遠点サンプリングを実装した。
論文 参考訳(メタデータ) (2023-09-21T11:47:01Z) - AIMS: All-Inclusive Multi-Level Segmentation [93.5041381700744]
視覚領域を3つのレベル(パート、エンティティ、リレーション)に分割するタスクであるAll-Inclusive Multi-Level(AIMS)を提案する。
また、アノテーションの不整合とタスク相関の2つの大きな課題に対処するために、マルチデータセットのマルチタスクトレーニングを通じて統合されたAIMSモデルを構築します。
論文 参考訳(メタデータ) (2023-05-28T16:28:49Z) - Open-world Semantic Segmentation via Contrasting and Clustering
Vision-Language Embedding [95.78002228538841]
本研究では,様々なオープンワールドカテゴリのセマンティックオブジェクトを高密度アノテーションを使わずにセマンティックオブジェクトのセマンティックオブジェクトのセマンティック化を学習するための,新しいオープンワールドセマンティックセマンティックセマンティックセマンティクスパイプラインを提案する。
提案手法は任意のカテゴリのオブジェクトを直接分割し、3つのベンチマークデータセット上でデータラベリングを必要とするゼロショットセグメンテーション法より優れている。
論文 参考訳(メタデータ) (2022-07-18T09:20:04Z) - Semantics-Depth-Symbiosis: Deeply Coupled Semi-Supervised Learning of
Semantics and Depth [83.94528876742096]
我々は,意味的セグメンテーションと深さ推定という2つの密なタスクのMTL問題に取り組み,クロスチャネル注意モジュール(CCAM)と呼ばれる新しいアテンションモジュールを提案する。
次に,AffineMixと呼ばれる予測深度を用いた意味分節タスクのための新しいデータ拡張と,ColorAugと呼ばれる予測セマンティクスを用いた単純な深度増分を定式化する。
最後に,提案手法の性能向上をCityscapesデータセットで検証し,深度と意味に基づく半教師付きジョイントモデルにおける最先端結果の実現を支援する。
論文 参考訳(メタデータ) (2022-06-21T17:40:55Z) - X-Distill: Improving Self-Supervised Monocular Depth via Cross-Task
Distillation [69.9604394044652]
そこで本研究では,クロスタスク知識蒸留による単眼深度の自己指導的訓練を改善する手法を提案する。
トレーニングでは,事前訓練されたセマンティックセグメンテーション教師ネットワークを使用し,そのセマンティック知識を深度ネットワークに転送する。
提案手法の有効性をKITTIベンチマークで評価し,最新技術と比較した。
論文 参考訳(メタデータ) (2021-10-24T19:47:14Z) - Improving Semi-Supervised and Domain-Adaptive Semantic Segmentation with
Self-Supervised Depth Estimation [94.16816278191477]
本稿では,セミアダプティブなセマンティックセマンティックセマンティックセグメンテーションのためのフレームワークを提案する。
ラベルのない画像シーケンスでのみ訓練された自己教師付き単眼深度推定によって強化される。
提案したモデルをCityscapesデータセット上で検証する。
論文 参考訳(メタデータ) (2021-08-28T01:33:38Z) - Point-supervised Segmentation of Microscopy Images and Volumes via
Objectness Regularization [2.243486411968779]
この作業により、イメージ上のセマンティックセグメンテーションネットワークのトレーニングが、1インスタンスあたりのトレーニングのための単一のポイントで可能になる。
デジタル病理学における挑戦的なデータセットにおけるポイント・スーパーバイザーのセマンティクス・セグメンテーションの最先端に対する競争結果を達成します。
論文 参考訳(メタデータ) (2021-03-09T18:40:00Z) - A Three-Stage Self-Training Framework for Semi-Supervised Semantic
Segmentation [0.9786690381850356]
本稿では,セマンティックセグメンテーションのための3段階の自己学習フレームワークとして,包括的解を提案する。
本手法の鍵となる考え方は擬似マスク統計情報の抽出である。
次に、一貫性を強制するマルチタスクモデルを用いて擬似マスクの不確実性を減少させる。
論文 参考訳(メタデータ) (2020-12-01T21:00:27Z) - Shape-aware Semi-supervised 3D Semantic Segmentation for Medical Images [24.216869988183092]
本稿では,豊富なラベルのないデータを活用し,セグメント化出力に幾何学的形状制約を課す,形状認識型半教師付きセグメンテーション戦略を提案する。
物体表面のセマンティックセグメンテーションと符号付き距離マップDMを共同で予測するマルチタスクディープネットワークを開発した。
実験の結果,提案手法は形状推定を改良し,最先端の手法よりも優れていることがわかった。
論文 参考訳(メタデータ) (2020-07-21T11:44:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。