論文の概要: Learning from Future: A Novel Self-Training Framework for Semantic Segmentation

• arxiv url: http://arxiv.org/abs/2209.06993v2
• Date: Sun, 18 Sep 2022 12:21:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-20 12:51:09.842522
• Title: Learning from Future: A Novel Self-Training Framework for Semantic Segmentation
• Title（参考訳）: 未来から学ぶ: セマンティックセグメンテーションのための新しい自己学習フレームワーク
• Authors: Ye Du, Yujun Shen, Haochen Wang, Jingjing Fei, Wei Li, Liwei Wu, Rui Zhao, Zehua Fu, Qingjie Liu
• Abstract要約: 自己学習は半教師あり学習において大きな可能性を秘めている。 本稿では,モデルが未来から学べる,新たな自己学習戦略を提案する。 我々は,幅広い環境下でのアプローチの有効性と優位性を実験的に実証した。
• 参考スコア（独自算出の注目度）: 33.66516999361252
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-training has shown great potential in semi-supervised learning. Its core idea is to use the model learned on labeled data to generate pseudo-labels for unlabeled samples, and in turn teach itself. To obtain valid supervision, active attempts typically employ a momentum teacher for pseudo-label prediction yet observe the confirmation bias issue, where the incorrect predictions may provide wrong supervision signals and get accumulated in the training process. The primary cause of such a drawback is that the prevailing self-training framework acts as guiding the current state with previous knowledge, because the teacher is updated with the past student only. To alleviate this problem, we propose a novel self-training strategy, which allows the model to learn from the future. Concretely, at each training step, we first virtually optimize the student (i.e., caching the gradients without applying them to the model weights), then update the teacher with the virtual future student, and finally ask the teacher to produce pseudo-labels for the current student as the guidance. In this way, we manage to improve the quality of pseudo-labels and thus boost the performance. We also develop two variants of our future-self-training (FST) framework through peeping at the future both deeply (FST-D) and widely (FST-W). Taking the tasks of unsupervised domain adaptive semantic segmentation and semi-supervised semantic segmentation as the instances, we experimentally demonstrate the effectiveness and superiority of our approach under a wide range of settings. Code will be made publicly available.
• Abstract（参考訳）: 自己学習は半教師付き学習において大きな可能性を秘めている。 その中核となる考え方は、ラベル付きデータで学んだモデルを使用して、ラベルなしサンプルの擬似ラベルを生成し、自らを教えることである。 有効な監視を得るために、アクティブな試みは、典型的には擬似ラベル予測にモーメント教師を用いるが、誤った予測が間違った監督信号を提供し、トレーニングプロセスに蓄積されるという確証バイアス問題を観察する。 このような欠点の主な原因は、教師が過去の生徒のみで更新されるため、普及している自己学習フレームワークが現在の状態を以前の知識で導く役割を果たすことである。 この問題を軽減するため,我々は,モデルが未来から学ぶことができる新しい自己学習戦略を提案する。 具体的には、各トレーニングステップにおいて、まず、生徒を仮想的に最適化し(すなわち、モデル重み付けに適用せずに勾配をキャッシング)、次に教師に仮想未来生徒を更新させ、最後に、教師に現在の生徒のための擬似ラベルを指導として作成するように依頼する。 このようにして、擬似ラベルの品質が向上し、パフォーマンスが向上する。 また、未来(FST-D)と広く(FST-W)の両方を覗き見することで、未来自己学習(FST)フレームワークの2つのバリエーションを開発する。 非教師なしドメイン適応意味セグメンテーションと半教師なし意味セグメンテーションのタスクをインスタンスとして、幅広い設定下でのアプローチの有効性と優位性を実験的に実証する。 コードは公開される予定だ。

関連論文リスト

• One-bit Supervision for Image Classification: Problem, Solution, and Beyond [114.95815360508395]
  本稿では,ラベルの少ない新しい学習環境である,画像分類のための1ビット監督について述べる。 多段階学習パラダイムを提案し、負ラベル抑圧を半教師付き半教師付き学習アルゴリズムに組み込む。 複数のベンチマークにおいて、提案手法の学習効率は、フルビットの半教師付き監視手法よりも優れている。
  論文  参考訳（メタデータ） (2023-11-26T07:39:00Z)
• Unsupervised Domain Adaptation for Semantic Segmentation with Pseudo Label Self-Refinement [9.69089112870202]
  擬似ラベルのオンライン精錬のための補助的擬似ラベル精錬ネットワーク(PRN)を提案する。 3つの異なるドメインシフトを持つベンチマークデータセットに対する我々のアプローチを評価する。
  論文  参考訳（メタデータ） (2023-10-25T20:31:07Z)
• Semi-Supervised Semantic Segmentation via Gentle Teaching Assistant [72.4512562104361]
  擬似ラベル付きラベル付きラベル付きデータは,特徴抽出器における代表的特徴の学習を容易にすることができると論じる。 そこで本研究では,擬似ラベルが特徴抽出器やマスク予測器に与える影響を解消する新しい枠組みであるジェントル指導アシスタント(GTA-Seg)を提案する。
  論文  参考訳（メタデータ） (2023-01-18T07:11:24Z)
• Self-Distillation for Further Pre-training of Transformers [83.84227016847096]
  我々は、さらなる事前学習段階の正則化として自己蒸留を提案する。 画像およびテキスト分類タスクのための様々なベンチマークデータセットにおける自己蒸留の有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2022-09-30T02:25:12Z)
• Label Matching Semi-Supervised Object Detection [85.99282969977541]
  半教師対象検出は,教師主導型自己学習の開発において大きな進歩を遂げている。 ラベルミスマッチ問題は、以前の研究でまだ完全に解明されていないため、自己学習中に重大な確証バイアスが生じる。 本稿では,2つの異なる相補的視点から,単純かつ効果的な LabelMatch フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-14T05:59:41Z)
• Two-phase Pseudo Label Densification for Self-training based Domain Adaptation [93.03265290594278]
  TPLDと呼ばれる,新規な二相擬似ラベル高密度化フレームワークを提案する。 第1フェーズでは,スライディングウインドウ投票を用いて,画像内の内在的空間相関を利用して,自信のある予測を広める。 第2フェーズでは,信頼度に基づく容易な分類を行う。 トレーニングプロセスの容易化と騒音予測の回避を目的として,ブートストラップ機構の導入を行った。
  論文  参考訳（メタデータ） (2020-12-09T02:35:25Z)
• A Survey on Self-supervised Pre-training for Sequential Transfer Learning in Neural Networks [1.1802674324027231]
  移動学習のための自己教師付き事前学習は、ラベルのないデータを用いて最先端の結果を改善する技術として、ますます人気が高まっている。 本稿では,自己指導型学習と伝達学習の分類学の概要を述べるとともに,各領域にまたがる事前学習タスクを設計するためのいくつかの顕著な手法を強調した。
  論文  参考訳（メタデータ） (2020-07-01T22:55:48Z)
• Improving Semantic Segmentation via Self-Training [75.07114899941095]
  半教師付きアプローチ,特に自己学習パラダイムを用いて,最先端の成果を得ることができることを示す。 まず、ラベル付きデータに基づいて教師モデルを訓練し、次にラベルなしデータの大規模なセット上で擬似ラベルを生成する。 私たちの堅牢なトレーニングフレームワークは、人名と擬似ラベルを共同で消化し、Cityscapes、CamVid、KITTIデータセット上で最高のパフォーマンスを達成することができます。
  論文  参考訳（メタデータ） (2020-04-30T17:09:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。