論文の概要: Switching Temporary Teachers for Semi-Supervised Semantic Segmentation

• arxiv url: http://arxiv.org/abs/2310.18640v1
• Date: Sat, 28 Oct 2023 08:49:16 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-31 17:17:15.518103
• Title: Switching Temporary Teachers for Semi-Supervised Semantic Segmentation
• Title（参考訳）: 半教師セマンティクスセグメンテーションのための臨時教師の切り替え
• Authors: Jaemin Na, Jung-Woo Ha, Hyung Jin Chang, Dongyoon Han, Wonjun Hwang
• Abstract要約: 半教師付きセマンティックセグメンテーションで一般的な教師/学生のフレームワークは、主に指数的移動平均(EMA)を用いて、学生の量に基づいて教師の重みを更新する。 本稿では,学生のカップリング問題を軽減するために,2つの臨時教員を兼ねた,シンプルで効果的な方法であるデュアル教師を紹介する。
• 参考スコア（独自算出の注目度）: 45.20519672287495
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The teacher-student framework, prevalent in semi-supervised semantic segmentation, mainly employs the exponential moving average (EMA) to update a single teacher's weights based on the student's. However, EMA updates raise a problem in that the weights of the teacher and student are getting coupled, causing a potential performance bottleneck. Furthermore, this problem may become more severe when training with more complicated labels such as segmentation masks but with few annotated data. This paper introduces Dual Teacher, a simple yet effective approach that employs dual temporary teachers aiming to alleviate the coupling problem for the student. The temporary teachers work in shifts and are progressively improved, so consistently prevent the teacher and student from becoming excessively close. Specifically, the temporary teachers periodically take turns generating pseudo-labels to train a student model and maintain the distinct characteristics of the student model for each epoch. Consequently, Dual Teacher achieves competitive performance on the PASCAL VOC, Cityscapes, and ADE20K benchmarks with remarkably shorter training times than state-of-the-art methods. Moreover, we demonstrate that our approach is model-agnostic and compatible with both CNN- and Transformer-based models. Code is available at \url{https://github.com/naver-ai/dual-teacher}.
• Abstract（参考訳）: 半教師付きセマンティックセグメンテーションで一般的な教師/学生のフレームワークは、主に指数的移動平均(EMA)を用いて、学生の量に基づいて教師の重みを更新する。 しかし、EMAのアップデートは教師と生徒の重みが組み合わされ、潜在的なパフォーマンスボトルネックを引き起こすという問題を引き起こす。 さらに、この問題はセグメンテーションマスクのようなより複雑なラベルを用いたトレーニングではより深刻になるが、注釈付きデータはほとんどない。 本稿では,学生のカップリング問題を軽減するために,2つの臨時教員を兼ねた,シンプルで効果的な方法であるデュアル教師を紹介する。 一時的な教師は交代で働き、徐々に改善され、教師と生徒が過度に近づきすぎるのを防ぐ。 特に、臨時教員は、学生モデルを訓練し、各時代ごとに学生モデルの異なる特徴を維持するために、定期的に擬似ラベルを生成する。 その結果、Dual TeacherはPASCAL VOC、Cityscapes、ADE20Kベンチマークで、最先端の手法よりも非常に短いトレーニング時間で競合性能を達成した。 さらに,本手法はモデルに依存しず,CNNモデルとTransformerモデルの両方と互換性があることを示す。 コードは \url{https://github.com/naver-ai/dual-teacher} で入手できる。

関連論文リスト

• Dual-Teacher Ensemble Models with Double-Copy-Paste for 3D Semi-Supervised Medical Image Segmentation [31.460549289419923]
  半教師付き学習(SSL)技術は、3次元医用画像セグメンテーションの高ラベリングコストに対処する。 本稿では,サンプルの特性に基づいて異なるアンサンブル法を選択するSSE(Staged Selective Ensemble)モジュールを提案する。 3次元医用画像分割作業における提案手法の有効性を実験的に検証した。
  論文  参考訳（メタデータ） (2024-10-15T11:23:15Z)
• Speculative Knowledge Distillation: Bridging the Teacher-Student Gap Through Interleaved Sampling [81.00825302340984]
  本研究では,高品質なトレーニングデータを生成するために,投機的知識蒸留(SKD)を導入する。 SKDでは、学生はトークンを提案し、教師はそれ自身の分布に基づいて低いランクのトークンを置き換える。 翻訳,要約,数学,指示文など,各種テキスト生成タスクにおけるSKDの評価を行った。
  論文  参考訳（メタデータ） (2024-10-15T06:51:25Z)
• Periodically Exchange Teacher-Student for Source-Free Object Detection [7.222926042027062]
  Source-free Object Detection (SFOD) は、ソースドメインデータがない場合に、未ラベルのターゲットドメインデータにソース検出器を適用することを目的としている。 ほとんどのSFOD法は、学生モデルを1つの教師モデルのみで指導する平均教師(MT)フレームワークを用いて、同じ自己学習パラダイムに従っている。 静的教師, 動的教師, 学生モデルからなる複数教師の枠組みを導入する, シンプルながら斬新な手法であるPETS法を提案する。
  論文  参考訳（メタデータ） (2023-11-23T11:30:54Z)
• Distantly-Supervised Named Entity Recognition with Adaptive Teacher Learning and Fine-grained Student Ensemble [56.705249154629264]
  NERモデルの堅牢性を改善するために,自己学習型教員学生フレームワークを提案する。 本稿では,2つの教員ネットワークからなる適応型教員学習を提案する。 微粒な学生アンサンブルは、教師モデルの各フラグメントを、生徒の対応するフラグメントの時間移動平均で更新し、各モデルフラグメントのノイズに対する一貫した予測を強化する。
  論文  参考訳（メタデータ） (2022-12-13T12:14:09Z)
• Spatial Ensemble: a Novel Model Smoothing Mechanism for Student-Teacher Framework [39.44523908176695]
  空間アンサンブル(Spatial Ensemble)は、時間移動平均と平行して平滑化する新しいモデルである。 歴史的学生モデルの異なる断片を統一に縫い付け、「空間的アンサンブル」効果をもたらす。 彼らの統合はSpatial-Temporal Smoothingと呼ばれ、学生-教師の学習フレームワークに一般的な(時には重要な)改善をもたらす。
  論文  参考訳（メタデータ） (2021-10-04T08:45:18Z)
• Self-Training with Differentiable Teacher [80.62757989797095]
  自己学習は、様々な半教師付きおよび弱教師付き学習タスクで大きな成功を収める。 この手法は、教師が擬似ラベルを生成し、生徒が予測を行う教師学生の枠組みとして解釈できる。 そこで我々は,教師学生をStackelbergゲームとして扱う,差別化可能な自己学習法を提案する。
  論文  参考訳（メタデータ） (2021-09-15T02:06:13Z)
• Representation Consolidation for Training Expert Students [54.90754502493968]
  マルチヘッド多タスク蒸留法は,タスク固有の教師の表現を集約し,下流のパフォーマンスを向上させるのに十分であることを示す。 また,本手法では,複数のドメインで訓練された複数の教師の表現的知識を1つのモデルに組み合わせることができる。
  論文  参考訳（メタデータ） (2021-07-16T17:58:18Z)
• Graph Consistency based Mean-Teaching for Unsupervised Domain Adaptive Person Re-Identification [54.58165777717885]
  本論文では,教師ネットワークと学生ネットワークの間にGCC(Graph Consistency Constraint)を構築するためのGCMT(Graph Consistency Based Mean-Teaching)手法を提案する。 マーケット-1501、デュークMTMCreID、MSMT17の3つのデータセットの実験により、提案されたGCMTは最先端の手法よりも明確なマージンで優れていることが示された。
  論文  参考訳（メタデータ） (2021-05-11T04:09:49Z)
• Temporal Self-Ensembling Teacher for Semi-Supervised Object Detection [9.64328205496046]
  本稿では,半教師付き物体検出(SSOD)に焦点を当てる。 教師モデルは教師と学生の二重の役割を担っている。 SSODの授業不均衡問題は、教師から生徒への効果的な知識伝達を妨げる。
  論文  参考訳（メタデータ） (2020-07-13T01:17:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。