論文の概要: Temporal Self-Ensembling Teacher for Semi-Supervised Object Detection

• arxiv url: http://arxiv.org/abs/2007.06144v3
• Date: Wed, 2 Sep 2020 09:26:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-10 23:58:12.074541
• Title: Temporal Self-Ensembling Teacher for Semi-Supervised Object Detection
• Title（参考訳）: 半教師付き物体検出のための時間的自己感覚教師
• Authors: Cong Chen and Shouyang Dong and Ye Tian and Kunlin Cao and Li Liu and Yuanhao Guo
• Abstract要約: 本稿では,半教師付き物体検出(SSOD)に焦点を当てる。 教師モデルは教師と学生の二重の役割を担っている。 SSODの授業不均衡問題は、教師から生徒への効果的な知識伝達を妨げる。
• 参考スコア（独自算出の注目度）: 9.64328205496046
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper focuses on Semi-Supervised Object Detection (SSOD). Knowledge Distillation (KD) has been widely used for semi-supervised image classification. However, adapting these methods for SSOD has the following obstacles. (1) The teacher model serves a dual role as a teacher and a student, such that the teacher predictions on unlabeled images may be very close to those of student, which limits the upper-bound of the student. (2) The class imbalance issue in SSOD hinders an efficient knowledge transfer from teacher to student. To address these problems, we propose a novel method Temporal Self-Ensembling Teacher (TSE-T) for SSOD. Differently from previous KD based methods, we devise a temporally evolved teacher model. First, our teacher model ensembles its temporal predictions for unlabeled images under stochastic perturbations. Second, our teacher model ensembles its temporal model weights with the student model weights by an exponential moving average (EMA) which allows the teacher gradually learn from the student. These self-ensembling strategies increase data and model diversity, thus improving teacher predictions on unlabeled images. Finally, we use focal loss to formulate consistency regularization term to handle the data imbalance problem, which is a more efficient manner to utilize the useful information from unlabeled images than a simple hard-thresholding method which solely preserves confident predictions. Evaluated on the widely used VOC and COCO benchmarks, the mAP of our method has achieved 80.73% and 40.52% on the VOC2007 test set and the COCO2014 minval5k set respectively, which outperforms a strong fully-supervised detector by 2.37% and 1.49%. Furthermore, our method sets the new state-of-the-art in SSOD on VOC2007 test set which outperforms the baseline SSOD method by 1.44%. The source code of this work is publicly available at http://github.com/syangdong/tse-t.
• Abstract（参考訳）: 本稿では,Semi-Supervised Object Detection (SSOD)に焦点を当てる。 知識蒸留(KD)は半教師付き画像分類に広く用いられている。 しかし、これらの手法をSSODに適用するには、以下の障害がある。 1)教師モデルは,教師と生徒の二重の役割を担い,教師がラベルのない画像上で予測することは,生徒の上限を制限する学生のそれと非常に近い可能性がある。 2)SSODにおける授業不均衡問題は,教師から生徒への効果的な知識伝達を妨げる。 これらの問題に対処するため,SSODのための時間自己組み立て教師(TSE-T)を提案する。 従来のKD法と異なり、時間的に進化した教師モデルを作成する。 まず,教師モデルは,確率的摂動下でのラベルなし画像に対する時間的予測をアンサンブルする。 第2に,教師モデルでは時間モデル重みと学生モデル重みを指数移動平均(EMA)でアンサンブルし,教師が学生から徐々に学習できるようにする。 これらの自己認識戦略はデータとモデルの多様性を高め、未ラベル画像の教師予測を改善する。 最後に,信頼度の高い予測のみを保持する単純なハードレスホールディング法よりも,ラベルなし画像から有用な情報を利用する方が効率的であるデータ不均衡問題に対処するために,焦点損失を用いて一貫性の正規化項を定式化する。 広く使われているVOCとCOCOのベンチマークで評価したところ、この手法のmAPは、VOC2007テストセットとCOCO2014 minval5kセットで80.73%と40.52%に達し、それぞれ2.37%と1.49%の強い完全教師付き検出器を上回っている。 さらに,本手法は,ベースラインSSOD法を1.44%向上させるVOC2007テストセット上で,SSODの最先端を新たに設定する。 この作業のソースコードはhttp://github.com/syangdong/tse-tで公開されている。

関連論文リスト

• Speculative Knowledge Distillation: Bridging the Teacher-Student Gap Through Interleaved Sampling [81.00825302340984]
  本研究では,高品質なトレーニングデータを生成するために,投機的知識蒸留(SKD)を導入する。 SKDでは、学生はトークンを提案し、教師はそれ自身の分布に基づいて低いランクのトークンを置き換える。 翻訳,要約,数学,指示文など,各種テキスト生成タスクにおけるSKDの評価を行った。
  論文  参考訳（メタデータ） (2024-10-15T06:51:25Z)
• Domain-Adaptive 2D Human Pose Estimation via Dual Teachers in Extremely Low-Light Conditions [65.0109231252639]
  低照度ポーズ推定の最近の研究は、トレーニングのために地上の真実とペアの明るい画像と低照度画像を使用する必要がある。 我々の主な新規性は、2つの補完的な教員ネットワークを活用して、より信頼性の高い擬似ラベルを生成することである。 本手法は最新技術(SOTA)法に対して6.8%(2.4 AP)の改善を達成した。
  論文  参考訳（メタデータ） (2024-07-22T08:09:14Z)
• Improve Knowledge Distillation via Label Revision and Data Selection [37.74822443555646]
  本稿では,教師の不正確な予測を基礎的真理を用いて修正することを提案する。 後者では,教師が指導する適切なトレーニングサンプルを選択するためのデータ選択手法を提案する。 実験の結果,提案手法の有効性を実証し,他の蒸留法と組み合わせることができることを示した。
  論文  参考訳（メタデータ） (2024-04-03T02:41:16Z)
• Periodically Exchange Teacher-Student for Source-Free Object Detection [7.222926042027062]
  Source-free Object Detection (SFOD) は、ソースドメインデータがない場合に、未ラベルのターゲットドメインデータにソース検出器を適用することを目的としている。 ほとんどのSFOD法は、学生モデルを1つの教師モデルのみで指導する平均教師(MT)フレームワークを用いて、同じ自己学習パラダイムに従っている。 静的教師, 動的教師, 学生モデルからなる複数教師の枠組みを導入する, シンプルながら斬新な手法であるPETS法を提案する。
  論文  参考訳（メタデータ） (2023-11-23T11:30:54Z)
• Switching Temporary Teachers for Semi-Supervised Semantic Segmentation [45.20519672287495]
  半教師付きセマンティックセグメンテーションで一般的な教師/学生のフレームワークは、主に指数的移動平均(EMA)を用いて、学生の量に基づいて教師の重みを更新する。 本稿では,学生のカップリング問題を軽減するために,2つの臨時教員を兼ねた,シンプルで効果的な方法であるデュアル教師を紹介する。
  論文  参考訳（メタデータ） (2023-10-28T08:49:16Z)
• Source-Free Domain Adaptive Fundus Image Segmentation with Class-Balanced Mean Teacher [37.72463382440212]
  本稿では,ソースフリー領域適応型基底画像分割法について検討する。 未ラベル画像を用いて,事前訓練した基底分割モデルを対象領域に適応することを目的としている。
  論文  参考訳（メタデータ） (2023-07-14T09:26:19Z)
• Semi-Supervised 2D Human Pose Estimation Driven by Position Inconsistency Pseudo Label Correction Module [74.80776648785897]
  i) 大規模モデルと軽量モデルの間で対話的なトレーニングを行う場合, 大規模モデルのガイドに擬似的な軽量モデルラベルを用いる。 位置整合性擬似ラベル補正モジュール(SSPCM)により駆動される半教師付き2次元ポーズ推定フレームワークを提案する。 学生モデルの性能向上のために,擬似キーポイント認識に基づく半教師付きカットオクルードを用いて,より硬く効果的なサンプルを生成する。
  論文  参考訳（メタデータ） (2023-03-08T02:57:05Z)
• Distantly-Supervised Named Entity Recognition with Adaptive Teacher Learning and Fine-grained Student Ensemble [56.705249154629264]
  NERモデルの堅牢性を改善するために,自己学習型教員学生フレームワークを提案する。 本稿では,2つの教員ネットワークからなる適応型教員学習を提案する。 微粒な学生アンサンブルは、教師モデルの各フラグメントを、生徒の対応するフラグメントの時間移動平均で更新し、各モデルフラグメントのノイズに対する一貫した予測を強化する。
  論文  参考訳（メタデータ） (2022-12-13T12:14:09Z)
• Better Teacher Better Student: Dynamic Prior Knowledge for Knowledge Distillation [70.92135839545314]
  本研究では,教師の持つ特徴の一部を,特徴蒸留前の先行知識として統合した動的事前知識(DPK)を提案する。 DPKは,教員モデルと生徒モデルのパフォーマンスを正に相関させ,より大きな教員を適用することで生徒の精度をさらに高めることができる。
  論文  参考訳（メタデータ） (2022-06-13T11:52:13Z)
• Unbiased Teacher for Semi-Supervised Object Detection [50.0087227400306]
  SS-OD(Semi-Supervised Object Detection)を再検討し,SS-ODにおける擬似ラベルバイアス問題を特定する。 学生と徐々に進歩する教師を相互に利益ある方法で共同で訓練するシンプルで効果的なアプローチであるUnbiased Teacherを紹介します。
  論文  参考訳（メタデータ） (2021-02-18T17:02:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。