論文の概要: Periodically Exchange Teacher-Student for Source-Free Object Detection
- arxiv url: http://arxiv.org/abs/2311.13930v1
- Date: Thu, 23 Nov 2023 11:30:54 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-27 23:53:11.995636
- Title: Periodically Exchange Teacher-Student for Source-Free Object Detection
- Title(参考訳): 音源自由物体検出のための教師学生の定期交流
- Authors: Qipeng Liu, Luojun Lin, Zhifeng Shen, Zhifeng Yang
- Abstract要約: Source-free Object Detection (SFOD) は、ソースドメインデータがない場合に、未ラベルのターゲットドメインデータにソース検出器を適用することを目的としている。
ほとんどのSFOD法は、学生モデルを1つの教師モデルのみで指導する平均教師(MT)フレームワークを用いて、同じ自己学習パラダイムに従っている。
静的教師, 動的教師, 学生モデルからなる複数教師の枠組みを導入する, シンプルながら斬新な手法であるPETS法を提案する。
- 参考スコア(独自算出の注目度): 7.222926042027062
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Source-free object detection (SFOD) aims to adapt the source detector to
unlabeled target domain data in the absence of source domain data. Most SFOD
methods follow the same self-training paradigm using mean-teacher (MT)
framework where the student model is guided by only one single teacher model.
However, such paradigm can easily fall into a training instability problem that
when the teacher model collapses uncontrollably due to the domain shift, the
student model also suffers drastic performance degradation. To address this
issue, we propose the Periodically Exchange Teacher-Student (PETS) method, a
simple yet novel approach that introduces a multiple-teacher framework
consisting of a static teacher, a dynamic teacher, and a student model. During
the training phase, we periodically exchange the weights between the static
teacher and the student model. Then, we update the dynamic teacher using the
moving average of the student model that has already been exchanged by the
static teacher. In this way, the dynamic teacher can integrate knowledge from
past periods, effectively reducing error accumulation and enabling a more
stable training process within the MT-based framework. Further, we develop a
consensus mechanism to merge the predictions of two teacher models to provide
higher-quality pseudo labels for student model. Extensive experiments on
multiple SFOD benchmarks show that the proposed method achieves
state-of-the-art performance compared with other related methods, demonstrating
the effectiveness and superiority of our method on SFOD task.
- Abstract(参考訳): source-free object detection (sfod) は、ソースドメインデータがない場合、未ラベルのターゲットドメインデータにソース検出器を適用することを目的としている。
ほとんどのSFOD法は、学生モデルを1つの教師モデルのみで指導する平均教師(MT)フレームワークを用いて、同じ自己学習パラダイムに従っている。
しかし、このようなパラダイムは、ドメインシフトによって教師モデルが制御不能に崩壊すると、生徒モデルも劇的なパフォーマンス低下に苦しむようなトレーニング不安定問題に容易に陥る可能性がある。
そこで,本稿では,静的教師,動的教師,学生モデルからなるマルチ・ティーチャー・フレームワークを導入するための,単純かつ斬新な手法であるpets法を提案する。
学習段階では,静的教師と生徒モデルの重み付けを定期的に交換する。
そして,静的教師によって既に交換されている学生モデルの移動平均を用いて,動的教師を更新する。
このようにして、動的教師は過去の知識を統合し、エラーの蓄積を効果的に削減し、mtベースのフレームワーク内でより安定したトレーニングプロセスを可能にする。
さらに,2つの教師モデルの予測を融合し,生徒モデルに高品質な擬似ラベルを提供するコンセンサス機構を開発した。
複数のSFODベンチマークにおいて,提案手法が他の手法と比較して最先端性能を実現し,SFODタスクにおける本手法の有効性と優位性を実証した。
関連論文リスト
- Variational Continual Test-Time Adaptation [25.262385466354253]
事前のドリフトは、ラベルのないテストデータのみを使用するCTTA(Continuous Test-Time Adaptation)メソッドにおいて重要である。
我々はCTTAにおける不確実性を測定するための変分ベイズ的アプローチであるVCoTTAを紹介する。
3つのデータセットによる実験結果から, ドリフト前の緩和効果が示された。
論文 参考訳(メタデータ) (2024-02-13T02:41:56Z) - Alternate Diverse Teaching for Semi-supervised Medical Image
Segmentation [64.44345656878646]
そこで我々は,教師-学生の枠組みにおける多様な教育手法であるAD-MTを提案する。
一人の生徒モデルと2つの訓練不可能な教師モデルがあり、それは定期的に、ランダムに、別の方法で、モーメントを更新する。
論文 参考訳(メタデータ) (2023-11-29T02:44:54Z) - Switching Temporary Teachers for Semi-Supervised Semantic Segmentation [45.20519672287495]
半教師付きセマンティックセグメンテーションで一般的な教師/学生のフレームワークは、主に指数的移動平均(EMA)を用いて、学生の量に基づいて教師の重みを更新する。
本稿では,学生のカップリング問題を軽減するために,2つの臨時教員を兼ねた,シンプルで効果的な方法であるデュアル教師を紹介する。
論文 参考訳(メタデータ) (2023-10-28T08:49:16Z) - EmbedDistill: A Geometric Knowledge Distillation for Information
Retrieval [83.79667141681418]
大規模なニューラルモデル(トランスフォーマーなど)は、情報検索(IR)のための最先端のパフォーマンスを達成する
本研究では,大規模教師モデルで学習したクエリとドキュメント間の相対的幾何を利用した新しい蒸留手法を提案する。
提案手法は, 両エンコーダ (DE) とクロスエンコーダ (CE) の2種類の教師モデルから, 95~97%の教師性能を維持できる1/10の非対称な学生への蒸留に成功した。
論文 参考訳(メタデータ) (2023-01-27T22:04:37Z) - Distantly-Supervised Named Entity Recognition with Adaptive Teacher
Learning and Fine-grained Student Ensemble [56.705249154629264]
NERモデルの堅牢性を改善するために,自己学習型教員学生フレームワークを提案する。
本稿では,2つの教員ネットワークからなる適応型教員学習を提案する。
微粒な学生アンサンブルは、教師モデルの各フラグメントを、生徒の対応するフラグメントの時間移動平均で更新し、各モデルフラグメントのノイズに対する一貫した予測を強化する。
論文 参考訳(メタデータ) (2022-12-13T12:14:09Z) - Oracle Teacher: Leveraging Target Information for Better Knowledge
Distillation of CTC Models [10.941519846908697]
我々は、コネクショニスト時間分類(CTC)に基づくシーケンスモデル、すなわち、Oracle Teacherのための新しいタイプの教師モデルを導入する。
Oracle Teacherは、ターゲット情報を参照することによって、より正確なCTCアライメントを学ぶため、より最適なガイダンスを提供することができる。
CTCアルゴリズムの多対一マッピング特性に基づいて、自明な解を効果的に防止できるトレーニング戦略を提案する。
論文 参考訳(メタデータ) (2021-11-05T14:14:05Z) - Decentralized Federated Learning Preserves Model and Data Privacy [77.454688257702]
我々は、訓練されたモデル間で知識を共有することができる、完全に分散化されたアプローチを提案する。
生徒は、合成された入力データを通じて教師の出力を訓練する。
その結果,教師が学習した未学習学生モデルが,教師と同等のF1スコアに達することがわかった。
論文 参考訳(メタデータ) (2021-02-01T14:38:54Z) - Reinforced Multi-Teacher Selection for Knowledge Distillation [54.72886763796232]
知識蒸留はモデル圧縮の一般的な方法です。
現在の方法は、蒸留全体の教師モデルに固定重量を割り当てます。
既存のメソッドのほとんどは、すべての教師モデルに等しい重みを割り当てます。
本論文では,学習例の複雑性や生徒モデル能力の違いから,教師モデルとの違いを学習することで,生徒モデルの蒸留性能の向上が期待できることを考察する。
論文 参考訳(メタデータ) (2020-12-11T08:56:39Z) - Temporal Self-Ensembling Teacher for Semi-Supervised Object Detection [9.64328205496046]
本稿では,半教師付き物体検出(SSOD)に焦点を当てる。
教師モデルは教師と学生の二重の役割を担っている。
SSODの授業不均衡問題は、教師から生徒への効果的な知識伝達を妨げる。
論文 参考訳(メタデータ) (2020-07-13T01:17:25Z) - Learning to Reweight with Deep Interactions [104.68509759134878]
本稿では,教師モデルに内部状態を提供する改良型データ再重み付けアルゴリズムを提案する。
クリーン/ノイズラベルとニューラルマシン翻訳を用いた画像分類実験は、我々のアルゴリズムが従来の手法よりも大幅に改善されていることを実証的に実証した。
論文 参考訳(メタデータ) (2020-07-09T09:06:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。