論文の概要: Periodically Exchange Teacher-Student for Source-Free Object Detection

• arxiv url: http://arxiv.org/abs/2311.13930v1
• Date: Thu, 23 Nov 2023 11:30:54 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-27 23:53:11.995636
• Title: Periodically Exchange Teacher-Student for Source-Free Object Detection
• Title（参考訳）: 音源自由物体検出のための教師学生の定期交流
• Authors: Qipeng Liu, Luojun Lin, Zhifeng Shen, Zhifeng Yang
• Abstract要約: Source-free Object Detection (SFOD) は、ソースドメインデータがない場合に、未ラベルのターゲットドメインデータにソース検出器を適用することを目的としている。 ほとんどのSFOD法は、学生モデルを1つの教師モデルのみで指導する平均教師(MT)フレームワークを用いて、同じ自己学習パラダイムに従っている。 静的教師, 動的教師, 学生モデルからなる複数教師の枠組みを導入する, シンプルながら斬新な手法であるPETS法を提案する。
• 参考スコア（独自算出の注目度）: 7.222926042027062
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Source-free object detection (SFOD) aims to adapt the source detector to unlabeled target domain data in the absence of source domain data. Most SFOD methods follow the same self-training paradigm using mean-teacher (MT) framework where the student model is guided by only one single teacher model. However, such paradigm can easily fall into a training instability problem that when the teacher model collapses uncontrollably due to the domain shift, the student model also suffers drastic performance degradation. To address this issue, we propose the Periodically Exchange Teacher-Student (PETS) method, a simple yet novel approach that introduces a multiple-teacher framework consisting of a static teacher, a dynamic teacher, and a student model. During the training phase, we periodically exchange the weights between the static teacher and the student model. Then, we update the dynamic teacher using the moving average of the student model that has already been exchanged by the static teacher. In this way, the dynamic teacher can integrate knowledge from past periods, effectively reducing error accumulation and enabling a more stable training process within the MT-based framework. Further, we develop a consensus mechanism to merge the predictions of two teacher models to provide higher-quality pseudo labels for student model. Extensive experiments on multiple SFOD benchmarks show that the proposed method achieves state-of-the-art performance compared with other related methods, demonstrating the effectiveness and superiority of our method on SFOD task.
• Abstract（参考訳）: source-free object detection (sfod) は、ソースドメインデータがない場合、未ラベルのターゲットドメインデータにソース検出器を適用することを目的としている。 ほとんどのSFOD法は、学生モデルを1つの教師モデルのみで指導する平均教師(MT)フレームワークを用いて、同じ自己学習パラダイムに従っている。 しかし、このようなパラダイムは、ドメインシフトによって教師モデルが制御不能に崩壊すると、生徒モデルも劇的なパフォーマンス低下に苦しむようなトレーニング不安定問題に容易に陥る可能性がある。 そこで,本稿では,静的教師,動的教師,学生モデルからなるマルチ・ティーチャー・フレームワークを導入するための,単純かつ斬新な手法であるpets法を提案する。 学習段階では,静的教師と生徒モデルの重み付けを定期的に交換する。 そして,静的教師によって既に交換されている学生モデルの移動平均を用いて,動的教師を更新する。 このようにして、動的教師は過去の知識を統合し、エラーの蓄積を効果的に削減し、mtベースのフレームワーク内でより安定したトレーニングプロセスを可能にする。 さらに,2つの教師モデルの予測を融合し,生徒モデルに高品質な擬似ラベルを提供するコンセンサス機構を開発した。 複数のSFODベンチマークにおいて,提案手法が他の手法と比較して最先端性能を実現し,SFODタスクにおける本手法の有効性と優位性を実証した。

関連論文リスト

• Speculative Knowledge Distillation: Bridging the Teacher-Student Gap Through Interleaved Sampling [81.00825302340984]
  本研究では,高品質なトレーニングデータを生成するために,投機的知識蒸留(SKD)を導入する。 SKDでは、学生はトークンを提案し、教師はそれ自身の分布に基づいて低いランクのトークンを置き換える。 翻訳,要約,数学,指示文など,各種テキスト生成タスクにおけるSKDの評価を行った。
  論文  参考訳（メタデータ） (2024-10-15T06:51:25Z)
• Exploring and Enhancing the Transfer of Distribution in Knowledge Distillation for Autoregressive Language Models [62.5501109475725]
  知識蒸留(KD)は、より小さな学生モデルを模倣するように訓練することで、大きな教師モデルを圧縮する技術である。 本稿では、教師ネットワークが小さなオンラインモジュールを統合し、学生モデルと同時学習するオンライン知識蒸留(OKD)について紹介する。 OKDは、様々なモデルアーキテクチャやサイズにおけるリードメソッドのパフォーマンスを達成または超え、トレーニング時間を最大4倍に短縮する。
  論文  参考訳（メタデータ） (2024-09-19T07:05:26Z)
• Parameter-Selective Continual Test-Time Adaptation [3.480626767752489]
  継続的テスト時間適応(CTTA)は、継続的なドメインシフトの下でテスト期間中に、事前トレーニングされたモデルを常に変化する環境に適応することを目的としている。 PSMT法は、ドメインシフトの下でMTネットワーク内の臨界パラメータを効果的に更新することができる。
  論文  参考訳（メタデータ） (2024-07-02T13:18:15Z)
• Variational Continual Test-Time Adaptation [25.262385466354253]
  事前のドリフトは、ラベルのないテストデータのみを使用するCTTA(Continuous Test-Time Adaptation)メソッドにおいて重要である。 我々はCTTAにおける不確実性を測定するための変分ベイズ的アプローチであるVCoTTAを紹介する。 3つのデータセットによる実験結果から, ドリフト前の緩和効果が示された。
  論文  参考訳（メタデータ） (2024-02-13T02:41:56Z)
• Alternate Diverse Teaching for Semi-supervised Medical Image Segmentation [62.021828104757745]
  そこで我々は,教師-学生の枠組みにおける多様な教育手法であるAD-MTを提案する。 一人の生徒モデルと2つの訓練不可能な教師モデルがあり、それは定期的に、ランダムに、別の方法で、モーメントを更新する。
  論文  参考訳（メタデータ） (2023-11-29T02:44:54Z)
• Switching Temporary Teachers for Semi-Supervised Semantic Segmentation [45.20519672287495]
  半教師付きセマンティックセグメンテーションで一般的な教師/学生のフレームワークは、主に指数的移動平均(EMA)を用いて、学生の量に基づいて教師の重みを更新する。 本稿では,学生のカップリング問題を軽減するために,2つの臨時教員を兼ねた,シンプルで効果的な方法であるデュアル教師を紹介する。
  論文  参考訳（メタデータ） (2023-10-28T08:49:16Z)
• Distantly-Supervised Named Entity Recognition with Adaptive Teacher Learning and Fine-grained Student Ensemble [56.705249154629264]
  NERモデルの堅牢性を改善するために,自己学習型教員学生フレームワークを提案する。 本稿では,2つの教員ネットワークからなる適応型教員学習を提案する。 微粒な学生アンサンブルは、教師モデルの各フラグメントを、生徒の対応するフラグメントの時間移動平均で更新し、各モデルフラグメントのノイズに対する一貫した予測を強化する。
  論文  参考訳（メタデータ） (2022-12-13T12:14:09Z)
• Reinforced Multi-Teacher Selection for Knowledge Distillation [54.72886763796232]
  知識蒸留はモデル圧縮の一般的な方法です。 現在の方法は、蒸留全体の教師モデルに固定重量を割り当てます。 既存のメソッドのほとんどは、すべての教師モデルに等しい重みを割り当てます。 本論文では,学習例の複雑性や生徒モデル能力の違いから,教師モデルとの違いを学習することで,生徒モデルの蒸留性能の向上が期待できることを考察する。
  論文  参考訳（メタデータ） (2020-12-11T08:56:39Z)
• Temporal Self-Ensembling Teacher for Semi-Supervised Object Detection [9.64328205496046]
  本稿では,半教師付き物体検出(SSOD)に焦点を当てる。 教師モデルは教師と学生の二重の役割を担っている。 SSODの授業不均衡問題は、教師から生徒への効果的な知識伝達を妨げる。
  論文  参考訳（メタデータ） (2020-07-13T01:17:25Z)
• Learning to Reweight with Deep Interactions [104.68509759134878]
  本稿では,教師モデルに内部状態を提供する改良型データ再重み付けアルゴリズムを提案する。 クリーン/ノイズラベルとニューラルマシン翻訳を用いた画像分類実験は、我々のアルゴリズムが従来の手法よりも大幅に改善されていることを実証的に実証した。
  論文  参考訳（メタデータ） (2020-07-09T09:06:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。