論文の概要: Spatial Ensemble: a Novel Model Smoothing Mechanism for Student-Teacher
Framework
- arxiv url: http://arxiv.org/abs/2110.01253v1
- Date: Mon, 4 Oct 2021 08:45:18 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-05 15:31:25.850611
- Title: Spatial Ensemble: a Novel Model Smoothing Mechanism for Student-Teacher
Framework
- Title(参考訳): 空間的アンサンブル:学生教師のための新しいモデル平滑化機構
- Authors: Tengteng Huang, Yifan Sun, Xun Wang, Haotian Yao, Chi Zhang
- Abstract要約: 空間アンサンブル(Spatial Ensemble)は、時間移動平均と平行して平滑化する新しいモデルである。
歴史的学生モデルの異なる断片を統一に縫い付け、「空間的アンサンブル」効果をもたらす。
彼らの統合はSpatial-Temporal Smoothingと呼ばれ、学生-教師の学習フレームワークに一般的な(時には重要な)改善をもたらす。
- 参考スコア(独自算出の注目度): 39.44523908176695
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Model smoothing is of central importance for obtaining a reliable teacher
model in the student-teacher framework, where the teacher generates surrogate
supervision signals to train the student. A popular model smoothing method is
the Temporal Moving Average (TMA), which continuously averages the teacher
parameters with the up-to-date student parameters. In this paper, we propose
"Spatial Ensemble", a novel model smoothing mechanism in parallel with TMA.
Spatial Ensemble randomly picks up a small fragment of the student model to
directly replace the corresponding fragment of the teacher model.
Consequentially, it stitches different fragments of historical student models
into a unity, yielding the "Spatial Ensemble" effect. Spatial Ensemble obtains
comparable student-teacher learning performance by itself and demonstrates
valuable complementarity with temporal moving average. Their integration, named
Spatial-Temporal Smoothing, brings general (sometimes significant) improvement
to the student-teacher learning framework on a variety of state-of-the-art
methods. For example, based on the self-supervised method BYOL, it yields +0.9%
top-1 accuracy improvement on ImageNet, while based on the semi-supervised
approach FixMatch, it increases the top-1 accuracy by around +6% on CIFAR-10
when only few training labels are available. Codes and models are available at:
https://github.com/tengteng95/Spatial_Ensemble.
- Abstract(参考訳): モデルスムーシングは、教師が教師の指導のために監視信号を生成する学生-教師の枠組みにおいて、信頼性の高い教師モデルを得る上で重要である。
一般的なモデル平滑化手法は時間移動平均(tma)であり、教師のパラメータと最新の生徒パラメータを連続的に平均する。
本稿では,新しいモデル平滑化機構であるSpatial EnsembleをTMAと並列に提案する。
空間的アンサンブルは、生徒モデルの小さな断片をランダムにピックアップして、対応する教師モデルの断片を直接置き換えます。
結果として、異なる歴史学生モデルの断片を統一に縫い付け、「空間的アンサンブル」効果をもたらす。
空間的アンサンブルは、それと同等の学生・教師の学習性能を獲得し、時間的移動平均と価値ある相補性を示す。
彼らの統合は、Spatial-Temporal Smoothingと名付けられ、様々な最先端の手法で学生の学習フレームワークに一般的な(時には重要な)改善をもたらす。
例えば、byolの自己教師ありメソッドに基づいてimagenetで+0.9% top-1精度が向上する一方で、半教師付きアプローチフィクスマッチに基づいて、わずかのトレーニングラベルが利用可能な場合、cifar-10でtop-1精度が約+6%向上する。
コードとモデルは、https://github.com/tengteng95/Spatial_Ensemble.comで入手できる。
関連論文リスト
- Periodically Exchange Teacher-Student for Source-Free Object Detection [7.222926042027062]
Source-free Object Detection (SFOD) は、ソースドメインデータがない場合に、未ラベルのターゲットドメインデータにソース検出器を適用することを目的としている。
ほとんどのSFOD法は、学生モデルを1つの教師モデルのみで指導する平均教師(MT)フレームワークを用いて、同じ自己学習パラダイムに従っている。
静的教師, 動的教師, 学生モデルからなる複数教師の枠組みを導入する, シンプルながら斬新な手法であるPETS法を提案する。
論文 参考訳(メタデータ) (2023-11-23T11:30:54Z) - Switching Temporary Teachers for Semi-Supervised Semantic Segmentation [45.20519672287495]
半教師付きセマンティックセグメンテーションで一般的な教師/学生のフレームワークは、主に指数的移動平均(EMA)を用いて、学生の量に基づいて教師の重みを更新する。
本稿では,学生のカップリング問題を軽減するために,2つの臨時教員を兼ねた,シンプルで効果的な方法であるデュアル教師を紹介する。
論文 参考訳(メタデータ) (2023-10-28T08:49:16Z) - EmbedDistill: A Geometric Knowledge Distillation for Information
Retrieval [83.79667141681418]
大規模なニューラルモデル(トランスフォーマーなど)は、情報検索(IR)のための最先端のパフォーマンスを達成する
本研究では,大規模教師モデルで学習したクエリとドキュメント間の相対的幾何を利用した新しい蒸留手法を提案する。
提案手法は, 両エンコーダ (DE) とクロスエンコーダ (CE) の2種類の教師モデルから, 95~97%の教師性能を維持できる1/10の非対称な学生への蒸留に成功した。
論文 参考訳(メタデータ) (2023-01-27T22:04:37Z) - Distantly-Supervised Named Entity Recognition with Adaptive Teacher
Learning and Fine-grained Student Ensemble [56.705249154629264]
NERモデルの堅牢性を改善するために,自己学習型教員学生フレームワークを提案する。
本稿では,2つの教員ネットワークからなる適応型教員学習を提案する。
微粒な学生アンサンブルは、教師モデルの各フラグメントを、生徒の対応するフラグメントの時間移動平均で更新し、各モデルフラグメントのノイズに対する一貫した予測を強化する。
論文 参考訳(メタデータ) (2022-12-13T12:14:09Z) - Exploring The Role of Mean Teachers in Self-supervised Masked
Auto-Encoders [64.03000385267339]
マスク付き画像モデリング(MIM)は視覚変換器を用いた視覚表現の自己教師型学習(SSL)の一般的な戦略となっている。
簡単なSSL方式であるRC-MAE(Restruction-Consistent Masked Auto-Encoder)を提案する。
RC-MAEは、事前学習中に最先端の自己蒸留法よりも早く収束し、メモリ使用量の削減を必要とする。
論文 参考訳(メタデータ) (2022-10-05T08:08:55Z) - ST-CoNAL: Consistency-Based Acquisition Criterion Using Temporal
Self-Ensemble for Active Learning [7.94190631530826]
トレーニングプロセスの効率を最大化するためには、アクティブラーニング(AL)がますます重要になっている。
学生教師の一貫性に基づくALアルゴリズム(ST-CoNAL)を提案する。
CIFAR-10、CIFAR-100、Caltech-256、Tiny ImageNetの画像分類タスクに対して行われた実験は、提案したSTCoNALが既存の取得方法よりも大幅に優れた性能を示した。
論文 参考訳(メタデータ) (2022-07-05T17:25:59Z) - Bag of Instances Aggregation Boosts Self-supervised Learning [122.61914701794296]
教師なし学習のための簡易かつ効果的な蒸留戦略を提案する。
BINGOと呼ばれる本手法は,教師が学習した関係を学生に伝達することを目的としている。
BINGOは、小規模モデルにおける最先端の新たなパフォーマンスを実現する。
論文 参考訳(メタデータ) (2021-07-04T17:33:59Z) - Graph Consistency based Mean-Teaching for Unsupervised Domain Adaptive
Person Re-Identification [54.58165777717885]
本論文では,教師ネットワークと学生ネットワークの間にGCC(Graph Consistency Constraint)を構築するためのGCMT(Graph Consistency Based Mean-Teaching)手法を提案する。
マーケット-1501、デュークMTMCreID、MSMT17の3つのデータセットの実験により、提案されたGCMTは最先端の手法よりも明確なマージンで優れていることが示された。
論文 参考訳(メタデータ) (2021-05-11T04:09:49Z) - Temporal Self-Ensembling Teacher for Semi-Supervised Object Detection [9.64328205496046]
本稿では,半教師付き物体検出(SSOD)に焦点を当てる。
教師モデルは教師と学生の二重の役割を担っている。
SSODの授業不均衡問題は、教師から生徒への効果的な知識伝達を妨げる。
論文 参考訳(メタデータ) (2020-07-13T01:17:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。