Fugu-MT 論文翻訳(概要): Exponential Moving Average Normalization for Self-supervised and Semi-supervised Learning

論文の概要: Exponential Moving Average Normalization for Self-supervised and Semi-supervised Learning

arxiv url: http://arxiv.org/abs/2101.08482v1
Date: Thu, 21 Jan 2021 07:45:37 GMT
ステータス: 処理完了
システム内更新日: 2021-03-21 08:07:53.292078
Title: Exponential Moving Average Normalization for Self-supervised and Semi-supervised Learning
Title（参考訳）: 自己教師型半教師型学習のための指数移動平均正規化
Authors: Zhaowei Cai, Avinash Ravichandran, Subhransu Maji, Charless Fowlkes, Zhuowen Tu, Stefano Soatto
Abstract要約: 指数移動平均正規化(EMAN)と呼ばれるバッチ正規化(BN)のプラグイン置換を提案する。統計が各バッチ内で計算される標準的なBNとは異なり、教師で使用されるEMANは、学生のBN統計から指数的な移動平均によって統計を更新する。 emanは自己教師付き学習の強力なベースラインを4-6/1-2ポイント、半教師付き学習を約7/2ポイント改善する。
参考スコア（独自算出の注目度）: 90.69256802784689
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We present a plug-in replacement for batch normalization (BN) called exponential moving average normalization (EMAN), which improves the performance of existing student-teacher based self- and semi-supervised learning techniques. Unlike the standard BN, where the statistics are computed within each batch, EMAN, used in the teacher, updates its statistics by exponential moving average from the BN statistics of the student. This design reduces the intrinsic cross-sample dependency of BN and enhance the generalization of the teacher. EMAN improves strong baselines for self-supervised learning by 4-6/1-2 points and semi-supervised learning by about 7/2 points, when 1%/10% supervised labels are available on ImageNet. These improvements are consistent across methods, network architectures, training duration, and datasets, demonstrating the general effectiveness of this technique.
Abstract（参考訳）: 本稿では,既存の学生教師による自己教師型および半教師型学習手法の性能を向上させるために,指数的移動平均正規化(eman)と呼ばれるバッチ正規化(bn)のプラグイン置換を提案する。統計が各バッチ内で計算される標準的なBNとは異なり、教師で使用されるEMANは、学生のBN統計から指数的な移動平均によって統計を更新する。この設計は、BNの内在的なクロスサンプル依存性を減らし、教師の一般化を促進する。 emanは自己教師付き学習の強力なベースラインを4-6/1-2ポイント、半教師付き学習を約7/2ポイント改善する。これらの改善は、メソッド、ネットワークアーキテクチャ、トレーニング期間、データセット間で一貫性があり、この技術の一般的な有効性を示している。