論文の概要: Momentum^2 Teacher: Momentum Teacher with Momentum Statistics for Self-Supervised Learning

• arxiv url: http://arxiv.org/abs/2101.07525v1
• Date: Tue, 19 Jan 2021 09:27:03 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-23 04:57:57.213708
• Title: Momentum^2 Teacher: Momentum Teacher with Momentum Statistics for Self-Supervised Learning
• Title（参考訳）: Momentum^2 Teacher: Momentum Statistics for Self-Supervised Learning
• Authors: Zeming Li, Songtao Liu, Jian Sun
• Abstract要約: 学生教師による自己指導型学習のための新しいアプローチであるMomentum$2$ Teacherを提案する。 教師の体重は生徒の運動量更新であり、教師のBN統計は歴史上の人々の運動量更新である。 実装と事前トレーニングされたモデルはgithubで提供される予定です。
• 参考スコア（独自算出の注目度）: 27.158060986874155
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we present a novel approach, Momentum$^2$ Teacher, for student-teacher based self-supervised learning. The approach performs momentum update on both network weights and batch normalization (BN) statistics. The teacher's weight is a momentum update of the student, and the teacher's BN statistics is a momentum update of those in history. The Momentum$^2$ Teacher is simple and efficient. It can achieve the state of the art results (74.5\%) under ImageNet linear evaluation protocol using small-batch size(\eg, 128), without requiring large-batch training on special hardware like TPU or inefficient across GPU operation (\eg, shuffling BN, synced BN). Our implementation and pre-trained models will be given on GitHub\footnote{https://github.com/zengarden/momentum2-teacher}.
• Abstract（参考訳）: 本稿では,学生教師による自己指導型学習のための新しいアプローチ,Momentum$^2$ Teacherを提案する。 このアプローチは、ネットワークウェイトとバッチ正規化(BN)統計の両方でモーメント更新を行う。 教師の体重は生徒の運動量の変化であり、教師のBN統計は歴史における運動量の変化である。 Momentum$^2$ Teacherはシンプルで効率的です。 これは、小さなバッチサイズ(\eg, 128)を使用して、TPUのような特別なハードウェアでの大規模なバッチトレーニングやGPU操作間の非効率(\eg, shuffling BN, synced BN)を必要とせずに、ImageNetリニア評価プロトコル(74.5\%)下での成果を達成することができる。 実装と事前トレーニングされたモデルはgithub\footnote{https://github.com/zengarden/momentum2-teacher}で提供される。

関連論文リスト

• Efficient Training with Denoised Neural Weights [65.14892033932895]
  この研究は、初期化のために神経重みを合成するウェイトジェネレータを構築するための新しい一歩を踏み出した。 本稿では,モデル重みの収集を容易にするために,GANを用いた画像間翻訳タスクを例に挙げる。 拡散モデルによって予測される重み付き画像翻訳モデルを初期化することにより、トレーニングは43.3秒しか必要としない。
  論文  参考訳（メタデータ） (2024-07-16T17:59:42Z)
• Representation Learning Using a Single Forward Pass [0.0]
  Solo Pass Embedded Learning Algorithm (SPELA)は、エッジAIデバイスにおけるトレーニングおよび推論アプリケーションの主要な候補である。 SPELAは雑音の多いデータセット上で非線形分類を行うことができることを示す。 また,MNIST,KMNIST,Fashion MNISTにおいて,SPELAの初歩的・画期的な学習能力を示す。
  論文  参考訳（メタデータ） (2024-02-15T07:47:10Z)
• Switching Temporary Teachers for Semi-Supervised Semantic Segmentation [45.20519672287495]
  半教師付きセマンティックセグメンテーションで一般的な教師/学生のフレームワークは、主に指数的移動平均(EMA)を用いて、学生の量に基づいて教師の重みを更新する。 本稿では,学生のカップリング問題を軽減するために,2つの臨時教員を兼ねた,シンプルで効果的な方法であるデュアル教師を紹介する。
  論文  参考訳（メタデータ） (2023-10-28T08:49:16Z)
• UNIKD: UNcertainty-filtered Incremental Knowledge Distillation for Neural Implicit Representation [48.49860868061573]
  最近の神経暗黙表現(NIR)は、3次元再構成と新しいビュー合成のタスクにおいて大きな成功を収めている。 それらは、異なるカメラビューからのシーンのイメージを、一度のトレーニングで利用できるようにする必要がある。 これは特に大規模なシーンと限られたデータストレージを持つシナリオでは高価である。 我々は、破滅的な問題を緩和するために、学生-教師の枠組みを設計する。
  論文  参考訳（メタデータ） (2022-12-21T11:43:20Z)
• Kaizen: Continuously improving teacher using Exponential Moving Average for semi-supervised speech recognition [41.78509185887238]
  提案手法は,生徒モデルパラメータの指数移動平均として更新された教師モデルを用いている。 提案手法は、標準教師教育よりも10%以上の単語誤り率(WER)が減少することを示す。
  論文  参考訳（メタデータ） (2021-06-14T21:15:36Z)
• Exponential Moving Average Normalization for Self-supervised and Semi-supervised Learning [90.69256802784689]
  指数移動平均正規化(EMAN)と呼ばれるバッチ正規化(BN)のプラグイン置換を提案する。 統計が各バッチ内で計算される標準的なBNとは異なり、教師で使用されるEMANは、学生のBN統計から指数的な移動平均によって統計を更新する。 emanは自己教師付き学習の強力なベースラインを4-6/1-2ポイント、半教師付き学習を約7/2ポイント改善する。
  論文  参考訳（メタデータ） (2021-01-21T07:45:37Z)
• Double Forward Propagation for Memorized Batch Normalization [68.34268180871416]
  バッチ正規化(BN)は、ディープニューラルネットワーク(DNN)の設計における標準コンポーネントである。 より正確でロバストな統計値を得るために,複数の最近のバッチを考慮に入れた記憶型バッチ正規化(MBN)を提案する。 関連する手法と比較して、提案したMBNはトレーニングと推論の両方において一貫した振る舞いを示す。
  論文  参考訳（メタデータ） (2020-10-10T08:48:41Z)
• Learning to Reweight with Deep Interactions [104.68509759134878]
  本稿では,教師モデルに内部状態を提供する改良型データ再重み付けアルゴリズムを提案する。 クリーン/ノイズラベルとニューラルマシン翻訳を用いた画像分類実験は、我々のアルゴリズムが従来の手法よりも大幅に改善されていることを実証的に実証した。
  論文  参考訳（メタデータ） (2020-07-09T09:06:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。