論文の概要: Kaizen: Continuously improving teacher using Exponential Moving Average for semi-supervised speech recognition

• arxiv url: http://arxiv.org/abs/2106.07759v1
• Date: Mon, 14 Jun 2021 21:15:36 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-16 15:09:39.514845
• Title: Kaizen: Continuously improving teacher using Exponential Moving Average for semi-supervised speech recognition
• Title（参考訳）: カイゼン:半教師型音声認識における指数移動平均を用いた教師の継続的改善
• Authors: Vimal Manohar, Tatiana Likhomanenko, Qiantong Xu, Wei-Ning Hsu, Ronan Collobert, Yatharth Saraf, Geoffrey Zweig, Abdelrahman Mohamed
• Abstract要約: 提案手法は,生徒モデルパラメータの指数移動平均として更新された教師モデルを用いている。 提案手法は、標準教師教育よりも10%以上の単語誤り率(WER)が減少することを示す。
• 参考スコア（独自算出の注目度）: 41.78509185887238
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we introduce the Kaizen framework that uses a continuously improving teacher to generate pseudo-labels for semi-supervised training. The proposed approach uses a teacher model which is updated as the exponential moving average of the student model parameters. This can be seen as a continuous version of the iterative pseudo-labeling approach for semi-supervised training. It is applicable for different training criteria, and in this paper we demonstrate it for frame-level hybrid hidden Markov model - deep neural network (HMM-DNN) models and sequence-level connectionist temporal classification (CTC) based models. The proposed approach shows more than 10% word error rate (WER) reduction over standard teacher-student training and more than 50\% relative WER reduction over 10 hour supervised baseline when using large scale realistic unsupervised public videos in UK English and Italian languages.
• Abstract（参考訳）: 本稿では,教師を継続的に改良し,擬似ラベルを生成するカイゼンフレームワークについて紹介する。 提案手法は,生徒モデルパラメータの指数移動平均として更新された教師モデルを用いている。 これは、半教師付きトレーニングのための反復的擬似ラベルアプローチの継続的バージョンと見なすことができる。 本稿では,フレームレベルハイブリッド型隠れマルコフモデル深層ニューラルネットワーク(hmm-dnn)モデルとシーケンスレベル接続主義時間分類(ctc)モデルについて述べる。 提案手法では,英国英語とイタリア語で大規模な非教師なし公開ビデオを用いた場合,標準的な教師・教師訓練よりも10%以上の単語誤り率 (wer) 削減と10時間以上監督ベースラインを50%以上削減した。

関連論文リスト

• PMT: Progressive Mean Teacher via Exploring Temporal Consistency for Semi-Supervised Medical Image Segmentation [51.509573838103854]
  医用画像セグメンテーションのための半教師付き学習フレームワークであるプログレッシブ平均教師(PMT)を提案する。 我々のPMTは、トレーニングプロセスにおいて、堅牢で多様な特徴を学習することで、高忠実な擬似ラベルを生成する。 CT と MRI の異なる2つのデータセットに対する実験結果から,本手法が最先端の医用画像分割法より優れていることが示された。
  論文  参考訳（メタデータ） (2024-09-08T15:02:25Z)
• Learning from Future: A Novel Self-Training Framework for Semantic Segmentation [33.66516999361252]
  自己学習は半教師あり学習において大きな可能性を秘めている。 本稿では,モデルが未来から学べる,新たな自己学習戦略を提案する。 我々は,幅広い環境下でのアプローチの有効性と優位性を実験的に実証した。
  論文  参考訳（メタデータ） (2022-09-15T01:39:46Z)
• Adapting the Mean Teacher for keypoint-based lung registration under geometric domain shifts [75.51482952586773]
  ディープニューラルネットワークは一般的に、ラベル付きトレーニングデータが多く必要であり、トレーニングデータとテストデータの間のドメインシフトに弱い。 本稿では,ラベル付きソースからラベル付きターゲットドメインへのモデルの適用により,画像登録のための幾何学的領域適応手法を提案する。 本手法は,ベースラインモデルの精度を目標データに適合させながら,ベースラインモデルの50%/47%を継続的に改善する。
  論文  参考訳（メタデータ） (2022-07-01T12:16:42Z)
• Language Models in the Loop: Incorporating Prompting into Weak Supervision [11.10422546502386]
  本稿では,ラベル付きトレーニングデータに制限がある場合に,大規模事前学習言語モデルを新しいタスクに適用するための新しい戦略を提案する。 典型的にゼロショットや少数ショットの方法でモデルを適用する代わりに、弱い監督フレームワークにおける関数のラベル付けの基盤としてモデルを扱います。
  論文  参考訳（メタデータ） (2022-05-04T20:42:40Z)
• Momentum Pseudo-Labeling for Semi-Supervised Speech Recognition [55.362258027878966]
  本稿では,半教師付き音声認識のための簡易かつ効果的な手法として,モーメント擬似ラベル(MPL)を提案する。 MPLは、平均的な教師メソッドにインスパイアされて、相互に相互作用し、学習するオンラインとオフラインの2つのモデルで構成されている。 実験の結果,MPLはベースモデルよりも効果的に改善され,様々な半教師付きシナリオに拡張可能であることが示された。
  論文  参考訳（メタデータ） (2021-06-16T16:24:55Z)
• Unsupervised Class-Incremental Learning Through Confusion [0.4604003661048266]
  入ってくるデータを新しいクラスとして訓練することによるネットワークの混乱を生かした新規性検出手法を提案する。 この検出方法中にクラスアンバランスを組み込むことで、パフォーマンスが大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2021-04-09T15:58:43Z)
• Exponential Moving Average Normalization for Self-supervised and Semi-supervised Learning [90.69256802784689]
  指数移動平均正規化(EMAN)と呼ばれるバッチ正規化(BN)のプラグイン置換を提案する。 統計が各バッチ内で計算される標準的なBNとは異なり、教師で使用されるEMANは、学生のBN統計から指数的な移動平均によって統計を更新する。 emanは自己教師付き学習の強力なベースラインを4-6/1-2ポイント、半教師付き学習を約7/2ポイント改善する。
  論文  参考訳（メタデータ） (2021-01-21T07:45:37Z)
• Self-Supervised Contrastive Learning for Unsupervised Phoneme Segmentation [37.054709598792165]
  このモデルは畳み込みニューラルネットワークであり、生波形上で直接動作する。 ノイズコントラスト推定原理を用いて信号のスペクトル変化を同定する。 テスト時には、モデル出力にピーク検出アルゴリズムを適用して最終境界を生成する。
  論文  参考訳（メタデータ） (2020-07-27T12:10:21Z)
• Learning to Reweight with Deep Interactions [104.68509759134878]
  本稿では,教師モデルに内部状態を提供する改良型データ再重み付けアルゴリズムを提案する。 クリーン/ノイズラベルとニューラルマシン翻訳を用いた画像分類実験は、我々のアルゴリズムが従来の手法よりも大幅に改善されていることを実証的に実証した。
  論文  参考訳（メタデータ） (2020-07-09T09:06:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。