論文の概要: Momentum Pseudo-Labeling for Semi-Supervised Speech Recognition

• arxiv url: http://arxiv.org/abs/2106.08922v1
• Date: Wed, 16 Jun 2021 16:24:55 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-17 17:05:46.423405
• Title: Momentum Pseudo-Labeling for Semi-Supervised Speech Recognition
• Title（参考訳）: 半教師付き音声認識のためのモーメントム擬似ラベル
• Authors: Yosuke Higuchi, Niko Moritz, Jonathan Le Roux, Takaaki Hori
• Abstract要約: 本稿では,半教師付き音声認識のための簡易かつ効果的な手法として,モーメント擬似ラベル(MPL)を提案する。 MPLは、平均的な教師メソッドにインスパイアされて、相互に相互作用し、学習するオンラインとオフラインの2つのモデルで構成されている。 実験の結果,MPLはベースモデルよりも効果的に改善され,様々な半教師付きシナリオに拡張可能であることが示された。
• 参考スコア（独自算出の注目度）: 55.362258027878966
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pseudo-labeling (PL) has been shown to be effective in semi-supervised automatic speech recognition (ASR), where a base model is self-trained with pseudo-labels generated from unlabeled data. While PL can be further improved by iteratively updating pseudo-labels as the model evolves, most of the previous approaches involve inefficient retraining of the model or intricate control of the label update. We present momentum pseudo-labeling (MPL), a simple yet effective strategy for semi-supervised ASR. MPL consists of a pair of online and offline models that interact and learn from each other, inspired by the mean teacher method. The online model is trained to predict pseudo-labels generated on the fly by the offline model. The offline model maintains a momentum-based moving average of the online model. MPL is performed in a single training process and the interaction between the two models effectively helps them reinforce each other to improve the ASR performance. We apply MPL to an end-to-end ASR model based on the connectionist temporal classification. The experimental results demonstrate that MPL effectively improves over the base model and is scalable to different semi-supervised scenarios with varying amounts of data or domain mismatch.
• Abstract（参考訳）: 擬似ラベル(pl)は、半教師付き自動音声認識(asr)において有効であることが示されており、ベースモデルにはラベルなしデータから生成された擬似ラベルが自己学習される。 モデルの進化に伴って擬似ラベルを反復的に更新することでplをさらに改善することができるが、以前のアプローチのほとんどは、モデルの非効率な再トレーニングやラベル更新の複雑な制御を含む。 半教師付きASRのための簡易かつ効果的な戦略である運動量擬似ラベル(MPL)を提案する。 MPLは、平均的な教師メソッドにインスパイアされて、相互に相互作用し、学習するオンラインとオフラインの2つのモデルで構成されている。 オンラインモデルは、オフラインモデルによってフライで生成された擬似ラベルを予測するように訓練されている。 オフラインモデルはオンラインモデルの運動量ベース移動平均を維持している。 MPLは1つのトレーニングプロセスで実行され、2つのモデル間の相互作用はASR性能を改善するために互いに強化するのに効果的である。 MPLを接続型時間分類に基づくエンドツーエンドのASRモデルに適用する。 実験の結果、mplはベースモデルよりも効果的に改善され、データ量やドメインミスマッチの異なる半教師ありシナリオにスケーラブルであることが判明した。

関連論文リスト

• EMR-Merging: Tuning-Free High-Performance Model Merging [55.03509900949149]
  Elect, Mask & Rescale-Merging (EMR-Merging) は既存のマージ手法と比較して優れた性能を示した。 EMR-Mergingはチューニング不要なので、データアベイラビリティや追加のトレーニングは必要ありません。
  論文  参考訳（メタデータ） (2024-05-23T05:25:45Z)
• Exploring Beyond Logits: Hierarchical Dynamic Labeling Based on Embeddings for Semi-Supervised Classification [49.09505771145326]
  モデル予測に依存しない階層型動的ラベル付け(HDL)アルゴリズムを提案し,画像埋め込みを用いてサンプルラベルを生成する。 本手法は,半教師付き学習における擬似ラベル生成のパラダイムを変える可能性がある。
  論文  参考訳（メタデータ） (2024-04-26T06:00:27Z)
• Semi-Supervised Class-Agnostic Motion Prediction with Pseudo Label Regeneration and BEVMix [59.55173022987071]
  クラス非依存動作予測のための半教師あり学習の可能性について検討する。 我々のフレームワークは一貫性に基づく自己学習パラダイムを採用しており、ラベルのないデータからモデルを学習することができる。 本手法は,弱さと完全教師付き手法に匹敵する性能を示す。
  論文  参考訳（メタデータ） (2023-12-13T09:32:50Z)
• AdaMerging: Adaptive Model Merging for Multi-Task Learning [68.75885518081357]
  本稿では,Adaptive Model Merging (AdaMerging)と呼ばれる革新的な手法を紹介する。 本来のトレーニングデータに頼ることなく、タスクレベルでも階層的にも、モデルマージの係数を自律的に学習することを目指している。 AdaMergingは、現在の最先端のタスク演算のマージ方式と比較すると、パフォーマンスが11%向上している。
  論文  参考訳（メタデータ） (2023-10-04T04:26:33Z)
• Balancing Efficiency vs. Effectiveness and Providing Missing Label Robustness in Multi-Label Stream Classification [3.97048491084787]
  ニューラルネットワークを用いた高次元多ラベル分類手法を提案する。 本モデルは,非定常環境に適した選択的なドリフト適応機構を用いる。 我々は,単純で効果的な計算手法を用いて,ラベルを欠いた環境に適応する。
  論文  参考訳（メタデータ） (2023-10-01T13:23:37Z)
• Active Self-Semi-Supervised Learning for Few Labeled Samples [4.713652957384158]
  アノテーションを限定した深層モデルのトレーニングは、さまざまな実践領域に適用する上で、大きな課題となる。 我々は,シンプルで効果的な自己半教師付き学習(AS3L)を提案する。 擬似ラベル(PPL)を用いたAS3Lブートストラップ半教師付きモデル 我々は,正確なPPLを得るために,能動的学習とラベル伝搬戦略を開発した。
  論文  参考訳（メタデータ） (2022-03-09T07:45:05Z)
• Self-Damaging Contrastive Learning [92.34124578823977]
  ラベルのないデータは一般に不均衡であり、長い尾の分布を示す。 本稿では,クラスを知らずに表現学習を自動的にバランスをとるための,自己学習コントラスト学習という原則的枠組みを提案する。 実験の結果,SDCLRは全体としての精度だけでなく,バランス性も著しく向上することがわかった。
  論文  参考訳（メタデータ） (2021-06-06T00:04:49Z)
• Adaptive Consistency Regularization for Semi-Supervised Transfer Learning [31.66745229673066]
  我々は,半教師付き学習と移動学習を共同で検討し,より実践的で競争的なパラダイムへと導いた。 事前学習した重みとラベルなしの目標サンプルの両方の価値をよりよく活用するために、適応整合正則化を導入する。 提案手法は,Pseudo Label,Mean Teacher,MixMatchといった,最先端の半教師付き学習技術より優れた適応整合性正規化を実現する。
  論文  参考訳（メタデータ） (2021-03-03T05:46:39Z)
• SlimIPL: Language-Model-Free Iterative Pseudo-Labeling [32.39921686482643]
  Iterative Pseudo-Labeling (IPL) は、モデルが学習するにつれて、擬似ラベルを使って連続的に1つのモデルをトレーニングする。 我々は、このアプローチをLanguage-Model-Free IPL (slimIPL)と呼び、CTCベースのモデルによる低リソース設定のためのトレーニングセットを提供する。
  論文  参考訳（メタデータ） (2020-10-22T08:36:33Z)
• Variational Model-based Policy Optimization [34.80171122943031]
  モデルベース強化学習(RL)アルゴリズムにより、実システムとの相互作用から得られたデータとモデル生成データを組み合わせ、RLにおけるデータ効率問題を緩和する。 本稿では,ログライクリフのログライクリフの変動的下界としての目的関数を提案し,モデルとポリシーを共同で学習し,改善する。 多くの連続制御タスクに関する実験により、モデルベース(Eステップ)アルゴリズムはより複雑であるにもかかわらず、浮動小数点数モデルベースポリシー最適化(VMBPO)と呼ばれるアルゴリズムの方がよりサンプリング効率が高いことが示された。
  論文  参考訳（メタデータ） (2020-06-09T18:30:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。