論文の概要: Continuous Pseudo-Labeling from the Start

• arxiv url: http://arxiv.org/abs/2210.08711v1
• Date: Mon, 17 Oct 2022 03:04:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-18 20:32:59.396435
• Title: Continuous Pseudo-Labeling from the Start
• Title（参考訳）: 最初からの連続擬似ラベル
• Authors: Dan Berrebbi, Ronan Collobert, Samy Bengio, Navdeep Jaitly, Tatiana Likhomanenko
• Abstract要約: 自己学習(ST)は、ラベルのないデータを活用することに成功し、自動音声認識(ASR)コミュニティに大きな関心を呼んだ。 ASRにおける学習過程において,PLの進化を動的に制御することで,これを実現できることを示す。
• 参考スコア（独自算出の注目度）: 29.472472683376115
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-training (ST), or pseudo-labeling has sparked significant interest in the automatic speech recognition (ASR) community recently because of its success in harnessing unlabeled data. Unlike prior semi-supervised learning approaches that relied on iteratively regenerating pseudo-labels (PLs) from a trained model and using them to train a new model, recent state-of-the-art methods perform `continuous training' where PLs are generated using a very recent version of the model being trained. Nevertheless, these approaches still rely on bootstrapping the ST using an initial supervised learning phase where the model is trained on labeled data alone. We believe this has the potential for over-fitting to the labeled dataset in low resource settings and that ST from the start of training should reduce over-fitting. In this paper we show how we can do this by dynamically controlling the evolution of PLs during the training process in ASR. To the best of our knowledge, this is the first study that shows the feasibility of generating PLs from the very start of the training. We are able to achieve this using two techniques that avoid instabilities which lead to degenerate models that do not generalize. Firstly, we control the evolution of PLs through a curriculum that uses the online changes in PLs to control the membership of the cache of PLs and improve generalization. Secondly, we find that by sampling transcriptions from the predictive distribution, rather than only using the best transcription, we can stabilize training further. With these techniques, our ST models match prior works without an external language model.
• Abstract（参考訳）: 自己学習(ST)や擬似ラベル付けは、最近、ラベルなしデータの活用の成功により、自動音声認識(ASR)コミュニティに大きな関心を喚起している。 訓練されたモデルから擬似ラベル(PL)を反復的に再生し、新しいモデルを訓練する従来の半教師あり学習手法とは異なり、最近の最先端の手法では、訓練中のモデルのごく最近のバージョンを使用してPLを生成する「連続的な訓練」が行われる。 それでもこれらのアプローチは、モデルがラベル付きデータだけでトレーニングされる初期教師付き学習フェーズを使用してSTをブートストラップすることに依存している。 これは低リソース設定でラベル付きデータセットに過剰フィッティングする可能性があり、トレーニング開始時のstはオーバーフィッティングを削減すべきであると考えています。 本稿では,ASRにおける学習過程におけるPLの進化を動的に制御することで,これを実現できることを示す。 私たちの知る限りでは、トレーニングの開始当初からPLを生成する可能性を示す最初の研究である。 一般化しないモデルを退化させる不安定性を回避する2つの手法を用いてこれを実現できる。 まず、PLのオンライン変更を利用してPLのキャッシュのメンバシップを制御し、一般化を改善するカリキュラムを通じてPLの進化を制御する。 第二に、予測分布から書き起こしをサンプリングすることで、最高の書き起こしだけでなく、さらに訓練を安定させることが分かる。 これらの手法により、我々のSTモデルは外部言語モデルなしで以前の作業と一致します。

関連論文リスト

• CLIP with Generative Latent Replay: a Strong Baseline for Incremental Learning [17.614980614656407]
  インクリメンタル・プロンプト学習のための連続的生成学習を提案する。 変分オートエンコーダを用いてクラス条件分布を学習する。 このような生成的リプレイアプローチは、ゼロショット機能を改善しつつ、新しいタスクに適応できることを示す。
  論文  参考訳（メタデータ） (2024-07-22T16:51:28Z)
• An Emulator for Fine-Tuning Large Language Models using Small Language Models [91.02498576056057]
  本研究では,異なるスケールでの事前学習と微調整の結果を近似する分布から,エミュレート・ファインチューニング(EFT)を原理的かつ実用的なサンプリング法として導入する。 EFTは、追加トレーニングを伴わずに、有益性や無害性といった競合する行動特性をテスト時間で調整できることを示す。 最後に、LMアップスケーリングと呼ばれるエミュレートされたファインチューニングの特殊な場合において、小さなファインチューニングモデルと組み合わせることで、大きな事前学習モデルのリソース集約的なファインチューニングを回避する。
  論文  参考訳（メタデータ） (2023-10-19T17:57:16Z)
• PILOT: A Pre-Trained Model-Based Continual Learning Toolbox [71.63186089279218]
  本稿では,PILOTとして知られるモデルベース連続学習ツールボックスについて紹介する。 一方、PILOTはL2P、DualPrompt、CODA-Promptといった事前学習モデルに基づいて、最先端のクラスインクリメンタル学習アルゴリズムを実装している。 一方、PILOTは、事前学習されたモデルの文脈に典型的なクラス増分学習アルゴリズムを適合させ、それらの効果を評価する。
  論文  参考訳（メタデータ） (2023-09-13T17:55:11Z)
• Progressive Feature Adjustment for Semi-supervised Learning from Pretrained Models [39.42802115580677]
  半教師付き学習(SSL)はラベル付きデータとラベルなしデータの両方を利用して予測モデルを構築することができる。 近年の文献では、事前訓練されたモデルで最先端のSSLを適用しても、トレーニングデータの潜在能力を最大限に発揮できないことが示唆されている。 本稿では,ラベルの誤りに敏感でない特徴抽出器を更新するために,非ラベルデータから擬似ラベルを使用することを提案する。
  論文  参考訳（メタデータ） (2023-09-09T01:57:14Z)
• Self-Distillation for Further Pre-training of Transformers [83.84227016847096]
  我々は、さらなる事前学習段階の正則化として自己蒸留を提案する。 画像およびテキスト分類タスクのための様々なベンチマークデータセットにおける自己蒸留の有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2022-09-30T02:25:12Z)
• Learning from Future: A Novel Self-Training Framework for Semantic Segmentation [33.66516999361252]
  自己学習は半教師あり学習において大きな可能性を秘めている。 本稿では,モデルが未来から学べる,新たな自己学習戦略を提案する。 我々は,幅広い環境下でのアプローチの有効性と優位性を実験的に実証した。
  論文  参考訳（メタデータ） (2022-09-15T01:39:46Z)
• Momentum Pseudo-Labeling for Semi-Supervised Speech Recognition [55.362258027878966]
  本稿では,半教師付き音声認識のための簡易かつ効果的な手法として,モーメント擬似ラベル(MPL)を提案する。 MPLは、平均的な教師メソッドにインスパイアされて、相互に相互作用し、学習するオンラインとオフラインの2つのモデルで構成されている。 実験の結果,MPLはベースモデルよりも効果的に改善され,様々な半教師付きシナリオに拡張可能であることが示された。
  論文  参考訳（メタデータ） (2021-06-16T16:24:55Z)
• Meta-Learned Attribute Self-Gating for Continual Generalized Zero-Shot Learning [82.07273754143547]
  トレーニング中に見られないカテゴリにモデルを一般化するためのメタ連続ゼロショット学習(MCZSL)アプローチを提案する。 属性の自己決定とスケールしたクラス正規化をメタラーニングベースのトレーニングと組み合わせることで、最先端の成果を上回ることができるのです。
  論文  参考訳（メタデータ） (2021-02-23T18:36:14Z)
• Two-phase Pseudo Label Densification for Self-training based Domain Adaptation [93.03265290594278]
  TPLDと呼ばれる,新規な二相擬似ラベル高密度化フレームワークを提案する。 第1フェーズでは,スライディングウインドウ投票を用いて,画像内の内在的空間相関を利用して,自信のある予測を広める。 第2フェーズでは,信頼度に基づく容易な分類を行う。 トレーニングプロセスの容易化と騒音予測の回避を目的として,ブートストラップ機構の導入を行った。
  論文  参考訳（メタデータ） (2020-12-09T02:35:25Z)
• Robust Disentanglement of a Few Factors at a Time [5.156484100374058]
  変分オートエンコーダ(VAE)の整合性向上のための人口ベーストレーニング(PBT)を導入する。 PBT-VAEトレーニングでは、教師なしのモデルスコアとしてUnsupervised Disentanglement Ranking (UDR)を使用し、この方法でトレーニングされたモデルが、生成因子のサブセットのみを一貫して切り離す傾向を示す。 複数のデータセットとメトリクスをまたいで、最先端の教師なしのアンハンジメント性能とロバストネスを著しく改善したことを示す。
  論文  参考訳（メタデータ） (2020-10-26T12:34:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。