論文の概要: Continuous Soft Pseudo-Labeling in ASR

• arxiv url: http://arxiv.org/abs/2211.06007v1
• Date: Fri, 11 Nov 2022 05:16:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-14 15:57:10.162229
• Title: Continuous Soft Pseudo-Labeling in ASR
• Title（参考訳）: ASRにおける連続型ソフト擬似ラベル
• Authors: Tatiana Likhomanenko, Ronan Collobert, Navdeep Jaitly, Samy Bengio
• Abstract要約: 連続擬似ラベル(PL)アルゴリズムは,音声認識における半教師あり学習の強力な戦略として登場した。 ソフトラベルのターゲットは、フレーム毎に縮退したトークン分布にモデルを崩壊させることで、トレーニングのばらつきにつながる可能性がある。
• 参考スコア（独自算出の注目度）: 32.19655911858698
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continuous pseudo-labeling (PL) algorithms such as slimIPL have recently emerged as a powerful strategy for semi-supervised learning in speech recognition. In contrast with earlier strategies that alternated between training a model and generating pseudo-labels (PLs) with it, here PLs are generated in end-to-end manner as training proceeds, improving training speed and the accuracy of the final model. PL shares a common theme with teacher-student models such as distillation in that a teacher model generates targets that need to be mimicked by the student model being trained. However, interestingly, PL strategies in general use hard-labels, whereas distillation uses the distribution over labels as the target to mimic. Inspired by distillation we expect that specifying the whole distribution (aka soft-labels) over sequences as the target for unlabeled data, instead of a single best pass pseudo-labeled transcript (hard-labels) should improve PL performance and convergence. Surprisingly and unexpectedly, we find that soft-labels targets can lead to training divergence, with the model collapsing to a degenerate token distribution per frame. We hypothesize that the reason this does not happen with hard-labels is that training loss on hard-labels imposes sequence-level consistency that keeps the model from collapsing to the degenerate solution. In this paper, we show several experiments that support this hypothesis, and experiment with several regularization approaches that can ameliorate the degenerate collapse when using soft-labels. These approaches can bring the accuracy of soft-labels closer to that of hard-labels, and while they are unable to outperform them yet, they serve as a useful framework for further improvements.
• Abstract（参考訳）: 近年,音声認識における半教師あり学習の強力な戦略として,slimIPLのようなPLアルゴリズムが登場している。 モデルのトレーニングと擬似ラベル(PL)の生成を交互に行う以前の戦略とは対照的に、このPLはトレーニングの進行とともにエンドツーエンドで生成され、トレーニング速度と最終モデルの精度が向上する。 PLは、教師モデルが訓練されている学生モデルによって模倣される必要があるターゲットを生成するという、蒸留のような教師学生モデルと共通のテーマを共有している。 しかし興味深いことに、一般的にpl戦略はハードラベルを使うが、蒸留はラベル上の分布を模倣のターゲットとして使っている。 蒸留から着想を得た結果,全分布(ソフトラベル)を未ラベルデータの対象として指定できるようになり,PL性能と収束性の向上が期待できる。 驚きと予期せぬことに、ソフトラベルのターゲットはトレーニングの分岐につながり、モデルがフレーム毎の縮退したトークン分布に崩壊する。 ハードラベルでこれが起こらない理由は、ハードラベルのトレーニング損失がシーケンスレベルの一貫性を課し、モデルが縮退したソリューションに崩壊することを防ぐためだと仮定する。 本稿では, この仮説を裏付ける実験をいくつか紹介し, ソフトラベルを用いた場合の縮退崩壊を改善できる複数の正則化手法を実験する。 これらのアプローチは、ハードラベルの精度をハードラベルの精度に近づけることができ、まだそれを上回ることができないが、さらなる改善のための有用なフレームワークとして機能する。

関連論文リスト

• Reduction-based Pseudo-label Generation for Instance-dependent Partial Label Learning [41.345794038968776]
  本稿では,誤り候補ラベルの影響を軽減するために,リダクションに基づく擬似ラベルを活用することを提案する。 推定モデルから生成した擬似ラベルと比較して,減算に基づく擬似ラベルはベイズ最適分類器との整合性が高いことを示す。
  論文  参考訳（メタデータ） (2024-10-28T07:32:20Z)
• All Points Matter: Entropy-Regularized Distribution Alignment for Weakly-supervised 3D Segmentation [67.30502812804271]
  擬似ラベルは、弱い教師付き3Dセグメンテーションタスクに広く使われており、学習に使えるのはスパース・グラウンド・トラス・ラベルのみである。 本稿では,生成した擬似ラベルを正規化し,擬似ラベルとモデル予測とのギャップを効果的に狭めるための新しい学習戦略を提案する。
  論文  参考訳（メタデータ） (2023-05-25T08:19:31Z)
• Class-Distribution-Aware Pseudo Labeling for Semi-Supervised Multi-Label Learning [97.88458953075205]
  Pseudo-labelingは、ラベルなしデータを利用するための人気で効果的なアプローチとして登場した。 本稿では,クラスアウェアの擬似ラベル処理を行うCAP(Class-Aware Pseudo-Labeling)という新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-05-04T12:52:18Z)
• SLaM: Student-Label Mixing for Distillation with Unlabeled Examples [15.825078347452024]
  学生ラベル混合(SLaM)と呼ばれる未ラベル例を用いた知識蒸留の原理的手法を提案する。 SLaMは、いくつかの標準ベンチマークで評価することで、従来のアプローチよりも一貫して改善されている。 ランダムな分類雑音下でハーフスペースを学習する際の最もよく知られたサンプル複雑性を改善するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-02-08T00:14:44Z)
• Exploiting Completeness and Uncertainty of Pseudo Labels for Weakly Supervised Video Anomaly Detection [149.23913018423022]
  弱教師付きビデオ異常検出は、ビデオレベルのラベルのみを用いて、ビデオ内の異常事象を特定することを目的としている。 2段階の自己学習法は擬似ラベルの自己生成によって著しく改善されている。 本稿では,自己学習のための完全性と不確実性を利用した強化フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-12-08T05:53:53Z)
• Semi-supervised Contrastive Outlier removal for Pseudo Expectation Maximization (SCOPE) [2.33877878310217]
  Pseudo expectation Maximization (SCOPE) のための半教師付きコントラスト外乱除去法を用いて, 共起誤差を抑制する新しい手法を提案する。 その結果,SCOPEはベースライン上での半教師付き分類精度を大幅に向上し,さらに整合正則化と組み合わせた場合,250と4000のラベル付きサンプルを用いた半教師付きCIFAR-10分類タスクにおいて最も高い精度が得られた。
  論文  参考訳（メタデータ） (2022-06-28T19:32:50Z)
• In Defense of Pseudo-Labeling: An Uncertainty-Aware Pseudo-label Selection Framework for Semi-Supervised Learning [53.1047775185362]
  Pseudo-labeling (PL) は一般的な SSL アプローチで、この制約はありませんが、当初の処方では比較的不十分です。 PLは不整合モデルからの誤った高い信頼度予測により性能が低下していると論じる。 そこで本研究では,疑似ラベリング精度を向上させるための不確実性認識型擬似ラベル選択(ups)フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-01-15T23:29:57Z)
• Two-phase Pseudo Label Densification for Self-training based Domain Adaptation [93.03265290594278]
  TPLDと呼ばれる,新規な二相擬似ラベル高密度化フレームワークを提案する。 第1フェーズでは,スライディングウインドウ投票を用いて,画像内の内在的空間相関を利用して,自信のある予測を広める。 第2フェーズでは,信頼度に基づく容易な分類を行う。 トレーニングプロセスの容易化と騒音予測の回避を目的として,ブートストラップ機構の導入を行った。
  論文  参考訳（メタデータ） (2020-12-09T02:35:25Z)
• PseudoSeg: Designing Pseudo Labels for Semantic Segmentation [78.35515004654553]
  ラベルなしまたは弱いラベル付きデータを用いたトレーニングのための構造化された擬似ラベルを生成するための擬似ラベルの再設計を提案する。 提案手法の有効性を,低データと高データの両方において示す。
  論文  参考訳（メタデータ） (2020-10-19T17:59:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。