論文の概要: Semi-Supervised Learning with Data Augmentation for End-to-End ASR
- arxiv url: http://arxiv.org/abs/2007.13876v1
- Date: Mon, 27 Jul 2020 21:24:52 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-06 11:54:31.551459
- Title: Semi-Supervised Learning with Data Augmentation for End-to-End ASR
- Title（参考訳）: エンドツーエンドASRのためのデータ拡張による半教師付き学習
- Authors: Felix Weninger, Franco Mana, Roberto Gemello, Jes\'us Andr\'es-Ferrer,
Puming Zhan
- Abstract要約: 我々は、画像分類タスクにうまく適用された整合正則化原理に着目する。
We present sequence-to-sequence (seq2seq) version of the FixMatch and Noisy Students algorithm。
- 参考スコア（独自算出の注目度）: 4.878819328459915
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we apply Semi-Supervised Learning (SSL) along with Data
Augmentation (DA) for improving the accuracy of End-to-End ASR. We focus on the
consistency regularization principle, which has been successfully applied to
image classification tasks, and present sequence-to-sequence (seq2seq) versions
of the FixMatch and Noisy Student algorithms. Specifically, we generate the
pseudo labels for the unlabeled data on-the-fly with a seq2seq model after
perturbing the input features with DA. We also propose soft label variants of
both algorithms to cope with pseudo label errors, showing further performance
improvements. We conduct SSL experiments on a conversational speech data set
with 1.9kh manually transcribed training data, using only 25% of the original
labels (475h labeled data). In the result, the Noisy Student algorithm with
soft labels and consistency regularization achieves 10.4% word error rate (WER)
reduction when adding 475h of unlabeled data, corresponding to a recovery rate
of 92%. Furthermore, when iteratively adding 950h more unlabeled data, our best
SSL performance is within 5% WER increase compared to using the full labeled
training set (recovery rate: 78%).
- Abstract（参考訳）: 本稿では、エンド・ツー・エンドASRの精度を向上させるために、半教師付き学習(SSL)とデータ拡張(DA)を併用する。
我々は、画像分類タスクにうまく適用された一貫性規則化原理と、FixMatchおよびNoisy Studentsアルゴリズムのシーケンス・ツー・シーケンス(seq2seq)バージョンに焦点を当てた。
具体的には、入力特徴をDAで摂動した後、Seq2seqモデルを用いて、未ラベルデータの擬似ラベルを生成する。
また、擬似ラベル誤りに対処するため、両アルゴリズムのソフトラベル変種を提案し、さらなる性能改善を示す。
会話音声データに1.9khの手動転写学習データを用いてssl実験を行い,25%のラベル(475hラベルデータ)しか使用しなかった。
その結果、ソフトラベルと整合性正規化を備えたノイズ学生アルゴリズムは、リカバリ率92%に対応する475hのラベル付きデータを追加すると、ワードエラー率(WER)を10.4%削減する。
さらに、ラベルのないデータを950h増やすと、完全なラベル付きトレーニングセット(リカリーレート:78%)を使用するよりも、sslのパフォーマンスが5%ほど向上します。
関連論文リスト
- Learning from Spatio-temporal Correlation for Semi-Supervised LiDAR Semantic Segmentation [17.151511119485246]
低予算SSLSの2つの大きな問題は、ラベルなしデータに対する品質の悪い擬似ラベルと、パフォーマンスの低下である。
非ラベルデータに対して高精度な擬似ラベルを生成する近接型ラベル推定法を提案する。
実験の結果,低予算環境では顕著な性能を示した。
論文 参考訳（メタデータ） (2024-10-09T13:57:39Z) - Addressing Long-Tail Noisy Label Learning Problems: a Two-Stage Solution
with Label Refurbishment Considering Label Rarity [13.490974408726323]
ソフトレーベルの改修とマルチエキスパートのアンサンブル学習を組み合わせることで,効果的な2段階のアプローチを提案する。
頑健なソフトラベルの再構築の第1段階では, コントラスト学習により, 偏りのない特徴を習得する。
第2段階では,マルチエキスパート・アンサンブル学習のためのソフト・ラベルを得るために,ラベル改築法を適用した。
論文 参考訳（メタデータ） (2024-03-04T08:06:57Z) - FlatMatch: Bridging Labeled Data and Unlabeled Data with Cross-Sharpness
for Semi-Supervised Learning [73.13448439554497]
Semi-Supervised Learning (SSL) は、ラベル付きデータが極めて少ない豊富なラベル付きデータを活用する効果的な方法である。
ほとんどのSSLメソッドは、通常、異なるデータ変換間のインスタンス単位の一貫性に基づいている。
本研究では,2つのデータセット間の一貫した学習性能を確保するために,クロスシャープネス尺度を最小化するFlatMatchを提案する。
論文 参考訳（メタデータ） (2023-10-25T06:57:59Z) - MarginMatch: Improving Semi-Supervised Learning with Pseudo-Margins [73.17295479535161]
MarginMatchは、一貫性の正規化と擬似ラベルを組み合わせた新しいSSLアプローチである。
トレーニングが進むにつれて、擬似ラベル付きモデル上でのモデルの振る舞いを分析し、低品質な予測が隠蔽されることを確かめる。
CIFAR-100では,クラス毎に25ラベル,STL-10では3.78%,クラス毎に4ラベルで3.25%の誤差率向上を実現した。
論文 参考訳（メタデータ） (2023-08-17T15:19:04Z) - SoftMatch: Addressing the Quantity-Quality Trade-off in Semi-supervised
Learning [101.86916775218403]
本稿では, サンプル重み付けを統一した定式化により, 一般的な擬似ラベル法を再検討する。
トレーニング中の擬似ラベルの量と質を両立させることでトレードオフを克服するSoftMatchを提案する。
実験では、画像、テキスト、不均衡な分類など、さまざまなベンチマークで大幅に改善されている。
論文 参考訳（メタデータ） (2023-01-26T03:53:25Z) - Dense FixMatch: a simple semi-supervised learning method for pixel-wise
prediction tasks [68.36996813591425]
Dense FixMatchは,高密度かつ構造化された予測タスクのオンライン半教師付き学習のための簡易な手法である。
我々は、擬似ラベルにマッチング操作を追加することにより、画像分類を超えた半教師付き学習問題にFixMatchの適用を可能にする。
Dense FixMatchは、ラベル付きデータのみを使用して教師付き学習と比較すると、結果を著しく改善し、ラベル付きサンプルの1/4でそのパフォーマンスに近づいた。
論文 参考訳（メタデータ） (2022-10-18T15:02:51Z) - Class-Aware Contrastive Semi-Supervised Learning [51.205844705156046]
本研究では,擬似ラベル品質を向上し,実環境におけるモデルの堅牢性を高めるため,CCSSL(Class-Aware Contrastive Semi-Supervised Learning)と呼ばれる一般的な手法を提案する。
提案するCCSSLは,標準データセットCIFAR100とSTL10の最先端SSLメソッドに対して,大幅な性能向上を実現している。
論文 参考訳（メタデータ） (2022-03-04T12:18:23Z) - AlphaMatch: Improving Consistency for Semi-supervised Learning with
Alpha-divergence [44.88886269629515]
半教師付き学習(SSL)は、ラベル付きデータとラベルなしデータの両方を併用することにより、よりデータ効率の高い機械学習への重要なアプローチである。
我々は、データポイントとそれらから派生した拡張データとのラベル一貫性を効率的に強化することにより、データ拡張を利用する効率的なSSL手法であるAlphaMatchを提案する。
論文 参考訳（メタデータ） (2020-11-23T22:43:45Z) - FixMatch: Simplifying Semi-Supervised Learning with Consistency and
Confidence [93.91751021370638]
半教師付き学習(SSL)は、ラベルのないデータを活用してモデルの性能を向上させる効果的な手段を提供する。
本稿では、整合正則化と擬似ラベル付けという2つの共通SSL手法の単純な組み合わせのパワーを実証する。
筆者らのアルゴリズムであるFixMatchは、まず、弱拡張未ラベル画像上のモデルの予測を用いて擬似ラベルを生成する。
論文 参考訳（メタデータ） (2020-01-21T18:32:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。