Fugu-MT 論文翻訳(概要): Semi-supervised ASR by End-to-end Self-training

論文の概要: Semi-supervised ASR by End-to-end Self-training

arxiv url: http://arxiv.org/abs/2001.09128v2
Date: Thu, 30 Jul 2020 14:48:51 GMT
ステータス: 処理完了
システム内更新日: 2023-01-07 04:58:02.537883
Title: Semi-supervised ASR by End-to-end Self-training
Title（参考訳）: エンドツーエンド自己学習による半教師付きASR
Authors: Yang Chen, Weiran Wang, Chao Wang
Abstract要約: 半教師付きASRのためのエンドツーエンドシステムを用いた自己学習手法を提案する。我々は、現在モデルと教師なし発話のミニバッチ上に擬似ラベルを反復的に生成し、擬似ラベルを使用して教師付きデータを即時モデル更新する。提案手法は,データ拡張を伴う慎重に訓練されたベースシステムに対して14.4%の相対的なWER改善を実現し,ベースシステムとオラクルシステム間の性能ギャップを50%削減する。
参考スコア（独自算出の注目度）: 18.725686837244265
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: While deep learning based end-to-end automatic speech recognition (ASR) systems have greatly simplified modeling pipelines, they suffer from the data sparsity issue. In this work, we propose a self-training method with an end-to-end system for semi-supervised ASR. Starting from a Connectionist Temporal Classification (CTC) system trained on the supervised data, we iteratively generate pseudo-labels on a mini-batch of unsupervised utterances with the current model, and use the pseudo-labels to augment the supervised data for immediate model update. Our method retains the simplicity of end-to-end ASR systems, and can be seen as performing alternating optimization over a well-defined learning objective. We also perform empirical investigations of our method, regarding the effect of data augmentation, decoding beamsize for pseudo-label generation, and freshness of pseudo-labels. On a commonly used semi-supervised ASR setting with the WSJ corpus, our method gives 14.4% relative WER improvement over a carefully-trained base system with data augmentation, reducing the performance gap between the base system and the oracle system by 50%.
Abstract（参考訳）: ディープラーニングに基づくエンドツーエンド自動音声認識(ASR)システムでは、パイプラインのモデリングが大幅に単純化されているが、データ空間の問題に悩まされている。本研究では,半教師付きASRのためのエンドツーエンドシステムを用いた自己学習手法を提案する。教師付きデータに基づいて訓練されたコネクショニスト時間分類(CTC)システムから、教師なし発話のミニバッチ上に擬似ラベルを反復的に生成し、擬似ラベルを用いて教師付きデータを即時モデル更新する。提案手法は, エンドツーエンドのASRシステムの単純さを保ち, 適切に定義された学習目標に対して交互に最適化を行うことができる。また,データ拡張の効果,擬似ラベル生成のためのデコードビームサイズ,擬似ラベルの鮮度について,実験的検討を行った。 wsjコーパスで一般的に使用される半教師付きasr設定では、データ拡張を伴う注意深く訓練されたベースシステムよりも14.4%改善し、ベースシステムとoracleシステム間のパフォーマンスギャップを50%削減した。

関連論文リスト

Incremental Self-training for Semi-supervised Learning [56.57057576885672]
ISTは単純だが有効であり、既存の自己学習に基づく半教師あり学習手法に適合する。提案したISTを5つのデータセットと2種類のバックボーンで検証し,認識精度と学習速度を効果的に向上させる。
論文参考訳（メタデータ） (2024-04-14T05:02:00Z)
Self-Supervised Representation Learning from Temporal Ordering of Automated Driving Sequences [49.91741677556553]
本研究では、認識タスクのための地域レベルの特徴表現を事前学習するための時間順述前文タスクであるTempOを提案する。我々は各フレームを、オブジェクト検出やトラッキングシステムにとって自然な表現である、未順序な特徴ベクトルのセットで埋め込む。 BDD100K、nu Images、MOT17データセットの大規模な評価は、私たちのTempO事前学習アプローチがシングルフレームの自己教師型学習方法よりも優れていることを示している。
論文参考訳（メタデータ） (2023-02-17T18:18:27Z)
Prompt-driven efficient Open-set Semi-supervised Learning [52.30303262499391]
オープンセット半教師付き学習(OSSL)は関心を集めており、未ラベルデータにのみOOD(Out-of-distribution)サンプルが組み込まれているというより実践的なシナリオを調査している。我々はOpenPromptと呼ばれる,プロンプト駆動の効率的なOSSLフレームワークを提案する。
論文参考訳（メタデータ） (2022-09-28T16:25:08Z)
Self-Contrastive Learning based Semi-Supervised Radio Modulation Classification [6.089994098441994]
本稿では,自動変調分類(AMC)のための半教師付き学習フレームワークを提案する。自己教師付きコントラスト学習事前学習ステップを用いてラベル付き信号データを慎重に利用することにより,少ないラベル付きデータに対して高い性能を実現する。公開データセットを用いた半教師付きフレームワークの性能評価を行った。
論文参考訳（メタデータ） (2022-03-29T22:21:14Z)
Class-Aware Contrastive Semi-Supervised Learning [51.205844705156046]
本研究では,擬似ラベル品質を向上し,実環境におけるモデルの堅牢性を高めるため,CCSSL(Class-Aware Contrastive Semi-Supervised Learning)と呼ばれる一般的な手法を提案する。提案するCCSSLは,標準データセットCIFAR100とSTL10の最先端SSLメソッドに対して,大幅な性能向上を実現している。
論文参考訳（メタデータ） (2022-03-04T12:18:23Z)
A Deep-Learning Intelligent System Incorporating Data Augmentation for Short-Term Voltage Stability Assessment of Power Systems [9.299576471941753]
本稿では,電力系統のSTVSAにデータ拡張を取り入れた新しいディープラーニング知能システムを提案する。半教師付きクラスタ学習を利用して、ラベル付きサンプルを元の小さなデータセットで取得する。条件付き最小二乗生成逆数ネットワーク(LSGAN)ベースのデータ拡張を導入し、元のデータセットを拡張する。
論文参考訳（メタデータ） (2021-12-05T11:40:54Z)
Semi-Supervised Object Detection with Adaptive Class-Rebalancing Self-Training [5.874575666947381]
本研究は、追加のラベル付きデータを用いて半教師付き物体検出を行い、検出性能を向上させることを目的とする。疑似ラベルを生成するための新しい2段階フィルタリングアルゴリズムを提案する。提案手法は,MS-COCOおよびVOCベンチマークの良好な改善を実現する。
論文参考訳（メタデータ） (2021-07-11T12:14:42Z)
Momentum Pseudo-Labeling for Semi-Supervised Speech Recognition [55.362258027878966]
本稿では,半教師付き音声認識のための簡易かつ効果的な手法として,モーメント擬似ラベル(MPL)を提案する。 MPLは、平均的な教師メソッドにインスパイアされて、相互に相互作用し、学習するオンラインとオフラインの2つのモデルで構成されている。実験の結果,MPLはベースモデルよりも効果的に改善され,様々な半教師付きシナリオに拡張可能であることが示された。
論文参考訳（メタデータ） (2021-06-16T16:24:55Z)
ORDisCo: Effective and Efficient Usage of Incremental Unlabeled Data for Semi-supervised Continual Learning [52.831894583501395]
連続学習は、入力されたデータが完全にラベル付けされていると仮定し、実際のアプリケーションでは適用できないかもしれない。我々は、条件付き生成逆数ネットワーク(GAN)を用いた分類器を相互に学習するために、識別器整合(ORDisCo)を用いたディープオンライン再生を提案する。 ORDisCo が SSCL の様々な半教師付き学習ベンチマークデータセットで大幅なパフォーマンス向上を達成していることを示します。
論文参考訳（メタデータ） (2021-01-02T09:04:14Z)
Incremental Learning for End-to-End Automatic Speech Recognition [41.297106772785206]
エンドツーエンド自動音声認識(ASR)のための漸進的学習法を提案する。本稿では, ASRモデルに対する新しい説明可能性に基づく知識蒸留を設計し, 応答に基づく知識蒸留と組み合わせて, 元のモデルの予測と予測の「理性」を維持する。多段階連続訓練タスクの結果,提案手法は忘れを緩和する上で,既存の手法よりも優れていることが示された。
論文参考訳（メタデータ） (2020-05-11T08:18:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。