Fugu-MT 論文翻訳(概要): SPIRAL: Self-supervised Perturbation-Invariant Representation Learning for Speech Pre-Training

論文の概要: SPIRAL: Self-supervised Perturbation-Invariant Representation Learning for Speech Pre-Training

arxiv url: http://arxiv.org/abs/2201.10207v1
Date: Tue, 25 Jan 2022 09:53:36 GMT
ステータス: 処理完了
システム内更新日: 2022-01-26 15:03:29.746199
Title: SPIRAL: Self-supervised Perturbation-Invariant Representation Learning for Speech Pre-Training
Title（参考訳）: SPIRAL:音声事前学習のための自己教師型摂動不変表現学習
Authors: Wenyong Huang, Zhenhe Zhang, Yu Ting Yeung, Xin Jiang, Qun Liu
Abstract要約: SPIRALは、教師/学生のフレームワークにおいて、摂動データの表現を聴覚的に学習することで機能する。本稿では,実環境における音声応用において重要なノイズ・ロバスト性の問題に対処する。
参考スコア（独自算出の注目度）: 25.80559992732508
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We introduce a new approach for speech pre-training named SPIRAL which works by learning denoising representation of perturbed data in a teacher-student framework. Specifically, given a speech utterance, we first feed the utterance to a teacher network to obtain corresponding representation. Then the same utterance is perturbed and fed to a student network. The student network is trained to output representation resembling that of the teacher. At the same time, the teacher network is updated as moving average of student's weights over training steps. In order to prevent representation collapse, we apply an in-utterance contrastive loss as pre-training objective and impose position randomization on the input to the teacher. SPIRAL achieves competitive or better results compared to state-of-the-art speech pre-training method wav2vec 2.0, with significant reduction of training cost (80% for Base model, 65% for Large model). Furthermore, we address the problem of noise-robustness that is critical to real-world speech applications. We propose multi-condition pre-training by perturbing the student's input with various types of additive noise. We demonstrate that multi-condition pre-trained SPIRAL models are more robust to noisy speech (9.0% - 13.3% relative word error rate reduction on real noisy test data), compared to applying multi-condition training solely in the fine-tuning stage. The code will be released after publication.
Abstract（参考訳）: そこで本研究では,教師の学習フレームワークにおける摂動データの表現を学習することで,SPIRALという音声事前学習のための新しいアプローチを提案する。具体的には、まず、発話を教師ネットワークに供給し、対応する表現を得る。そして、同じ発話が摂動され、学生ネットワークに送られる。生徒ネットワークは、教師に類似した表現を出力するように訓練される。同時に、教師ネットワークは、学習ステップにおける生徒の重みの移動平均として更新される。表現の崩壊を防止すべく,教師の学習目標として発話内コントラスト損失を適用し,入力に位置ランダム化を課す。 SPIRALは、最先端の音声事前学習手法wav2vec 2.0と比較して、競争力やより良い結果を得ることができ、トレーニングコストの大幅な削減(ベースモデルでは80%、大モデルでは65%)を実現している。さらに,実世界の音声応用に不可欠なノイズロバスト性の問題にも対処する。学習者の入力を様々な付加雑音で摂動させることにより,多条件事前学習を提案する。多条件事前学習スパイラルモデル(実雑音テストデータでは9.0%～13.3%)は、微調整段階のみにマルチコンディショニングを適用する場合と比較して、より頑健であることを示す。コードは公開後にリリースされる。

関連論文リスト

Unveiling the Role of Pretraining in Direct Speech Translation [14.584351239812394]
我々は,事前学習エンコーダを用いたシステムのトレーニング力学,従来のアプローチ,スクラッチからトレーニングしたシステムを比較した。学習を通して、ランダムモデルがその予測のために音声入力からの情報を組み込むのに苦労していることを観察する。本稿では,デコーダのクロスアテンションを微妙に変化させ,トレーニングの初期の段階からソース情報を統合することを提案する。
論文参考訳（メタデータ） (2024-09-26T16:46:46Z)
Improving noisy student training for low-resource languages in End-to-End ASR using CycleGAN and inter-domain losses [28.74405969209494]
雑音の多い学生訓練を用いた半教師付きエンド・ツー・エンド音声認識システムの訓練により,性能が大幅に向上した。本稿では,半教師付きエンド・ツー・エンド音声認識の極端な事例として,ペア音声,ラベルなし音声,豊富な外部テキストが存在することを考察する。
論文参考訳（メタデータ） (2024-07-26T10:57:06Z)
INTapt: Information-Theoretic Adversarial Prompt Tuning for Enhanced Non-Native Speech Recognition [43.228070238684786]
本稿では,自動音声認識システムにおける表現バイアスを軽減するために,インタプタ(Information Theoretic Adversarial Prompt Tuning)を提案する。インタプタは,(1)原入力とプロンプト連結入力のアクセント特徴依存性を低減するための逆トレーニング,(2)ASR性能を向上させるためのCTC損失を最小限に抑えるトレーニング,の2つの方法で同時に訓練される。実験の結果,インタプタはL2英語の性能を向上し,L2アクセントとL1アクセントの特徴的類似性を高めることがわかった。
論文参考訳（メタデータ） (2023-05-25T13:06:01Z)
A Training and Inference Strategy Using Noisy and Enhanced Speech as Target for Speech Enhancement without Clean Speech [24.036987059698415]
本稿では,拡張音声をターゲットとして用いるトレーニングと推論戦略を提案する。 NyTTの有効性の鍵は、ドメイン内ノイズと外ノイズの均一性にあるため、様々な学生モデルをリミックスして訓練する。実験の結果,提案手法はいくつかのベースラインよりも優れていた。
論文参考訳（メタデータ） (2022-10-27T12:26:24Z)
Supervision-Guided Codebooks for Masked Prediction in Speech Pre-training [102.14558233502514]
自己教師型学習(SSL)における事前学習のマズード予測は,音声認識における顕著な進歩をみせている。本稿では,自動音声認識(ASR)の性能向上のための2つの教師付きコードブック生成手法を提案する。
論文参考訳（メタデータ） (2022-06-21T06:08:30Z)
Self-Supervised Learning for speech recognition with Intermediate layer supervision [52.93758711230248]
自己教師付き学習(ILS-SSL)のための中間層スーパービジョンを提案する。 ILS-SSLは、中間層にSSL損失を追加することで、可能な限りコンテンツ情報に集中させます。 LibriSpeech の他のテストセットの実験により,本手法は HuBERT を著しく上回っていることがわかった。
論文参考訳（メタデータ） (2021-12-16T10:45:05Z)
Improving Noise Robustness of Contrastive Speech Representation Learning with Speech Reconstruction [109.44933866397123]
実環境における音声認識システムの実現には,雑音の堅牢性が不可欠である。雑音認識のための自己教師型フレームワークにより学習したノイズロスト表現を用いる。ラベル付きデータのわずか16%で報告された最高の教師付きアプローチに匹敵するパフォーマンスを実現した。
論文参考訳（メタデータ） (2021-10-28T20:39:02Z)
WavLM: Large-Scale Self-Supervised Pre-Training for Full Stack Speech Processing [102.45426364965887]
そこで本研究では,フルスタックダウンストリーム音声タスクを解決するための,事前学習型モデルWavLMを提案する。 WavLMはHuBERTフレームワークに基づいて構築されており、音声コンテンツモデリングと話者アイデンティティ保存の両方に重点を置いている。トレーニングデータセットを60k時間から94k時間までの公開オーディオデータにスケールアップし、そのトレーニング手順を最適化して表現抽出を改善する。
論文参考訳（メタデータ） (2021-10-26T17:55:19Z)
Wav2vec-Switch: Contrastive Learning from Original-noisy Speech Pairs for Robust Speech Recognition [52.71604809100364]
音声の文脈化表現に雑音のロバスト性をエンコードするwav2vec-Switchを提案する。具体的には、オリジナルノイズの多い音声ペアを同時にwav2vec 2.0ネットワークに供給する。既存のコントラスト学習タスクに加えて、原音声と雑音音声の量子化表現を追加の予測対象に切り替える。
論文参考訳（メタデータ） (2021-10-11T00:08:48Z)
Injecting Text in Self-Supervised Speech Pretraining [33.676479965610774]
我々は,2つの異なるモーダル(音声とテキスト)から事前学習中の表現を共同学習することを提案する。 tts4pretrainは自己スーパービジョンにおけるコントラスト学習のパワーを補完する。 We demonstrate Word Error Rate (WER) reductions of 10% relative on the well-benchmarked, Librispeech task。
論文参考訳（メタデータ） (2021-08-27T11:36:40Z)
TAVAT: Token-Aware Virtual Adversarial Training for Language Understanding [55.16953347580948]
グラディエントベースの敵トレーニングは、ニューラルネットワークの堅牢性向上に広く利用されている。埋め込み空間が離散であるため、自然言語処理タスクに容易に適応することはできない。微粒な摂動を創り出すためのトークン認識仮想アドリアリトレーニング法を提案する。
論文参考訳（メタデータ） (2020-04-30T02:03:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。