論文の概要: A Unified Speaker Adaptation Approach for ASR

• arxiv url: http://arxiv.org/abs/2110.08545v1
• Date: Sat, 16 Oct 2021 10:48:52 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-19 15:11:46.811330
• Title: A Unified Speaker Adaptation Approach for ASR
• Title（参考訳）: ASRのための統一話者適応手法
• Authors: Yingzhu Zhao, Chongjia Ni, Cheung-Chi Leung, Shafiq Joty, Eng Siong Chng, Bin Ma
• Abstract要約: 本稿では,特徴適応とモデル適応からなる統一話者適応手法を提案する。 特徴適応には話者認識型永続記憶モデルを用い、未確認話者に対してより良く一般化する。 モデル適応には、モデルアーキテクチャを変更することなく、新たな段階的なプルーニング手法を用いてターゲット話者に適応する。
• 参考スコア（独自算出の注目度）: 37.76683818356052
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformer models have been used in automatic speech recognition (ASR) successfully and yields state-of-the-art results. However, its performance is still affected by speaker mismatch between training and test data. Further finetuning a trained model with target speaker data is the most natural approach for adaptation, but it takes a lot of compute and may cause catastrophic forgetting to the existing speakers. In this work, we propose a unified speaker adaptation approach consisting of feature adaptation and model adaptation. For feature adaptation, we employ a speaker-aware persistent memory model which generalizes better to unseen test speakers by making use of speaker i-vectors to form a persistent memory. For model adaptation, we use a novel gradual pruning method to adapt to target speakers without changing the model architecture, which to the best of our knowledge, has never been explored in ASR. Specifically, we gradually prune less contributing parameters on model encoder to a certain sparsity level, and use the pruned parameters for adaptation, while freezing the unpruned parameters to keep the original model performance. We conduct experiments on the Librispeech dataset. Our proposed approach brings relative 2.74-6.52% word error rate (WER) reduction on general speaker adaptation. On target speaker adaptation, our method outperforms the baseline with up to 20.58% relative WER reduction, and surpasses the finetuning method by up to relative 2.54%. Besides, with extremely low-resource adaptation data (e.g., 1 utterance), our method could improve the WER by relative 6.53% with only a few epochs of training.
• Abstract（参考訳）: トランスフォーマーモデルは自動音声認識(ASR)にうまく使われ、最先端の結果が得られる。 しかし、その性能は、トレーニングとテストデータの話者ミスマッチの影響を受け続けている。 対象話者データを用いた学習モデルのさらなる微調整は、適応のための最も自然なアプローチであるが、多くの計算が必要であり、既存の話者を破滅的に忘れてしまう可能性がある。 本研究では,特徴適応とモデル適応からなる統一話者適応手法を提案する。 特徴適応には、話者iベクターを用いて永続メモリを形成することにより、未確認話者をより一般化する話者認識型永続メモリモデルを用いる。 モデル適応のために、我々はモデルアーキテクチャを変更することなく、ターゲットとなる話者に適応するために新しい段階的なプルーニング法を用いています。 具体的には、モデルエンコーダのパラメータを一定のスパーシティレベルまで徐々に減少させ、プルーニングパラメータを適応に使用し、アンプルーニングパラメータを凍結して元のモデル性能を維持する。 librispeechデータセットの実験を行う。 提案手法は2.74-6.52%の単語誤り率(WER)を一般話者適応に還元する。 対象話者適応において,提案手法は20.58%の相対的なWER削減率でベースラインを上回り,2.54%の精度でファインタニング法を上回った。 さらに,低リソース適応データ(例えば1発話)を用いて,数エポックのトレーニングで平均6.53%改善することができた。

関連論文リスト

• ADAPTERMIX: Exploring the Efficacy of Mixture of Adapters for Low-Resource TTS Adaptation [18.84413550077318]
  本研究では,異なる話者の独特の特徴を学習するために「アダプタの混合」手法を提案する。 提案手法は,話者選好試験において5%の顕著な改善がみられ,ベースラインよりも優れていた。 これはパラメータ効率のよい話者適応において重要な成果であり、この種の最初のモデルの1つである。
  論文  参考訳（メタデータ） (2023-05-29T11:39:01Z)
• Differentially Private Adapters for Parameter Efficient Acoustic Modeling [24.72748979633543]
  従来の適応方式に雑音の多い教師と学生のアンサンブルを導入する。 凍結事前学習音響モデルの層間に残留アダプタを挿入する。 我々の解は、RAを用いてトレーニング可能なパラメータの数を97.5%削減する。
  論文  参考訳（メタデータ） (2023-05-19T00:36:43Z)
• Prompt Tuning of Deep Neural Networks for Speaker-adaptive Visual Speech Recognition [66.94463981654216]
  話者適応型視覚音声認識(VSR)のためのディープニューラルネットワーク(DNN)の即時チューニング手法を提案する。 我々は、事前訓練されたモデルパラメータを変更する代わりに、ターゲット話者の適応データを微調整する。 提案手法の有効性を単語レベルのVSRデータベースと文レベルのVSRデータベースで評価した。
  論文  参考訳（メタデータ） (2023-02-16T06:01:31Z)
• CHAPTER: Exploiting Convolutional Neural Network Adapters for Self-supervised Speech Models [62.60723685118747]
  自己教師付き学習(SSL)は、ラベルのないデータから表現を学習するための強力な技術である。 特徴抽出器にCNNアダプタを適用し,SSL音声モデルに特化して設計された効率的なチューニング手法を提案する。 特徴抽出器にCNNを追加することで、感情や話者のタスクへの適応が促進されることを実証的に見出した。
  論文  参考訳（メタデータ） (2022-12-01T08:50:12Z)
• Residual Adapters for Few-Shot Text-to-Speech Speaker Adaptation [21.218195769245032]
  本稿では,残差アダプタと呼ばれるトレーニング可能な軽量モジュールでバックボーンモデルを拡張したパラメータ効率の低い少数話者適応を提案する。 実験結果から,提案手法は完全微調整手法と比較して,競合自然性や話者類似性を実現できることが示された。
  論文  参考訳（メタデータ） (2022-10-28T03:33:07Z)
• On-the-Fly Feature Based Rapid Speaker Adaptation for Dysarthric and Elderly Speech Recognition [53.17176024917725]
  話者レベルのデータの共有化は、データ集約型モデルに基づく話者適応手法の実用的利用を制限する。 本稿では,2種類のデータ効率,特徴量に基づくオンザフライ話者適応手法を提案する。
  論文  参考訳（メタデータ） (2022-03-28T09:12:24Z)
• A Conformer Based Acoustic Model for Robust Automatic Speech Recognition [63.242128956046024]
  提案手法は,二方向長短期記憶(BLSTM)モデルと発話ワイドドロップアウトと反復話者適応を用いて,最先端の音声認識システムを構築した。 コンフォーマーエンコーダは、音響モデリングに畳み込み強化されたアテンションメカニズムを使用する。 提案システムはCHiME-4コーパスの単調なASRタスクに基づいて評価される。
  論文  参考訳（メタデータ） (2022-03-01T20:17:31Z)
• Residual Adapters for Parameter-Efficient ASR Adaptation to Atypical and Accented Speech [5.960279280033886]
  モデルファインタニングと比較して,比較的少数の余分なパラメータをエンコーダ層に追加することにより,類似の適応ゲインが得られることを示す。 我々はこれを2つの言語適応タスク(非典型的およびアクセント付き音声)と2つの最先端のASRアーキテクチャで実証する。
  論文  参考訳（メタデータ） (2021-09-14T20:04:47Z)
• Bayesian Learning for Deep Neural Network Adaptation [57.70991105736059]
  音声認識システムにおける重要な課題は、しばしば話者差に起因する訓練データと評価データとのミスマッチを減らすことである。 モデルに基づく話者適応手法は、ロバスト性を確保するために十分な量のターゲット話者データを必要とすることが多い。 本稿では,話者依存型(SD)パラメータの不確かさをモデル化するための,ベイズ学習に基づくDNN話者適応フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-12-14T12:30:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。