論文の概要: Hypernetworks for Personalizing ASR to Atypical Speech

• arxiv url: http://arxiv.org/abs/2406.04240v4
• Date: Tue, 2 Jul 2024 19:51:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-04 19:24:59.189502
• Title: Hypernetworks for Personalizing ASR to Atypical Speech
• Title（参考訳）: 非定型音声へのASRのパーソナライズのためのハイパーネット
• Authors: Max Müller-Eberstein, Dianna Yee, Karren Yang, Gautam Varma Mantena, Colin Lea,
• Abstract要約: メタ学習型ハイパーネットワークを用いて,多種多様な非定型音声特性に対して,高度に個別化された発話レベル適応を生成する。 ハイパーネットは,全パラメータ予算の0.1%を用いて,WERの相対的な75.2%削減を維持しつつ,分布外話者よりも一般化されていることを示す。
• 参考スコア（独自算出の注目度）: 7.486694572792521
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Parameter-efficient fine-tuning (PEFT) for personalizing automatic speech recognition (ASR) has recently shown promise for adapting general population models to atypical speech. However, these approaches assume a priori knowledge of the atypical speech disorder being adapted for -- the diagnosis of which requires expert knowledge that is not always available. Even given this knowledge, data scarcity and high inter/intra-speaker variability further limit the effectiveness of traditional fine-tuning. To circumvent these challenges, we first identify the minimal set of model parameters required for ASR adaptation. Our analysis of each individual parameter's effect on adaptation performance allows us to reduce Word Error Rate (WER) by half while adapting 0.03% of all weights. Alleviating the need for cohort-specific models, we next propose the novel use of a meta-learned hypernetwork to generate highly individualized, utterance-level adaptations on-the-fly for a diverse set of atypical speech characteristics. Evaluating adaptation at the global, cohort and individual-level, we show that hypernetworks generalize better to out-of-distribution speakers, while maintaining an overall relative WER reduction of 75.2% using 0.1% of the full parameter budget.
• Abstract（参考訳）: 自動音声認識(ASR)をパーソナライズするためのパラメータ効率のよい微調整(PEFT)は,最近,一般集団モデルを非定型音声に適用することを約束している。 しかし、これらのアプローチは、非典型的言語障害が適応されているという先駆的な知識を前提としており、その診断には、常に利用できるわけではない専門家の知識が必要である。 この知識を踏まえると、データ不足とイントラスピーカー間の高いばらつきにより、従来の微調整の有効性はさらに制限される。 これらの課題を回避するために、まずASR適応に必要なモデルパラメータの最小セットを同定する。 適応性能に対する各パラメータの影響の分析により,全重みの0.03%を適応しながらワード誤り率(WER)を半減することができる。 次に,コホート固有モデルの必要性を軽減し,多種多様な非定型音声特性に対して,高度に個別化された発話レベル適応を生成するメタ学習型ハイパーネットワークを提案する。 グローバル,コホート,個人レベルでの適応を評価することで,ハイパーネットワークは,全パラメータ予算の0.1%を用いて,WER全体の75.2%削減を維持しつつ,アウト・オブ・ディストリビューション話者よりも一般化されていることを示す。

関連論文リスト

• Homogeneous Speaker Features for On-the-Fly Dysarthric and Elderly Speaker Adaptation [71.31331402404662]
  本稿では, 変形性関節症と高齢者の話者レベルの特徴を学習するための2つの新しいデータ効率手法を提案する。 話者規則化スペクトルベース埋め込み-SBE特徴は、特別な正規化項を利用して適応における話者特徴の均一性を強制する。 テスト時間適応において、話者レベルのデータ量に敏感であることが示されるVR-LH機能に規定されている特徴ベースの学習隠れユニットコントリビューション(f-LHUC)。
  論文  参考訳（メタデータ） (2024-07-08T18:20:24Z)
• Scaling Exponents Across Parameterizations and Optimizers [94.54718325264218]
  本稿では,先行研究における重要な仮定を考察し,パラメータ化の新たな視点を提案する。 私たちの経験的調査には、3つの組み合わせでトレーニングされた数万のモデルが含まれています。 最高の学習率のスケーリング基準は、以前の作業の仮定から除外されることがよくあります。
  論文  参考訳（メタデータ） (2024-07-08T12:32:51Z)
• Re-parameterized Low-rank Prompt: Generalize a Vision-Language Model within 0.5K Parameters [75.28536311904489]
  そこで我々は,RLP(Re- parameterized Low-rank Prompt)という新しいタイプのプロンプトを開発した。 11データセットを超える一連のタスクにおいて、RLPは0.5Kパラメータだけで古典的なプロンプトチューニングの平均下流精度を最大5.25%向上させる。
  論文  参考訳（メタデータ） (2023-12-17T20:42:43Z)
• Hyper-parameter Adaptation of Conformer ASR Systems for Elderly and Dysarthric Speech Recognition [64.9816313630768]
  ファインチューニングは、多くの非高齢および健康な音声事前訓練モデルを利用するためにしばしば用いられる。 本稿では,Librispeech corpus 上で事前学習した Conformer ASR システムのハイパーパラメータ適応について検討する。
  論文  参考訳（メタデータ） (2023-06-27T07:49:35Z)
• Factorised Speaker-environment Adaptive Training of Conformer Speech Recognition Systems [31.813788489512394]
  本稿では,Conformer ASRモデルに対する話者環境適応学習とテスト時間適応手法を提案する。 300時間WHAMノイズ劣化データの実験では、分解適応がベースラインを一貫して上回ることが示唆された。 さらに分析した結果,提案手法は未知の話者環境に迅速に適応できる可能性が示唆された。
  論文  参考訳（メタデータ） (2023-06-26T11:32:05Z)
• Differentially Private Adapters for Parameter Efficient Acoustic Modeling [24.72748979633543]
  従来の適応方式に雑音の多い教師と学生のアンサンブルを導入する。 凍結事前学習音響モデルの層間に残留アダプタを挿入する。 我々の解は、RAを用いてトレーニング可能なパラメータの数を97.5%削減する。
  論文  参考訳（メタデータ） (2023-05-19T00:36:43Z)
• On-the-Fly Feature Based Rapid Speaker Adaptation for Dysarthric and Elderly Speech Recognition [53.17176024917725]
  話者レベルのデータの共有化は、データ集約型モデルに基づく話者適応手法の実用的利用を制限する。 本稿では,2種類のデータ効率,特徴量に基づくオンザフライ話者適応手法を提案する。
  論文  参考訳（メタデータ） (2022-03-28T09:12:24Z)
• A Unified Speaker Adaptation Approach for ASR [37.76683818356052]
  本稿では,特徴適応とモデル適応からなる統一話者適応手法を提案する。 特徴適応には話者認識型永続記憶モデルを用い、未確認話者に対してより良く一般化する。 モデル適応には、モデルアーキテクチャを変更することなく、新たな段階的なプルーニング手法を用いてターゲット話者に適応する。
  論文  参考訳（メタデータ） (2021-10-16T10:48:52Z)
• Bayesian Learning for Deep Neural Network Adaptation [57.70991105736059]
  音声認識システムにおける重要な課題は、しばしば話者差に起因する訓練データと評価データとのミスマッチを減らすことである。 モデルに基づく話者適応手法は、ロバスト性を確保するために十分な量のターゲット話者データを必要とすることが多い。 本稿では,話者依存型(SD)パラメータの不確かさをモデル化するための,ベイズ学習に基づくDNN話者適応フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-12-14T12:30:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。