論文の概要: Differentially Private Adapters for Parameter Efficient Acoustic Modeling

• arxiv url: http://arxiv.org/abs/2305.11360v1
• Date: Fri, 19 May 2023 00:36:43 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-22 16:50:41.846140
• Title: Differentially Private Adapters for Parameter Efficient Acoustic Modeling
• Title（参考訳）: パラメータ効率的な音響モデルのための微分プライベートアダプタ
• Authors: Chun-Wei Ho, Chao-Han Huck Yang, Sabato Marco Siniscalchi
• Abstract要約: 従来の適応方式に雑音の多い教師と学生のアンサンブルを導入する。 凍結事前学習音響モデルの層間に残留アダプタを挿入する。 我々の解は、RAを用いてトレーニング可能なパラメータの数を97.5%削減する。
• 参考スコア（独自算出の注目度）: 24.72748979633543
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: In this work, we devise a parameter-efficient solution to bring differential privacy (DP) guarantees into adaptation of a cross-lingual speech classifier. We investigate a new frozen pre-trained adaptation framework for DP-preserving speech modeling without full model fine-tuning. First, we introduce a noisy teacher-student ensemble into a conventional adaptation scheme leveraging a frozen pre-trained acoustic model and attain superior performance than DP-based stochastic gradient descent (DPSGD). Next, we insert residual adapters (RA) between layers of the frozen pre-trained acoustic model. The RAs reduce training cost and time significantly with a negligible performance drop. Evaluated on the open-access Multilingual Spoken Words (MLSW) dataset, our solution reduces the number of trainable parameters by 97.5% using the RAs with only a 4% performance drop with respect to fine-tuning the cross-lingual speech classifier while preserving DP guarantees.
• Abstract（参考訳）: 本研究では,言語間音声分類器の適応化に差分プライバシ(DP)を保証するパラメータ効率のソリューションを提案する。 完全モデル微調整を伴わないDP保存音声モデリングのための新しい凍結事前学習適応フレームワークについて検討する。 まず,凍結事前学習音響モデルを用いた従来の適応方式に雑音の多い教師学生のアンサンブルを導入し,DPに基づく確率勾配降下(DPSGD)よりも優れた性能を実現する。 次に,凍結事前学習音響モデルの層間に残留アダプタ(RA)を挿入する。 rasは性能低下によりトレーニングコストと時間を大幅に削減する。 オープンアクセス型マルチリンガル音声単語(MLSW)データセットに基づいて,DP保証を保ちながら言語間音声分類器の微調整を行うため,RAを用いて訓練可能なパラメータ数を97.5%削減する。

関連論文リスト

• Self-supervised Pretraining for Robust Personalized Voice Activity Detection in Adverse Conditions [0.0]
  我々は、自己回帰予測符号化フレームワークを用いて、長期記憶(LSTM)エンコーダを事前訓練する。 パーソナライズされたVADのロバスト性を改善することを目的として,APCのデノベーション版も提案する。 実験の結果, 自己指導型プレトレーニングは, 清潔な条件下での性能を向上させるだけでなく, 悪条件に対してより堅牢なモデルが得られることがわかった。
  論文  参考訳（メタデータ） (2023-12-27T15:36:17Z)
• Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
  本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。 提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。 実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-11-20T11:56:25Z)
• Low-rank Adaptation of Large Language Model Rescoring for Parameter-Efficient Speech Recognition [32.24656612803592]
  音声認識出力再構成のための低ランク適応(LoRA)に基づくニューラルネットワークモデリングシステムを提案する。 本稿では,低ランク分解に基づく手法を提案し,事前訓練されたパラメータのごく一部だけを用いて,リスコリングBERTモデルをトレーニングし,新しい領域に適応させる。 提案した低ランク適応型Rescore-BERT(LoRB)アーキテクチャは、LibriSpeechおよび内部データセット上で5.4から3.6の因子でトレーニング時間を短縮した上で評価される。
  論文  参考訳（メタデータ） (2023-09-26T19:41:34Z)
• Parameter-Efficient Learning for Text-to-Speech Accent Adaptation [58.356667204518985]
  本稿では、テキスト音声(TTS)のための低リソースアクセント適応を開発するためのパラメータ効率学習(PEL)を提案する。 冷凍前訓練TSモデルからの資源効率適応は、元のトレーニング可能なパラメータの1.2%から0.8%しか使用していない。 実験結果から,提案手法はパラメータ効率の高いデコーダの微調整により,自然度と競合できることがわかった。
  論文  参考訳（メタデータ） (2023-05-18T22:02:59Z)
• Prompt Tuning of Deep Neural Networks for Speaker-adaptive Visual Speech Recognition [66.94463981654216]
  話者適応型視覚音声認識(VSR)のためのディープニューラルネットワーク(DNN)の即時チューニング手法を提案する。 我々は、事前訓練されたモデルパラメータを変更する代わりに、ターゲット話者の適応データを微調整する。 提案手法の有効性を単語レベルのVSRデータベースと文レベルのVSRデータベースで評価した。
  論文  参考訳（メタデータ） (2023-02-16T06:01:31Z)
• An Ensemble Teacher-Student Learning Approach with Poisson Sub-sampling to Differential Privacy Preserving Speech Recognition [51.20130423303659]
  本稿では,Poissonサブサンプルを用いたアンサンブル学習フレームワークを提案する。 DP下での強化を通じて、トレーニングデータから派生した学生モデルは、プライバシ保護なしでトレーニングされたモデルからほとんどモデル劣化を受けない。 提案手法は,<i>Poisson sub-sampling</i>によるプライバシ予算の増幅を行い,同じレベルのプライバシ予算を達成するためにノイズの少ないターゲット予測モデルをトレーニングする。
  論文  参考訳（メタデータ） (2022-10-12T16:34:08Z)
• An Experimental Study on Private Aggregation of Teacher Ensemble Learning for End-to-End Speech Recognition [51.232523987916636]
  差分プライバシー(DP)は、プライバシーデータにノイズのある歪みを課すことで、深層モデルのトレーニングに使用されるユーザー情報を保護するための1つのデータ保護手段である。 本研究では、PATE学習を動的パターン、すなわち音声を扱うように拡張し、音響データの漏洩を避けるために、ASRに関する最初の実験を行う。
  論文  参考訳（メタデータ） (2022-10-11T16:55:54Z)
• A Unified Speaker Adaptation Approach for ASR [37.76683818356052]
  本稿では,特徴適応とモデル適応からなる統一話者適応手法を提案する。 特徴適応には話者認識型永続記憶モデルを用い、未確認話者に対してより良く一般化する。 モデル適応には、モデルアーキテクチャを変更することなく、新たな段階的なプルーニング手法を用いてターゲット話者に適応する。
  論文  参考訳（メタデータ） (2021-10-16T10:48:52Z)
• Bayesian Learning for Deep Neural Network Adaptation [57.70991105736059]
  音声認識システムにおける重要な課題は、しばしば話者差に起因する訓練データと評価データとのミスマッチを減らすことである。 モデルに基づく話者適応手法は、ロバスト性を確保するために十分な量のターゲット話者データを必要とすることが多い。 本稿では,話者依存型(SD)パラメータの不確かさをモデル化するための,ベイズ学習に基づくDNN話者適応フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-12-14T12:30:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。