論文の概要: Private Language Model Adaptation for Speech Recognition

• arxiv url: http://arxiv.org/abs/2110.10026v1
• Date: Tue, 28 Sep 2021 00:15:43 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-24 04:27:36.422935
• Title: Private Language Model Adaptation for Speech Recognition
• Title（参考訳）: 音声認識のためのプライベート言語モデル適応
• Authors: Zhe Liu, Ke Li, Shreyan Bakshi, Fuchun Peng
• Abstract要約: 音声モデルの適応は、サーバ側のプロキシトレーニングデータとユーザのローカルデバイスで受信した実際のデータとの相違を扱うために不可欠である。 本稿では,ニューラルネットワーク言語モデル(NNLM)を,音声認識に応用したプライベートデバイスに継続的に適用するための効率的なアプローチを提案する。
• 参考スコア（独自算出の注目度）: 15.726921748859393
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Speech model adaptation is crucial to handle the discrepancy between server-side proxy training data and actual data received on users' local devices. With the use of federated learning (FL), we introduce an efficient approach on continuously adapting neural network language models (NNLMs) on private devices with applications on automatic speech recognition (ASR). To address the potential speech transcription errors in the on-device training corpus, we perform empirical studies on comparing various strategies of leveraging token-level confidence scores to improve the NNLM quality in the FL settings. Experiments show that compared with no model adaptation, the proposed method achieves relative 2.6% and 10.8% word error rate (WER) reductions on two speech evaluation datasets, respectively. We also provide analysis in evaluating privacy guarantees of our presented procedure.
• Abstract（参考訳）: 音声モデルの適応は、サーバ側のプロキシトレーニングデータとユーザのローカルデバイスで受信した実際のデータとの相違を扱うために重要である。 フェデレート・ラーニング(FL)を用いることで,ニューラルネットワーク言語モデル(NNLM)を,自動音声認識(ASR)に応用したプライベートデバイスに継続的に適用するための効率的なアプローチを導入する。 オンデバイス学習コーパスにおける音声認識誤りの可能性に対処するために,トークンレベルの信頼度スコアを用いてfl設定におけるnnlm品質を改善するための各種戦略の比較実験を行った。 実験により,提案手法は2つの音声評価データセットにおいて,2.6%,10.8%の単語誤り率 (wer) 削減を達成した。 また,提案手法のプライバシー保証を評価する上でも分析を行う。

関連論文リスト

• Self-supervised Adaptive Pre-training of Multilingual Speech Models for Language and Dialect Identification [19.893213508284813]
  目標領域や下流タスクの言語に事前学習モデルを適用するために,自己教師付き適応型事前学習を提案する。 SPTはFLEURSベンチマークのXLSR性能を向上し、表現不足言語では40.1%まで向上することを示した。
  論文  参考訳（メタデータ） (2023-12-12T14:58:08Z)
• Mispronunciation detection using self-supervised speech representations [10.010024759851142]
  本稿では,第2言語学習者の誤発音検出作業におけるSSLモデルの利用について検討する。 そこで本研究では,1)母国英語データを用いた音声認識モデルの訓練,2)非母国英語データを用いた目標タスクのためのモデルを直接訓練する,という2つのダウンストリームアプローチを比較した。
  論文  参考訳（メタデータ） (2023-07-30T21:20:58Z)
• From English to More Languages: Parameter-Efficient Model Reprogramming for Cross-Lingual Speech Recognition [50.93943755401025]
  言語間音声認識のためのニューラルモデル再プログラミングに基づく新しいパラメータ効率学習フレームワークを提案する。 我々は、学習可能な事前学習機能強化に焦点を当てた、異なる補助的ニューラルネットワークアーキテクチャを設計する。 提案手法は,既存のASRチューニングアーキテクチャとその拡張性能を自己監督的損失で向上させる。
  論文  参考訳（メタデータ） (2023-01-19T02:37:56Z)
• Automatic Pronunciation Assessment using Self-Supervised Speech Representation Learning [13.391307807956673]
  自己教師付き学習(SSL)モデルに基づく新しい発音評価手法を提案する。 提案手法は,英単語学習者の英語発音に適応するために,事前学習したSSLモデルを接続型時間分類で微調整する。 提案手法は,韓国のESL学習者とSpeechocean762のデータセットに基づいて,ピアソン相関係数を用いてベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-04-08T06:13:55Z)
• Privacy attacks for automatic speech recognition acoustic models in a federated learning framework [5.1229352884025845]
  Indicatorデータセット上のニューラルネットワークフットプリントに基づいて,ニューラルネットワークAMの情報を解析する手法を提案する。 TED-Lium 3コーパスの実験では、提案手法は非常に効果的であり、EERが1-2%と等しいことが示されている。
  論文  参考訳（メタデータ） (2021-11-06T02:08:13Z)
• LDNet: Unified Listener Dependent Modeling in MOS Prediction for Synthetic Speech [67.88748572167309]
  本稿では,平均世論スコア(MOS)予測のための統合フレームワークLDNetを提案する。 より安定した結果と効率的な計算を提供する2つの推論手法を提案する。
  論文  参考訳（メタデータ） (2021-10-18T08:52:31Z)
• Fast Contextual Adaptation with Neural Associative Memory for On-Device Personalized Speech Recognition [16.367495908535894]
  本稿では,デコーダに依存しない,デバイス上のパーソナライズに適した,モデルに基づくエンドツーエンドのコンテキスト適応手法を提案する。 デバイス上でのシミュレーション実験により,提案手法は従来手法よりも12%高い性能を示した。
  論文  参考訳（メタデータ） (2021-10-05T00:33:09Z)
• Factorized Neural Transducer for Efficient Language Model Adaptation [51.81097243306204]
  空白および語彙予測を分解し,ニューラルトランスデューサの因子化モデルを提案する。 この因子化は、音声認識のためのトランスデューサにスタンドアロン言語モデルの改善を移すことが期待できる。 提案した因子化ニューラルトランスデューサは、言語モデル適応にドメイン外テキストデータを使用する場合、15%から20%のWER改善が得られることを示す。
  論文  参考訳（メタデータ） (2021-09-27T15:04:00Z)
• Unsupervised neural adaptation model based on optimal transport for spoken language identification [54.96267179988487]
  トレーニングセットとテストセット間の音響音声の統計的分布のミスマッチにより,音声言語識別(SLID)の性能が大幅に低下する可能性がある。 SLIDの分布ミスマッチ問題に対処するために,教師なしニューラル適応モデルを提案する。
  論文  参考訳（メタデータ） (2020-12-24T07:37:19Z)
• Rnn-transducer with language bias for end-to-end Mandarin-English code-switching speech recognition [58.105818353866354]
  本稿では,言語バイアスを考慮したリカレントニューラルネットワークトランスデューサ(RNN-T)モデルを提案する。 我々は、CSの点を予測するためにモデルにバイアスを与えるために、言語アイデンティティを使用する。 これにより、言語識別情報を転写から直接学習するモデルが促進され、追加のLIDモデルが不要になる。
  論文  参考訳（メタデータ） (2020-02-19T12:01:33Z)
• Joint Contextual Modeling for ASR Correction and Language Understanding [60.230013453699975]
  言語理解(LU)と協調してASR出力の文脈的言語補正を行うマルチタスクニューラルアプローチを提案する。 そこで本研究では,市販のASRおよびLUシステムの誤差率を,少量のドメイン内データを用いてトレーニングしたジョイントモデルと比較して14%削減できることを示した。
  論文  参考訳（メタデータ） (2020-01-28T22:09:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。