論文の概要: Federated Marginal Personalization for ASR Rescoring

• arxiv url: http://arxiv.org/abs/2012.00898v1
• Date: Tue, 1 Dec 2020 23:54:41 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-30 20:09:19.937118
• Title: Federated Marginal Personalization for ASR Rescoring
• Title（参考訳）: ASR再構成のためのFederated Marginal Personalization
• Authors: Zhe Liu, Fuchun Peng
• Abstract要約: Federated marginal Personalization(FMP)は、フェデレートラーニング(FL)を用いた個人用デバイス上でのパーソナライズされたニューラルネットワーク言語モデル(NNLM)を継続的に更新する新しい方法である。 FMPは、単語のグローバルおよびパーソナライズされた辺縁分布を定期的に推定し、各単語固有の適応係数によってNNLMから確率を調整する。 2つの音声評価データセットによる実験は、最小単語誤り率(WER)の低下を示す。
• 参考スコア（独自算出の注目度）: 13.086007347727206
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce federated marginal personalization (FMP), a novel method for continuously updating personalized neural network language models (NNLMs) on private devices using federated learning (FL). Instead of fine-tuning the parameters of NNLMs on personal data, FMP regularly estimates global and personalized marginal distributions of words, and adjusts the probabilities from NNLMs by an adaptation factor that is specific to each word. Our presented approach can overcome the limitations of federated fine-tuning and efficiently learn personalized NNLMs on devices. We study the application of FMP on second-pass ASR rescoring tasks. Experiments on two speech evaluation datasets show modest word error rate (WER) reductions. We also demonstrate that FMP could offer reasonable privacy with only a negligible cost in speech recognition accuracy.
• Abstract（参考訳）: 本稿では,federated marginal personalization (fmp) について紹介する。federated learning (fl) を用いた個人用ニューラルネットワークモデル(nnlms)の連続更新手法である。 FMPは、個人データに基づいてNNLMのパラメータを微調整する代わりに、グローバルおよびパーソナライズされた単語の辺縁分布を定期的に推定し、各単語固有の適応係数によってNNLMの確率を調整する。 提案手法は,federated fine-tuningの限界を克服し,デバイス上でパーソナライズされたnnlmを効率的に学習する。 第二パスASR再構成タスクにおけるFMPの適用について検討する。 2つの音声評価データセットに関する実験では、控えめな単語誤り率(wer)低減を示す。 また、FMPが音声認識精度を無視できるコストで適切なプライバシーを提供できることを示した。

関連論文リスト

• DP-DyLoRA: Fine-Tuning Transformer-Based Models On-Device under Differentially Private Federated Learning using Dynamic Low-Rank Adaptation [15.023077875990614]
  フェデレートラーニング(FL)は、クライアントがローカルデータをサーバと共有することなく、グローバルモデルを協調的にトレーニングすることを可能にする。 差分プライバシ(DP)は、クライアントのコントリビューションにランダム性を加えるメカニズムを備えた、正式なプライバシ保証を提供することによって、そのようなリークに対処する。 差分プライバシーと組み合わせてDP-DyLoRAと呼ぶ適応手法を提案する。
  論文  参考訳（メタデータ） (2024-05-10T10:10:37Z)
• Personalized LLM Response Generation with Parameterized Memory Injection [19.417549781029233]
  大規模言語モデル(LLM)は、自然言語の理解と生成に優れた能力を発揮している。 パーソナライズされたLSM応答生成は、医療などの重要な分野の個人に多大な利益をもたらす可能性がある。
  論文  参考訳（メタデータ） (2024-04-04T16:20:34Z)
• Lattice Rescoring Based on Large Ensemble of Complementary Neural Language Models [50.164379437671904]
  本研究では, 音声認識仮説に基づく格子再構成における, 高度なニューラルネットワークモデル (NLM) の大規模なアンサンブルの有効性について検討する。 講義音声コーパスを用いた実験では,8つのNLMを組み合わせ,文脈担持を用いて,ASR 1-bestベースラインから24.4%の単語誤り率を低減した。
  論文  参考訳（メタデータ） (2023-12-20T04:52:24Z)
• Federated Full-Parameter Tuning of Billion-Sized Language Models with Communication Cost under 18 Kilobytes [53.4856038354195]
  事前訓練された大規模言語モデル(LLM)は、自然言語命令に対する応答性を改善するために微調整が必要である。 FedKSeedは、ランダムシードの有限セットによるゼロ階最適化を採用している。 サーバとクライアント間の通信要求を大幅に減らし、ランダムなシードをわずかに減らします。
  論文  参考訳（メタデータ） (2023-12-11T13:03:21Z)
• ZooPFL: Exploring Black-box Foundation Models for Personalized Federated Learning [95.64041188351393]
  本稿では,限られた資源とパーソナライゼーションの両課題を解決しようと試みる。 個人化フェデレート学習におけるゼロ階最適化を用いたZOOPFLという手法を提案する。 計算コストの削減とパーソナライゼーションの向上を目的として,低次元およびクライアント固有の埋め込みを持つオートエンコーダを組み込む入力手術を提案する。
  論文  参考訳（メタデータ） (2023-10-08T12:26:13Z)
• HyPoradise: An Open Baseline for Generative Speech Recognition with Large Language Models [81.56455625624041]
  ASRの誤り訂正に外部の大規模言語モデル(LLM)を利用する最初のオープンソースベンチマークを導入する。 提案したベンチマークには、334,000組以上のN-best仮説を含む新しいデータセットHyPoradise (HP)が含まれている。 合理的なプロンプトと生成能力を持つLLMは、N-bestリストに欠けているトークンを修正できる。
  論文  参考訳（メタデータ） (2023-09-27T14:44:10Z)
• An Experimental Study on Private Aggregation of Teacher Ensemble Learning for End-to-End Speech Recognition [51.232523987916636]
  差分プライバシー(DP)は、プライバシーデータにノイズのある歪みを課すことで、深層モデルのトレーニングに使用されるユーザー情報を保護するための1つのデータ保護手段である。 本研究では、PATE学習を動的パターン、すなわち音声を扱うように拡張し、音響データの漏洩を避けるために、ASRに関する最初の実験を行う。
  論文  参考訳（メタデータ） (2022-10-11T16:55:54Z)
• Neural-FST Class Language Model for End-to-End Speech Recognition [30.670375747577694]
  エンドツーエンド音声認識のためのニューラルFSTクラス言語モデル(NFCLM)を提案する。 その結果,NFCLMは単語誤り率においてNNLMを15.8%上回っていることがわかった。
  論文  参考訳（メタデータ） (2022-01-28T00:20:57Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)
• Private Language Model Adaptation for Speech Recognition [15.726921748859393]
  音声モデルの適応は、サーバ側のプロキシトレーニングデータとユーザのローカルデバイスで受信した実際のデータとの相違を扱うために不可欠である。 本稿では,ニューラルネットワーク言語モデル(NNLM)を,音声認識に応用したプライベートデバイスに継続的に適用するための効率的なアプローチを提案する。
  論文  参考訳（メタデータ） (2021-09-28T00:15:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。