Fugu-MT 論文翻訳(概要): End-to-End Speech Recognition from Federated Acoustic Models

論文の概要: End-to-End Speech Recognition from Federated Acoustic Models

arxiv url: http://arxiv.org/abs/2104.14297v1
Date: Thu, 29 Apr 2021 12:31:57 GMT
ステータス: 処理完了
システム内更新日: 2021-04-30 12:42:12.669120
Title: End-to-End Speech Recognition from Federated Acoustic Models
Title（参考訳）: フェデレーション音響モデルを用いたエンドツーエンド音声認識
Authors: Yan Gao, Titouan Parcollet, Javier Fernandez-Marques, Pedro P. B. de Gusmao, Daniel J. Beutel, Nicholas D. Lane
Abstract要約: フランスのCommon Voiceデータセットを使用して、挑戦的で現実的なASRフェデレーション実験セットアップを構築します。本稿では,3つのアグリゲーション重み付け戦略を持つ注意に基づくシーケンス・ツー・シーケンス型E2E ASRモデルに関する実験的検討を行った。
参考スコア（独自算出の注目度）: 21.25612872782653
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Training Automatic Speech Recognition (ASR) models under federated learning (FL) settings has recently attracted considerable attention. However, the FL scenarios often presented in the literature are artificial and fail to capture the complexity of real FL systems. In this paper, we construct a challenging and realistic ASR federated experimental setup consisting of clients with heterogeneous data distributions using the French Common Voice dataset, a large heterogeneous dataset containing over 10k speakers. We present the first empirical study on attention-based sequence-to-sequence E2E ASR model with three aggregation weighting strategies -- standard FedAvg, loss-based aggregation and a novel word error rate (WER)-based aggregation, are conducted in two realistic FL scenarios: cross-silo with 10-clients and cross-device with 2k-clients. In particular, the WER-based weighting method is proposed to better adapt FL to the context of ASR by integrating the error rate metric with the aggregation process. Our analysis on E2E ASR from heterogeneous and realistic federated acoustic models provides the foundations for future research and development of realistic FL-based ASR applications.
Abstract（参考訳）: 連合学習(fl)環境下での自動音声認識(asr)モデルのトレーニングが注目されている。しかしながら、文献でしばしば提示されるflシナリオは人工的であり、実際のflシステムの複雑さを捉えることができない。本稿では,フレンチ・コモン・ボイス・データセットを用いて,不均一なデータ分布を持つクライアントからなる,挑戦的で現実的なASRフェデレーション実験装置を構築した。本稿では,3つの集約戦略 – 標準FedAvg,損失ベースアグリゲーション,新しい単語誤り率(WER)ベースのアグリゲーション – を持つ注意ベースシーケンス・ツー・シーケンスE2E ASRモデルに関する実証的研究を,2つの現実的FLシナリオで実施する。特に, WERに基づく重み付け法は, 誤差レートの計量を集約プロセスに統合することにより, FLをASRの文脈に適応させる。異種および現実的な連合音響モデルからのE2E ASRの解析は、現実的なFLベースのASRアプリケーションの開発と研究の基盤となる。

関連論文リスト

FedTSA: A Cluster-based Two-Stage Aggregation Method for Model-heterogeneous Federated Learning [10.254813698006103]
FedTSAは、フェデレートラーニング(FL)におけるシステム不均一性に適したクラスタベースの2段階アグリゲーション手法である我々は,FedTSAがベースラインを上回り,モデル性能に影響を及ぼす様々な要因を探索することを示す。
論文参考訳（メタデータ） (2024-07-06T14:59:55Z)
Over-the-Air Federated Learning and Optimization [52.5188988624998]
エッジ・ザ・エア計算(AirComp)によるフェデレーション学習(FL)に焦点を当てる。本稿では,AirComp ベースの FedAvg (AirFedAvg) アルゴリズムの凸および非凸条件下での収束について述べる。エッジデバイス(モデル、勾配、モデル差など)で送信できるローカルアップデートの種類によって、AirFedAvgで送信するとアグリゲーションエラーが発生する可能性がある。さらに、より実用的な信号処理方式を検討し、通信効率を改善し、これらの信号処理方式によって引き起こされるモデル集約誤差の異なる形式に収束解析を拡張する。
論文参考訳（メタデータ） (2023-10-16T05:49:28Z)
Semi-Federated Learning: Convergence Analysis and Optimization of A Hybrid Learning Framework [70.83511997272457]
本稿では,ベースステーション(BS)とデバイスの両方を活用するセミフェデレーション学習(SemiFL)パラダイムを提案し,中央集権学習(CL)とFLのハイブリッド実装を提案する。我々はこの難解な問題を解くための2段階のアルゴリズムを提案し、ビームフォーマに閉形式解を提供する。
論文参考訳（メタデータ） (2023-10-04T03:32:39Z)
Importance of Smoothness Induced by Optimizers in FL4ASR: Towards Understanding Federated Learning for End-to-End ASR [12.108696564200052]
フェデレートラーニング(FL)を用いたエンドツーエンド自動音声認識(ASR)モデルの訓練から始める。 FLを用いて訓練したモデルと,その集中型モデルとの単語誤り率の観点から,性能ギャップを最小化する上で重要な基本的考察について検討する。
論文参考訳（メタデータ） (2023-09-22T17:23:01Z)
DRFLM: Distributionally Robust Federated Learning with Inter-client Noise via Local Mixup [58.894901088797376]
連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。上記の2つの課題を同時に解決するための一般的な枠組みを提案する。我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
論文参考訳（メタデータ） (2022-04-16T08:08:29Z)
Decentralized Event-Triggered Federated Learning with Heterogeneous Communication Thresholds [12.513477328344255]
ネットワークグラフトポロジ上での非同期なイベントトリガーによるコンセンサス反復による分散モデルアグリゲーションのための新しい手法を提案する。本手法は,分散学習とグラフコンセンサス文学における標準的な仮定の下で,グローバルな最適学習モデルを実現することを実証する。
論文参考訳（メタデータ） (2022-04-07T20:35:37Z)
Deliberation Model for On-Device Spoken Language Understanding [69.5587671262691]
我々は、エンドツーエンド(E2E)音声言語理解(SLU)に対する新しい議論に基づくアプローチを提案する。提案手法は,自然言語から合成音声訓練に移行する際の劣化を著しく低減できることを示す。
論文参考訳（メタデータ） (2022-04-04T23:48:01Z)
Attention-based Multi-hypothesis Fusion for Speech Summarization [83.04957603852571]
音声認識(ASR)とテキスト要約(TS)を組み合わせることで、音声要約を実現することができる ASR誤差はカスケード法における出力要約の品質に直接影響する。本稿では、ASRの誤りに対して頑健なカスケード音声要約モデルを提案し、ASRが生成した複数の仮説を利用して、ASRの誤りが要約に与える影響を緩和する。
論文参考訳（メタデータ） (2021-11-16T03:00:29Z)
Federated Ensemble Model-based Reinforcement Learning in Edge Computing [21.840086997141498]
フェデレートラーニング(Federated Learning、FL)は、プライバシ保護のための分散機械学習パラダイムである。モデルベースRLとアンサンブル知識蒸留をFLに効果的に組み込む新しいFRLアルゴリズムを提案する。具体的には、FLと知識蒸留を利用して、クライアント向けの動的モデルのアンサンブルを作成し、環境と相互作用することなく、単にアンサンブルモデルを使用することでポリシーを訓練する。
論文参考訳（メタデータ） (2021-09-12T16:19:10Z)
Fine-tuning of Pre-trained End-to-end Speech Recognition with Generative Adversarial Networks [10.723935272906461]
近年, GAN (Generative Adversarial Network) を用いたエンド・ツー・エンド(E2E) ASRシステムの対戦訓練について検討している。 GAN目標を用いた事前学習型ASRモデルの微調整のための新しいフレームワークを提案する。提案手法は,ベースラインと従来のGANベースの対戦モデルより優れている。
論文参考訳（メタデータ） (2021-03-10T17:40:48Z)
Joint Contextual Modeling for ASR Correction and Language Understanding [60.230013453699975]
言語理解(LU)と協調してASR出力の文脈的言語補正を行うマルチタスクニューラルアプローチを提案する。そこで本研究では,市販のASRおよびLUシステムの誤差率を,少量のドメイン内データを用いてトレーニングしたジョイントモデルと比較して14%削減できることを示した。
論文参考訳（メタデータ） (2020-01-28T22:09:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。