論文の概要: Decoupled Federated Learning for ASR with Non-IID Data

• arxiv url: http://arxiv.org/abs/2206.09102v1
• Date: Sat, 18 Jun 2022 03:44:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-22 18:46:56.859930
• Title: Decoupled Federated Learning for ASR with Non-IID Data
• Title（参考訳）: 非IIDデータを用いたASRの非結合型フェデレーション学習
• Authors: Han Zhu, Jindong Wang, Gaofeng Cheng, Pengyuan Zhang, Yonghong Yan
• Abstract要約: FLをベースとしたASRにおける非IID問題に,各クライアントのパーソナライズされたモデルを学習するパーソナライズされたFLを用いて対処する。 FLをベースとした2つのパーソナライズされたASRアプローチがFedAvgと比較してWERを2.3%から3.4%削減できることを示した。
• 参考スコア（独自算出の注目度）: 34.59790627669783
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Automatic speech recognition (ASR) with federated learning (FL) makes it possible to leverage data from multiple clients without compromising privacy. The quality of FL-based ASR could be measured by recognition performance, communication and computation costs. When data among different clients are not independently and identically distributed (non-IID), the performance could degrade significantly. In this work, we tackle the non-IID issue in FL-based ASR with personalized FL, which learns personalized models for each client. Concretely, we propose two types of personalized FL approaches for ASR. Firstly, we adapt the personalization layer based FL for ASR, which keeps some layers locally to learn personalization models. Secondly, to reduce the communication and computation costs, we propose decoupled federated learning (DecoupleFL). On one hand, DecoupleFL moves the computation burden to the server, thus decreasing the computation on clients. On the other hand, DecoupleFL communicates secure high-level features instead of model parameters, thus reducing communication cost when models are large. Experiments demonstrate two proposed personalized FL-based ASR approaches could reduce WER by 2.3% - 3.4% compared with FedAvg. Among them, DecoupleFL has only 11.4% communication and 75% computation cost compared with FedAvg, which is also significantly less than the personalization layer based FL.
• Abstract（参考訳）: 統合学習(FL)を用いた自動音声認識(ASR)により、プライバシーを損なうことなく、複数のクライアントのデータを活用することができる。 FLベースのASRの品質は、認識性能、通信、計算コストによって測定できる。 異なるクライアント間のデータが独立かつ同一の分散(非iid)ではない場合、パフォーマンスは著しく低下する可能性がある。 本研究では、クライアント毎にパーソナライズされたモデルを学ぶパーソナライズされたflを用いて、flベースのasrにおける非iid問題に取り組む。 具体的には,asrに対して2種類のパーソナライズしたflアプローチを提案する。 まず、ASRのパーソナライズ層に基づくFLを適用し、いくつかのレイヤをローカルに保持してパーソナライズモデルを学習する。 第2に,コミュニケーションと計算コストを削減するために,非結合型連合学習(DecoupleFL)を提案する。 一方、DecoupleFLは計算負荷をサーバに移動させ、クライアントの計算量を減少させる。 一方、DecoupleFLはモデルパラメータの代わりにセキュアな高レベル機能を通信し、モデルが大きい場合の通信コストを低減する。 FLベースのASRアプローチを提案する2つの実験は、FedAvgと比較してWERを2.3%削減できることを示した。 中でもDecoupleFLは、FedAvgに比べてわずか11.4%の通信と75%の計算コストしか持たない。

関連論文リスト

• Revisiting Ensembling in One-Shot Federated Learning [9.02411690527967]
  ワンショットフェデレーション学習(OFL)は、クライアントとサーバ間のモデルの反復的な交換を1ラウンドの通信で交換する。 FLの精度とOFLの通信効率を両立させる新しい連合型アンサンブル方式であるFENSを導入する。 FENSは最先端(SOTA) OFLよりも26.9%高い精度で、FLよりもわずか3.1%低い。
  論文  参考訳（メタデータ） (2024-11-11T17:58:28Z)
• SpaFL: Communication-Efficient Federated Learning with Sparse Models and Low computational Overhead [75.87007729801304]
  SpaFL: 計算オーバーヘッドの少ないスパースモデル構造を最適化する通信効率のよいFLフレームワークを提案する。 実験により、スパースベースラインに比べて通信やコンピューティングリソースをはるかに少なくし、精度を向上することが示された。
  論文  参考訳（メタデータ） (2024-06-01T13:10:35Z)
• Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
  Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。 本稿では,FedInsという新しいFLアルゴリズムを提案する。 我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-11T09:58:47Z)
• User-Centric Federated Learning: Trading off Wireless Resources for Personalization [18.38078866145659]
  フェデレートラーニング(FL)システムでは、統計的不均一性はアルゴリズム収束時間を増やし、一般化性能を低下させる。 FLが課すプライバシー制約に違反することなく、上記の問題に対処するためには、パーソナライズされたFLメソッドは、データに直接アクセスすることなく、統計的に類似したクライアントを結合する必要がある。 本研究では,容易に利用できる勾配情報に基づいて,FLクライアント毎にパーソナライズされたモデルを生成可能なユーザ中心集約ルールを設計する。 提案アルゴリズムは,平均精度,ノード性能,通信オーバヘッドの訓練において,パーソナライズされたFLベースラインを上回っている。
  論文  参考訳（メタデータ） (2023-04-25T15:45:37Z)
• Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
  フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。 FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。 SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。 本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-20T10:49:22Z)
• Sparse Federated Learning with Hierarchical Personalized Models [24.763028713043468]
  フェデレートラーニング(FL)は、ユーザのプライベートデータを収集することなく、プライバシセーフで信頼性の高い協調トレーニングを実現する。 階層型パーソナライズされたモデルを用いたスパースフェデレーション学習(sFedHP)という,モロー包絡に基づく階層型近位写像を用いたパーソナライズされたFLアルゴリズムを提案する。 また、連続的に微分可能な近似L1ノルムをスパース制約として使用して通信コストを低減させる。
  論文  参考訳（メタデータ） (2022-03-25T09:06:42Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• Achieving Personalized Federated Learning with Sparse Local Models [75.76854544460981]
  フェデレートラーニング(FL)は異種分散データに対して脆弱である。 この問題に対処するため、個人ごとに専用のローカルモデルを作成するためにパーソナライズされたFL(PFL)が提案された。 既存のPFLソリューションは、異なるモデルアーキテクチャに対する不満足な一般化を示すか、あるいは膨大な余分な計算とメモリを犠牲にするかのどちらかである。 我々は、パーソナライズされたスパースマスクを用いて、エッジ上のスパースローカルモデルをカスタマイズする新しいPFLスキームFedSpaを提案する。
  論文  参考訳（メタデータ） (2022-01-27T08:43:11Z)
• Personalized Federated Learning for Heterogeneous Clients with Clustered Knowledge Transfer [25.041895804188748]
  PerFed-CKT では,クライアントが異種モデルを利用することができ,モデルパラメータを直接通信することができない。 PerFed-CKTは、最先端のパーソナライズされたFL方式と比較して、数桁の通信コストで高いテスト精度を実現する。
  論文  参考訳（メタデータ） (2021-09-16T17:13:53Z)
• Dynamic Attention-based Communication-Efficient Federated Learning [85.18941440826309]
  フェデレートラーニング(FL)は、グローバル機械学習モデルをトレーニングするためのソリューションを提供する。 FLは、クライアントデータの分散が非IIDであるときに性能劣化に悩まされる。 本稿では,この劣化に対処するために,新しい適応トレーニングアルゴリズムであるtextttAdaFL$を提案する。
  論文  参考訳（メタデータ） (2021-08-12T14:18:05Z)
• Personalized Federated Learning via Maximizing Correlation with Sparse and Hierarchical Extensions [14.862798952297105]
  Federated Learning(FL)は、クライアントのプライベートデータを取得することなくグローバルモデルをトレーニングするための、協調的な機械学習技術である。 相関関係を最大化するpFedMacを用いた新しい個人化フェデレーション学習を提案する。 pFedMac は L2-norm 距離に基づくパーソナライズ手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-07-12T11:43:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。