論文の概要: Communication-Efficient Agnostic Federated Averaging

• arxiv url: http://arxiv.org/abs/2104.02748v1
• Date: Tue, 6 Apr 2021 19:01:18 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-08 12:43:53.002326
• Title: Communication-Efficient Agnostic Federated Averaging
• Title（参考訳）: コミュニケーション効率の良いAgnostic Federated Averaging
• Authors: Jae Ro, Mingqing Chen, Rajiv Mathews, Mehryar Mohri, Ananda Theertha Suresh
• Abstract要約: 分散学習の設定では、トレーニングアルゴリズムは異なるクライアントに対してバイアスされる可能性がある。 我々は,Mohriらが開発したドメインに依存しない目的を最小化するために,Agnostic Federated Averaging(AgnosticFedAvg)と呼ばれる通信効率の高い分散アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 39.761808414613185
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In distributed learning settings such as federated learning, the training algorithm can be potentially biased towards different clients. Mohri et al. (2019) proposed a domain-agnostic learning algorithm, where the model is optimized for any target distribution formed by a mixture of the client distributions in order to overcome this bias. They further proposed an algorithm for the cross-silo federated learning setting, where the number of clients is small. We consider this problem in the cross-device setting, where the number of clients is much larger. We propose a communication-efficient distributed algorithm called Agnostic Federated Averaging (or AgnosticFedAvg) to minimize the domain-agnostic objective proposed in Mohri et al. (2019), which is amenable to other private mechanisms such as secure aggregation. We highlight two types of naturally occurring domains in federated learning and argue that AgnosticFedAvg performs well on both. To demonstrate the practical effectiveness of AgnosticFedAvg, we report positive results for large-scale language modeling tasks in both simulation and live experiments, where the latter involves training language models for Spanish virtual keyboard for millions of user devices.
• Abstract（参考訳）: フェデレーション学習のような分散学習環境では、トレーニングアルゴリズムは異なるクライアントに対してバイアスを負う可能性がある。 mohriとal。 (2019) はドメインに依存しない学習アルゴリズムを提案し,このバイアスを克服するために,クライアント分布の混合によって生成されたターゲット分布に対してモデルを最適化する。 さらに彼らは、クライアント数が少ないクロスサイロフェデレーション学習設定のためのアルゴリズムも提案している。 我々は、クライアントの数がはるかに多いデバイス間設定でこの問題を考慮する。 我々は,Mohriらが開発したドメインに依存しない目的を最小化するために,Agnostic Federated Averaging(AgnosticFedAvg)と呼ばれる通信効率の高い分散アルゴリズムを提案する。 (2019)はセキュアアグリゲーションのような他のプライベートなメカニズムに適応できる。 我々は、連邦学習において自然発生ドメインの2つのタイプを強調し、AgnosticFedAvgは両方でうまく機能すると主張している。 不可知論的fedavgの実用性を示すために,シミュレーションとライブ実験の両方において,大規模言語モデリングタスクにおいて,数百万のユーザデバイスを対象としたスペイン語仮想キーボードのための言語モデルをトレーニングすることを含む,ポジティブな結果が報告されている。

関連論文リスト

• SPAM: Stochastic Proximal Point Method with Momentum Variance Reduction for Non-convex Cross-Device Federated Learning [48.072207894076556]
  デバイス間のトレーニングは、クライアントの数が何十億にも達する、学習のサブフィールドです。 標準アプローチとローカルメソッドは、デバイス間の類似性と同じくらい重要な問題になりがちである。 当社の手法は,同種のデータを持つクライアントの客観的かつ実証的なメリットを必要としない,この種の最初の手法である。
  論文  参考訳（メタデータ） (2024-05-30T15:07:30Z)
• Learn What You Need in Personalized Federated Learning [53.83081622573734]
  $textitLearn2pFed$は、アルゴリズムに基づくパーソナライズされたフェデレーション学習フレームワークである。 我々は、textitLearn2pFed$が、従来のパーソナライズされたフェデレーション学習方法よりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2024-01-16T12:45:15Z)
• Effectively Heterogeneous Federated Learning: A Pairing and Split Learning Based Approach [16.093068118849246]
  本稿では,クライアントと異なる計算資源をペアリングする,新しい分割フェデレーション学習(SFL)フレームワークを提案する。 グラフエッジ選択問題として,学習遅延の最適化を再構築し,グレディアルゴリズムを提案する。 シミュレーションの結果,提案手法はFLトレーニング速度を大幅に向上し,高い性能を実現することができることがわかった。
  論文  参考訳（メタデータ） (2023-08-26T11:10:54Z)
• Tackling Computational Heterogeneity in FL: A Few Theoretical Insights [68.8204255655161]
  我々は、計算異種データの形式化と処理を可能にする新しい集約フレームワークを導入し、分析する。 提案するアグリゲーションアルゴリズムは理論的および実験的予測から広範囲に解析される。
  論文  参考訳（メタデータ） (2023-07-12T16:28:21Z)
• Faster Adaptive Federated Learning [84.38913517122619]
  フェデレートラーニングは分散データの出現に伴って注目を集めている。 本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
  論文  参考訳（メタデータ） (2022-12-02T05:07:50Z)
• FedPop: A Bayesian Approach for Personalised Federated Learning [25.67466138369391]
  パーソナライズド・フェデレーションド・ラーニング(Personalized Federated Learning)は、各クライアント用にテイラーされた機械学習モデルを協調的に学習することを目的とする。 我々は、個人化されたFLを集団モデルパラダイムに再キャストすることで、FedPopという新しい手法を提案する。 既存のパーソナライズされたFL法と比較すると,提案手法はクライアントのドリフトに対して堅牢であり,新しいクライアントの推測に実用的であり,その上,軽度な計算およびメモリオーバーヘッド下での不確実性定量化を実現する。
  論文  参考訳（メタデータ） (2022-06-07T22:52:59Z)
• DRFLM: Distributionally Robust Federated Learning with Inter-client Noise via Local Mixup [58.894901088797376]
  連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。 上記の2つの課題を同時に解決するための一般的な枠組みを提案する。 我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
  論文  参考訳（メタデータ） (2022-04-16T08:08:29Z)
• Semi-supervised Domain Adaptive Structure Learning [72.01544419893628]
  半教師付きドメイン適応 (SSDA) は,1) アノテーションの低いデータに過度に適合する手法と,2) ドメイン間の分散シフトの両方を克服しなければならない課題である。 SSLとDAの協調を正規化するための適応型構造学習手法を提案する。
  論文  参考訳（メタデータ） (2021-12-12T06:11:16Z)
• A Federated Learning Aggregation Algorithm for Pervasive Computing: Evaluation and Comparison [0.6299766708197883]
  広範コンピューティングは、サービス提供のために、リビングスペースに接続デバイスをインストールすることを促進する。 エッジリソースの高度な利用と、エンジニアリングアプリケーションのための機械学習技術の統合だ。 本稿では,FedDistと呼ばれる新しいアグリゲーションアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-10-19T19:43:28Z)
• Federated Multi-Task Learning under a Mixture of Distributions [10.00087964926414]
  Federated Learning(FL)は、機械学習モデルのデバイス上での協調トレーニングのためのフレームワークである。 FLにおける最初の取り組みは、クライアント間で平均的なパフォーマンスを持つ単一のグローバルモデルを学ぶことに焦点を当てたが、グローバルモデルは、与えられたクライアントに対して任意に悪いかもしれない。 我々は,各局所データ分布が未知の基底分布の混合であるというフレキシブルな仮定の下で,フェデレーションMTLについて検討した。
  論文  参考訳（メタデータ） (2021-08-23T15:47:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。