論文の概要: Communication-Efficient Agnostic Federated Averaging

• arxiv url: http://arxiv.org/abs/2104.02748v1
• Date: Tue, 6 Apr 2021 19:01:18 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-08 12:43:53.002326
• Title: Communication-Efficient Agnostic Federated Averaging
• Title（参考訳）: コミュニケーション効率の良いAgnostic Federated Averaging
• Authors: Jae Ro, Mingqing Chen, Rajiv Mathews, Mehryar Mohri, Ananda Theertha Suresh
• Abstract要約: 分散学習の設定では、トレーニングアルゴリズムは異なるクライアントに対してバイアスされる可能性がある。 我々は,Mohriらが開発したドメインに依存しない目的を最小化するために,Agnostic Federated Averaging(AgnosticFedAvg)と呼ばれる通信効率の高い分散アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 39.761808414613185
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In distributed learning settings such as federated learning, the training algorithm can be potentially biased towards different clients. Mohri et al. (2019) proposed a domain-agnostic learning algorithm, where the model is optimized for any target distribution formed by a mixture of the client distributions in order to overcome this bias. They further proposed an algorithm for the cross-silo federated learning setting, where the number of clients is small. We consider this problem in the cross-device setting, where the number of clients is much larger. We propose a communication-efficient distributed algorithm called Agnostic Federated Averaging (or AgnosticFedAvg) to minimize the domain-agnostic objective proposed in Mohri et al. (2019), which is amenable to other private mechanisms such as secure aggregation. We highlight two types of naturally occurring domains in federated learning and argue that AgnosticFedAvg performs well on both. To demonstrate the practical effectiveness of AgnosticFedAvg, we report positive results for large-scale language modeling tasks in both simulation and live experiments, where the latter involves training language models for Spanish virtual keyboard for millions of user devices.
• Abstract（参考訳）: フェデレーション学習のような分散学習環境では、トレーニングアルゴリズムは異なるクライアントに対してバイアスを負う可能性がある。 mohriとal。 (2019) はドメインに依存しない学習アルゴリズムを提案し,このバイアスを克服するために,クライアント分布の混合によって生成されたターゲット分布に対してモデルを最適化する。 さらに彼らは、クライアント数が少ないクロスサイロフェデレーション学習設定のためのアルゴリズムも提案している。 我々は、クライアントの数がはるかに多いデバイス間設定でこの問題を考慮する。 我々は,Mohriらが開発したドメインに依存しない目的を最小化するために,Agnostic Federated Averaging(AgnosticFedAvg)と呼ばれる通信効率の高い分散アルゴリズムを提案する。 (2019)はセキュアアグリゲーションのような他のプライベートなメカニズムに適応できる。 我々は、連邦学習において自然発生ドメインの2つのタイプを強調し、AgnosticFedAvgは両方でうまく機能すると主張している。 不可知論的fedavgの実用性を示すために,シミュレーションとライブ実験の両方において,大規模言語モデリングタスクにおいて,数百万のユーザデバイスを対象としたスペイン語仮想キーボードのための言語モデルをトレーニングすることを含む,ポジティブな結果が報告されている。

関連論文リスト

• FedPref: Federated Learning Across Heterogeneous Multi-objective Preferences [2.519319150166215]
  Federated Learning(FL)は、トレーニングデータが分散デバイスによって所有され、共有できない設定のために開発された分散機械学習戦略である。 FLの現実的な設定への応用は、参加者間の不均一性に関連する新たな課題をもたらします。 この設定でパーソナライズされたFLを促進するために設計された最初のアルゴリズムであるFedPrefを提案する。
  論文  参考訳（メタデータ） (2025-01-23T12:12:59Z)
• Client-Centric Federated Adaptive Optimization [78.30827455292827]
  Federated Learning(FL)は、クライアントが独自のデータをプライベートに保ちながら、協調的にモデルをトレーニングする分散学習パラダイムである。 本稿では,新しいフェデレーション最適化手法のクラスであるフェデレーション中心適応最適化を提案する。
  論文  参考訳（メタデータ） (2025-01-17T04:00:50Z)
• SPAM: Stochastic Proximal Point Method with Momentum Variance Reduction for Non-convex Cross-Device Federated Learning [48.072207894076556]
  デバイス間のトレーニングは、クライアントの数が何十億にも達する、学習のサブフィールドです。 標準アプローチとローカルメソッドは、デバイス間の類似性と同じくらい重要な問題になりがちである。 当社の手法は,同種のデータを持つクライアントの客観的かつ実証的なメリットを必要としない,この種の最初の手法である。
  論文  参考訳（メタデータ） (2024-05-30T15:07:30Z)
• Learn What You Need in Personalized Federated Learning [53.83081622573734]
  $textitLearn2pFed$は、アルゴリズムに基づくパーソナライズされたフェデレーション学習フレームワークである。 我々は、textitLearn2pFed$が、従来のパーソナライズされたフェデレーション学習方法よりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2024-01-16T12:45:15Z)
• Effectively Heterogeneous Federated Learning: A Pairing and Split Learning Based Approach [16.093068118849246]
  本稿では,クライアントと異なる計算資源をペアリングする,新しい分割フェデレーション学習(SFL)フレームワークを提案する。 グラフエッジ選択問題として,学習遅延の最適化を再構築し,グレディアルゴリズムを提案する。 シミュレーションの結果,提案手法はFLトレーニング速度を大幅に向上し,高い性能を実現することができることがわかった。
  論文  参考訳（メタデータ） (2023-08-26T11:10:54Z)
• Faster Adaptive Federated Learning [84.38913517122619]
  フェデレートラーニングは分散データの出現に伴って注目を集めている。 本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
  論文  参考訳（メタデータ） (2022-12-02T05:07:50Z)
• FedPop: A Bayesian Approach for Personalised Federated Learning [25.67466138369391]
  パーソナライズド・フェデレーションド・ラーニング(Personalized Federated Learning)は、各クライアント用にテイラーされた機械学習モデルを協調的に学習することを目的とする。 我々は、個人化されたFLを集団モデルパラダイムに再キャストすることで、FedPopという新しい手法を提案する。 既存のパーソナライズされたFL法と比較すると,提案手法はクライアントのドリフトに対して堅牢であり,新しいクライアントの推測に実用的であり,その上,軽度な計算およびメモリオーバーヘッド下での不確実性定量化を実現する。
  論文  参考訳（メタデータ） (2022-06-07T22:52:59Z)
• DRFLM: Distributionally Robust Federated Learning with Inter-client Noise via Local Mixup [58.894901088797376]
  連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。 上記の2つの課題を同時に解決するための一般的な枠組みを提案する。 我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
  論文  参考訳（メタデータ） (2022-04-16T08:08:29Z)
• Semi-supervised Domain Adaptive Structure Learning [72.01544419893628]
  半教師付きドメイン適応 (SSDA) は,1) アノテーションの低いデータに過度に適合する手法と,2) ドメイン間の分散シフトの両方を克服しなければならない課題である。 SSLとDAの協調を正規化するための適応型構造学習手法を提案する。
  論文  参考訳（メタデータ） (2021-12-12T06:11:16Z)
• A Federated Learning Aggregation Algorithm for Pervasive Computing: Evaluation and Comparison [0.6299766708197883]
  広範コンピューティングは、サービス提供のために、リビングスペースに接続デバイスをインストールすることを促進する。 エッジリソースの高度な利用と、エンジニアリングアプリケーションのための機械学習技術の統合だ。 本稿では,FedDistと呼ばれる新しいアグリゲーションアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-10-19T19:43:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。