Fugu-MT 論文翻訳(概要): Aiding Global Convergence in Federated Learning via Local Perturbation and Mutual Similarity Information

論文の概要: Aiding Global Convergence in Federated Learning via Local Perturbation and Mutual Similarity Information

arxiv url: http://arxiv.org/abs/2410.05545v1
Date: Mon, 7 Oct 2024 23:14:05 GMT
ステータス: 処理完了
システム内更新日: 2024-11-01 18:08:20.503216
Title: Aiding Global Convergence in Federated Learning via Local Perturbation and Mutual Similarity Information
Title（参考訳）: 局所摂動と相互類似情報によるフェデレーション学習におけるグローバル・コンバージェンス支援
Authors: Emanuel Buttaci, Giuseppe Carlo Calafiore,
Abstract要約: 分散最適化パラダイムとしてフェデレートラーニングが登場した。本稿では,各クライアントが局所的に摂動勾配のステップを実行する,新しいフレームワークを提案する。我々は,FedAvgと比較して,アルゴリズムの収束速度が30のグローバルラウンドのマージンとなることを示す。
参考スコア（独自算出の注目度）: 6.767885381740953
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Federated learning has emerged in the last decade as a distributed optimization paradigm due to the rapidly increasing number of portable devices able to support the heavy computational needs related to the training of machine learning models. Federated learning utilizes gradient-based optimization to minimize a loss objective shared across participating agents. To the best of our knowledge, the literature mostly lacks elegant solutions that naturally harness the reciprocal statistical similarity between clients to redesign the optimization procedure. To address this gap, by conceiving the federated network as a similarity graph, we propose a novel modified framework wherein each client locally performs a perturbed gradient step leveraging prior information about other statistically affine clients. We theoretically prove that our procedure, due to a suitably introduced adaptation in the update rule, achieves a quantifiable speedup concerning the exponential contraction factor in the strongly convex case compared with popular algorithms FedAvg and FedProx, here analyzed as baselines. Lastly, we legitimize our conclusions through experimental results on the CIFAR10 and FEMNIST datasets, where we show that our algorithm speeds convergence up to a margin of 30 global rounds compared with FedAvg while modestly improving generalization on unseen data in heterogeneous settings.
Abstract（参考訳）: フェデレーテッド・ラーニングは、機械学習モデルのトレーニングに関連する重い計算ニーズをサポートすることができるポータブルデバイスが急速に増えているため、分散最適化のパラダイムとして過去10年間に登場した。フェデレート学習は、勾配に基づく最適化を利用して、参加エージェント間で共有される損失目標を最小限にする。我々の知る限りでは、この文献はクライアント間の相互統計的類似性を利用して最適化手順を再設計するエレガントなソリューションをほとんど欠いている。このギャップに対処するために、フェデレートされたネットワークを類似性グラフとして認識することにより、各クライアントが他の統計的にアフィンなクライアントに関する事前情報を活用した摂動勾配ステップを局所的に実行する、新しい修正フレームワークを提案する。提案手法は,更新規則の適応が適当に導入されたことにより,一般的なアルゴリズムであるFedAvgやFedProxと比較して,強凸の場合の指数的収縮係数に関する定量的な高速化を実現していることを理論的に証明する。最後に,CIFAR10 と FEMNIST のデータセットを用いた実験結果から,FedAvg に比較して,アルゴリズムの収束速度が 30 回まで向上し,不均一な環境下での未確認データの一般化が緩やかに改善されたことを示す。

関連論文リスト

Boosting the Performance of Decentralized Federated Learning via Catalyst Acceleration [66.43954501171292]
本稿では,Catalytics Accelerationを導入し,DFedCataと呼ばれる促進型分散フェデレート学習アルゴリズムを提案する。 DFedCataは、パラメータの不整合に対処するMoreauエンベロープ関数と、アグリゲーションフェーズを加速するNesterovの外挿ステップの2つの主要コンポーネントで構成されている。実験により, CIFAR10/100における収束速度と一般化性能の両面において, 提案アルゴリズムの利点を実証した。
論文参考訳（メタデータ） (2024-10-09T06:17:16Z)
Federated Learning based on Pruning and Recovery [0.0]
このフレームワークは非同期学習アルゴリズムとプルーニング技術を統合している。異種デバイスを含むシナリオにおいて、従来のフェデレーション学習アルゴリズムの非効率性に対処する。また、非同期アルゴリズムで特定のクライアントの不安定な問題や不適切なトレーニングにも取り組みます。
論文参考訳（メタデータ） (2024-03-16T14:35:03Z)
FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文参考訳（メタデータ） (2023-09-18T12:35:05Z)
Tackling Computational Heterogeneity in FL: A Few Theoretical Insights [68.8204255655161]
我々は、計算異種データの形式化と処理を可能にする新しい集約フレームワークを導入し、分析する。提案するアグリゲーションアルゴリズムは理論的および実験的予測から広範囲に解析される。
論文参考訳（メタデータ） (2023-07-12T16:28:21Z)
FedAgg: Adaptive Federated Learning with Aggregated Gradients [1.5653612447564105]
我々はFedAggと呼ばれる適応型FEDerated Learningアルゴリズムを提案し、局所モデルパラメータと平均モデルパラメータのばらつきを緩和し、高速モデル収束率を得る。 IIDおよび非IIDデータセット下でのモデル性能の向上と収束速度の促進を目的として,本手法が既存のFL戦略よりも優れていることを示す。
論文参考訳（メタデータ） (2023-03-28T08:07:28Z)
Adaptive Federated Learning via New Entropy Approach [14.595709494370372]
Federated Learning (FL) は、分散機械学習フレームワークとして注目されている。本稿では,不均一クライアント間のパラメータ偏差を軽減するために,entropy理論(FedEnt)に基づく適応型FEDerated Learningアルゴリズムを提案する。
論文参考訳（メタデータ） (2023-03-27T07:57:04Z)
Personalizing Federated Learning with Over-the-Air Computations [84.8089761800994]
フェデレートされたエッジ学習は、プライバシー保護の方法で無線ネットワークのエッジにインテリジェンスをデプロイする、有望な技術である。このような設定の下で、複数のクライアントは、エッジサーバの調整の下でグローバルジェネリックモデルを協調的にトレーニングする。本稿では,アナログオーバー・ザ・エア計算を用いて通信ボトルネックに対処する分散トレーニングパラダイムを提案する。
論文参考訳（メタデータ） (2023-02-24T08:41:19Z)
DRFLM: Distributionally Robust Federated Learning with Inter-client Noise via Local Mixup [58.894901088797376]
連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。上記の2つの課題を同時に解決するための一般的な枠組みを提案する。我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
論文参考訳（メタデータ） (2022-04-16T08:08:29Z)
Fed-LAMB: Layerwise and Dimensionwise Locally Adaptive Optimization Algorithm [24.42828071396353]
FL(Federated Learning)の新たなパラダイムでは、モバイルデバイスなどの大量のクライアントが、それぞれのデータに基づいてトレーニングされている。低帯域幅のため、分散最適化手法は計算負荷をそれらのクライアントからサーバにシフトさせる必要がある。我々は階層的なディープニューラルネットワークに基づく新しい学習手法であるFed-LAMBを提案する。
論文参考訳（メタデータ） (2021-10-01T16:54:31Z)
Straggler-Resilient Federated Learning: Leveraging the Interplay Between Statistical Accuracy and System Heterogeneity [57.275753974812666]
フェデレーション学習は、データをローカルに保持しながら、クライアントのネットワークに分散したデータサンプルから学習する。本稿では,学習手順を高速化するために,クライアントデータの統計的特徴を取り入れてクライアントを適応的に選択する,ストラグラー・レジリエントなフェデレーション学習手法を提案する。
論文参考訳（メタデータ） (2020-12-28T19:21:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。