Fugu-MT 論文翻訳(概要): Efficient Federated Learning against Heterogeneous and Non-stationary Client Unavailability

論文の概要: Efficient Federated Learning against Heterogeneous and Non-stationary Client Unavailability

arxiv url: http://arxiv.org/abs/2409.17446v2
Date: Thu, 31 Oct 2024 16:16:00 GMT
ステータス: 処理完了
システム内更新日: 2024-11-06 16:30:51.050211
Title: Efficient Federated Learning against Heterogeneous and Non-stationary Client Unavailability
Title（参考訳）: 不均一・非定常クライアント利用に対する効果的なフェデレーション学習
Authors: Ming Xiang, Stratis Ioannidis, Edmund Yeh, Carlee Joe-Wong, Lili Su,
Abstract要約: FedAPMには、(i)標準のFedAvgに対して(1)O$追加のメモリ計算で使用不能な計算を行うための新しい構造が含まれている。非定常力学であるにもかかわらず、FedAPMは静止点にも収束することを示す。
参考スコア（独自算出の注目度）: 23.466997173249034
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Addressing intermittent client availability is critical for the real-world deployment of federated learning algorithms. Most prior work either overlooks the potential non-stationarity in the dynamics of client unavailability or requires substantial memory/computation overhead. We study federated learning in the presence of heterogeneous and non-stationary client availability, which may occur when the deployment environments are uncertain, or the clients are mobile. The impacts of heterogeneity and non-stationarity on client unavailability can be significant, as we illustrate using FedAvg, the most widely adopted federated learning algorithm. We propose FedAPM, which includes novel algorithmic structures that (i) compensate for missed computations due to unavailability with only $O(1)$ additional memory and computation with respect to standard FedAvg, and (ii) evenly diffuse local updates within the federated learning system through implicit gossiping, despite being agnostic to non-stationary dynamics. We show that FedAPM converges to a stationary point of even non-convex objectives while achieving the desired linear speedup property. We corroborate our analysis with numerical experiments over diversified client unavailability dynamics on real-world data sets.
Abstract（参考訳）: 間欠的なクライアント可用性に対処することは、フェデレートされた学習アルゴリズムの現実的な展開に不可欠である。ほとんどの以前の作業は、クライアントの非可用性のダイナミクスの潜在的な非定常性を見落としているか、あるいはかなりのメモリ/計算オーバーヘッドを必要としている。デプロイ環境が不確実であったり,クライアントがモバイルであったりした場合に発生するような,異種および非定常的なクライアント可用性の存在下での連合学習について検討する。最も広く採用されているフェデレーション学習アルゴリズムであるFedAvgを用いることで、不均一性と非定常性がクライアントの不使用性に与える影響が明らかになる。我々は,新しいアルゴリズム構造を含むFedAPMを提案する。 (i)標準のFedAvgに対するO(1)$追加メモリと計算量だけでは利用不可能な計算を補うこと。 (2)非定常力学に非依存であるにもかかわらず,暗黙のゴシップを通じて,連合学習システム内の局所的な更新を均等に拡散させる。我々は,FedAPMが望まれる線形スピードアップ特性を達成しつつ,非凸目標の定常点に収束することを示す。実世界のデータセット上での多様なクライアント不可用性のダイナミクスに対する数値実験と解析の相関関係を考察する。

関連論文リスト

FedCAda: Adaptive Client-Side Optimization for Accelerated and Stable Federated Learning [57.38427653043984]
フェデレートラーニング(FL)は、分散クライアント間の機械学習モデルの協調トレーニングにおいて、顕著なアプローチとして登場した。我々は,この課題に対処するために設計された,革新的なクライアント適応アルゴリズムであるFedCAdaを紹介する。我々はFedCAdaが適応性、収束性、安定性、全体的な性能の点で最先端の手法より優れていることを実証する。
論文参考訳（メタデータ） (2024-05-20T06:12:33Z)
FedADMM-InSa: An Inexact and Self-Adaptive ADMM for Federated Learning [1.802525429431034]
我々はFedADMM-InSaと呼ばれる不正確な自己適応型FedADMMアルゴリズムを提案する。結果の不正確なADMMの収束は、強い凸損失関数の仮定の下で証明される。提案アルゴリズムは,クライアントの局所的な計算負荷を大幅に低減し,バニラFedADMMと比較して学習プロセスを高速化する。
論文参考訳（メタデータ） (2024-02-21T18:19:20Z)
FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文参考訳（メタデータ） (2023-09-18T12:35:05Z)
Momentum Benefits Non-IID Federated Learning Simply and Provably [22.800862422479913]
フェデレートラーニングは大規模機械学習の強力なパラダイムである。 FedAvgとSCAFFOLDは、これらの課題に対処する2つの顕著なアルゴリズムである。本稿では,FedAvgとSCAFFOLDの性能向上のための運動量の利用について検討する。
論文参考訳（メタデータ） (2023-06-28T18:52:27Z)
Adaptive Federated Learning via New Entropy Approach [14.595709494370372]
Federated Learning (FL) は、分散機械学習フレームワークとして注目されている。本稿では,不均一クライアント間のパラメータ偏差を軽減するために,entropy理論(FedEnt)に基づく適応型FEDerated Learningアルゴリズムを提案する。
論文参考訳（メタデータ） (2023-03-27T07:57:04Z)
Fed-CBS: A Heterogeneity-Aware Client Sampling Mechanism for Federated Learning via Class-Imbalance Reduction [76.26710990597498]
本研究では,ランダムに選択したクライアントからのグループデータのクラス不均衡が,性能の大幅な低下につながることを示す。我々のキーとなる観測に基づいて、我々は効率的なクライアントサンプリング機構、すなわちフェデレートクラスバランスサンプリング(Fed-CBS)を設計する。特に、クラス不均衡の尺度を提案し、その後、同型暗号化を用いてプライバシー保護方式でこの尺度を導出する。
論文参考訳（メタデータ） (2022-09-30T05:42:56Z)
Straggler-Resilient Personalized Federated Learning [55.54344312542944]
フェデレーション学習は、プライバシと通信の制限を尊重しながら、クライアントの大規模なネットワークに分散されたサンプルからのトレーニングモデルを可能にする。これら2つのハードルを同時に処理する理論的なスピードアップを保証する新しいアルゴリズム手法を開発した。提案手法は,すべてのクライアントのデータを用いてグローバルな共通表現を見つけ,各クライアントに対してパーソナライズされたソリューションにつながるパラメータの集合を学習するために,表現学習理論からのアイデアに依存している。
論文参考訳（メタデータ） (2022-06-05T01:14:46Z)
Addressing Client Drift in Federated Continual Learning with Adaptive Optimization [10.303676184878896]
本稿では,NetTailorを連続学習候補として活用することにより,FCL(Federated Continual Learning)を実現するための枠組みを概説する。適応型フェデレーション最適化は,クライアントドリフトの悪影響を低減し,CIFAR100,MiniImagenet,Deathlonベンチマーク上での有効性を示す。
論文参考訳（メタデータ） (2022-03-24T20:00:03Z)
Federated Stochastic Gradient Descent Begets Self-Induced Momentum [151.4322255230084]
Federated Learning(FL)は、モバイルエッジシステムに適用可能な、新興の機械学習手法である。このような条件下での勾配降下(SGD)への走行は,大域的な集約プロセスに運動量的な項を加えるとみなすことができる。
論文参考訳（メタデータ） (2022-02-17T02:01:37Z)
Byzantine-robust Federated Learning through Spatial-temporal Analysis of Local Model Updates [6.758334200305236]
フェデレートラーニング(FL)は、複数の分散クライアント(モバイルデバイスなど)が、クライアントにローカルにトレーニングデータを保持しながら、協調的に集中的なモデルをトレーニングすることを可能にする。本稿では,これらの障害と攻撃を空間的・時間的観点から緩和することを提案する。具体的には、パラメータ空間におけるそれらの幾何学的性質を活用することにより、不正な更新を検出し、排除するためにクラスタリングに基づく手法を用いる。
論文参考訳（メタデータ） (2021-07-03T18:48:11Z)
Toward Understanding the Influence of Individual Clients in Federated Learning [52.07734799278535]
フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。 em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
論文参考訳（メタデータ） (2020-12-20T14:34:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。