Fugu-MT 論文翻訳(概要): Boosting the Performance of Decentralized Federated Learning via Catalyst Acceleration

論文の概要: Boosting the Performance of Decentralized Federated Learning via Catalyst Acceleration

arxiv url: http://arxiv.org/abs/2410.07272v1
Date: Wed, 9 Oct 2024 06:17:16 GMT
ステータス: 処理完了
システム内更新日: 2024-10-31 21:16:58.191783
Title: Boosting the Performance of Decentralized Federated Learning via Catalyst Acceleration
Title（参考訳）: 触媒加速による分散フェデレーション学習の性能向上
Authors: Qinglun Li, Miao Zhang, Yingqi Liu, Quanjun Yin, Li Shen, Xiaochun Cao,
Abstract要約: 本稿では,Catalytics Accelerationを導入し,DFedCataと呼ばれる促進型分散フェデレート学習アルゴリズムを提案する。 DFedCataは、パラメータの不整合に対処するMoreauエンベロープ関数と、アグリゲーションフェーズを加速するNesterovの外挿ステップの2つの主要コンポーネントで構成されている。実験により, CIFAR10/100における収束速度と一般化性能の両面において, 提案アルゴリズムの利点を実証した。
参考スコア（独自算出の注目度）: 66.43954501171292
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Decentralized Federated Learning has emerged as an alternative to centralized architectures due to its faster training, privacy preservation, and reduced communication overhead. In decentralized communication, the server aggregation phase in Centralized Federated Learning shifts to the client side, which means that clients connect with each other in a peer-to-peer manner. However, compared to the centralized mode, data heterogeneity in Decentralized Federated Learning will cause larger variances between aggregated models, which leads to slow convergence in training and poor generalization performance in tests. To address these issues, we introduce Catalyst Acceleration and propose an acceleration Decentralized Federated Learning algorithm called DFedCata. It consists of two main components: the Moreau envelope function, which primarily addresses parameter inconsistencies among clients caused by data heterogeneity, and Nesterov's extrapolation step, which accelerates the aggregation phase. Theoretically, we prove the optimization error bound and generalization error bound of the algorithm, providing a further understanding of the nature of the algorithm and the theoretical perspectives on the hyperparameter choice. Empirically, we demonstrate the advantages of the proposed algorithm in both convergence speed and generalization performance on CIFAR10/100 with various non-iid data distributions. Furthermore, we also experimentally verify the theoretical properties of DFedCata.
Abstract（参考訳）: 分散フェデレーション学習は、より高速なトレーニング、プライバシ保護、通信オーバーヘッドの削減などにより、集中型アーキテクチャに代わるものとして登場した。分散通信では、集中型フェデレートラーニングにおけるサーバ集約フェーズがクライアント側へと移行し、クライアント同士をピアツーピアで接続する。しかし、集中型学習と比較して、分散化されたフェデレート学習におけるデータ不均一性は、集約されたモデル間の大きなばらつきを引き起こし、訓練の収束が遅くなり、テストにおける一般化性能が低下する。これらの問題に対処するため,我々はCatalyst Accelerationを導入し,DFedCataと呼ばれる分散学習アルゴリズムを提案する。この関数は、データの不均一性に起因するクライアント間のパラメータの不整合に主に対処するMoreauのエンベロープ関数と、アグリゲーションフェーズを加速するNesterovの外挿ステップの2つの主要コンポーネントで構成されている。理論的には、アルゴリズムの最適化誤差境界と一般化誤差境界を証明し、アルゴリズムの性質とハイパーパラメータ選択に関する理論的視点をより深く理解する。実験により, CIFAR10/100における収束速度と一般化性能の両面において, 提案アルゴリズムの利点を実証した。さらに,DFedCataの理論的性質についても実験的に検証した。

関連論文リスト

Aiding Global Convergence in Federated Learning via Local Perturbation and Mutual Similarity Information [6.767885381740953]
分散最適化パラダイムとしてフェデレートラーニングが登場した。本稿では,各クライアントが局所的に摂動勾配のステップを実行する,新しいフレームワークを提案する。我々は,FedAvgと比較して,アルゴリズムの収束速度が30のグローバルラウンドのマージンとなることを示す。
論文参考訳（メタデータ） (2024-10-07T23:14:05Z)
NTK-DFL: Enhancing Decentralized Federated Learning in Heterogeneous Settings via Neural Tangent Kernel [27.92271597111756]
Decentralized Federated Learning (DFL) は、中央サーバや生のデータ交換なしで参加者間でモデルをトレーニングするための、協調的な機械学習フレームワークである。近年の研究では、集中型フレームワークにおけるフェデレーション学習に適用されたニューラルタンジェントカーネル(NTK)アプローチが、パフォーマンスの向上につながることが示されている。本稿では,NTKベースの進化とモデル平均化の相乗効果を導入しながら,分散環境でクライアントモデルを訓練するためにNTKを活用するアプローチを提案する。
論文参考訳（メタデータ） (2024-10-02T18:19:28Z)
FedCAda: Adaptive Client-Side Optimization for Accelerated and Stable Federated Learning [57.38427653043984]
フェデレートラーニング(FL)は、分散クライアント間の機械学習モデルの協調トレーニングにおいて、顕著なアプローチとして登場した。我々は,この課題に対処するために設計された,革新的なクライアント適応アルゴリズムであるFedCAdaを紹介する。我々はFedCAdaが適応性、収束性、安定性、全体的な性能の点で最先端の手法より優れていることを実証する。
論文参考訳（メタデータ） (2024-05-20T06:12:33Z)
On the Communication Complexity of Decentralized Bilevel Optimization [40.45379954138305]
本稿では,更新戦略の同時および交互化に基づく2つの新しい分散二段階勾配勾配アルゴリズムを提案する。我々のアルゴリズムは既存の手法よりも高速な収束率と通信コストを抑えることができる。このような理論的な結果は、不均一な環境での軽微な仮定で達成されたのはこれが初めてである。
論文参考訳（メタデータ） (2023-11-19T14:56:26Z)
Stochastic Unrolled Federated Learning [85.6993263983062]
本稿では,UnRolled Federated Learning (SURF)を導入する。提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
論文参考訳（メタデータ） (2023-05-24T17:26:22Z)
FedAgg: Adaptive Federated Learning with Aggregated Gradients [1.5653612447564105]
我々はFedAggと呼ばれる適応型FEDerated Learningアルゴリズムを提案し、局所モデルパラメータと平均モデルパラメータのばらつきを緩和し、高速モデル収束率を得る。 IIDおよび非IIDデータセット下でのモデル性能の向上と収束速度の促進を目的として,本手法が既存のFL戦略よりも優れていることを示す。
論文参考訳（メタデータ） (2023-03-28T08:07:28Z)
Data-heterogeneity-aware Mixing for Decentralized Learning [63.83913592085953]
グラフの混合重みとノード間のデータ不均一性の関係に収束の依存性を特徴付ける。グラフが現在の勾配を混合する能力を定量化する計量法を提案する。そこで本研究では,パラメータを周期的かつ効率的に最適化する手法を提案する。
論文参考訳（メタデータ） (2022-04-13T15:54:35Z)
Quasi-Global Momentum: Accelerating Decentralized Deep Learning on Heterogeneous Data [77.88594632644347]
ディープラーニングモデルの分散トレーニングは、ネットワーク上でデータプライバシとデバイス上での学習を可能にする重要な要素である。現実的な学習シナリオでは、異なるクライアントのローカルデータセットに異質性が存在することが最適化の課題となる。本稿では,この分散学習の難しさを軽減するために,運動量に基づく新しい手法を提案する。
論文参考訳（メタデータ） (2021-02-09T11:27:14Z)
Straggler-Resilient Federated Learning: Leveraging the Interplay Between Statistical Accuracy and System Heterogeneity [57.275753974812666]
フェデレーション学習は、データをローカルに保持しながら、クライアントのネットワークに分散したデータサンプルから学習する。本稿では,学習手順を高速化するために,クライアントデータの統計的特徴を取り入れてクライアントを適応的に選択する,ストラグラー・レジリエントなフェデレーション学習手法を提案する。
論文参考訳（メタデータ） (2020-12-28T19:21:14Z)
COKE: Communication-Censored Decentralized Kernel Learning [30.795725108364724]
複数の相互接続エージェントは、大域的目的関数を最小化することにより、再生カーネルヒルベルト空間上で定義された最適決定関数を学習することを目的としている。非パラメトリックなアプローチとして、カーネルの反復学習は分散実装において大きな課題に直面します。我々は,DKLAの通信負荷を低減し,ローカル更新が情報的でない場合を除き,エージェントがすべての一般化で送信することを防止し,通信検閲カーネル学習(COKE)アルゴリズムを開発した。
論文参考訳（メタデータ） (2020-01-28T01:05:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。