論文の概要: OledFL: Unleashing the Potential of Decentralized Federated Learning via Opposite Lookahead Enhancement

• arxiv url: http://arxiv.org/abs/2410.06482v1
• Date: Wed, 9 Oct 2024 02:16:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-01 05:29:07.049935
• Title: OledFL: Unleashing the Potential of Decentralized Federated Learning via Opposite Lookahead Enhancement
• Title（参考訳）: OledFL: 対極的なルックアヘッド強化による分散型フェデレーション学習の可能性
• Authors: Qinglun Li, Miao Zhang, Mengzhu Wang, Quanjun Yin, Li Shen,
• Abstract要約: 分散フェデレートラーニング(DFL)は、より高速なトレーニング、プライバシ保護、ライトコミュニケーションという観点で、フェデレーションラーニング(CFL)を超越している。 しかし、DFLは一般化能力の観点からもCFLと大きな相違が見られる。
• 参考スコア（独自算出の注目度）: 21.440625995788974
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Decentralized Federated Learning (DFL) surpasses Centralized Federated Learning (CFL) in terms of faster training, privacy preservation, and light communication, making it a promising alternative in the field of federated learning. However, DFL still exhibits significant disparities with CFL in terms of generalization ability such as rarely theoretical understanding and degraded empirical performance due to severe inconsistency. In this paper, we enhance the consistency of DFL by developing an opposite lookahead enhancement technique (Ole), yielding OledFL to optimize the initialization of each client in each communication round, thus significantly improving both the generalization and convergence speed. Moreover, we rigorously establish its convergence rate in non-convex setting and characterize its generalization bound through uniform stability, which provides concrete reasons why OledFL can achieve both the fast convergence speed and high generalization ability. Extensive experiments conducted on the CIFAR10 and CIFAR100 datasets with Dirichlet and Pathological distributions illustrate that our OledFL can achieve up to 5\% performance improvement and 8$\times$ speedup, compared to the most popular DFedAvg optimizer in DFL.
• Abstract（参考訳）: 分散フェデレートラーニング(DFL)は、より高速なトレーニング、プライバシ保護、光通信という観点で中央フェデレーションラーニング(CFL)を超越し、フェデレーションラーニングの分野で有望な代替手段となる。 しかし、DFLは、理論的な理解がほとんどなく、重度の矛盾により経験的性能が劣化するような一般化能力において、CFLと大きな相違が見られる。 本稿では,両通信ラウンドにおける各クライアントの初期化を最適化するため,Oleと反対のルックアヘッド拡張技術(Ole)を開発し,DFLの整合性を高め,一般化と収束速度の両方を大幅に改善する。 さらに、非凸設定における収束速度を厳格に確立し、その一般化を一様安定性を通して特徴付けることにより、OredFLが高速収束速度と高一般化能力の両方を達成できる具体的な理由を提供する。 CIFAR10とCIFAR100データセットにDirichletとPathologicalディストリビューションを併用した大規模な実験では、DFLのDFedAvgオプティマイザと比較して最大5倍のパフォーマンス向上と8$\times$スピードアップを実現できたことが示されています。

関連論文リスト

• Revisiting Ensembling in One-Shot Federated Learning [9.02411690527967]
  ワンショットフェデレーション学習(OFL)は、クライアントとサーバ間のモデルの反復的な交換を1ラウンドの通信で交換する。 FLの精度とOFLの通信効率を両立させる新しい連合型アンサンブル方式であるFENSを導入する。 FENSは最先端(SOTA) OFLよりも26.9%高い精度で、FLよりもわずか3.1%低い。
  論文  参考訳（メタデータ） (2024-11-11T17:58:28Z)
• FuseFL: One-Shot Federated Learning through the Lens of Causality with Progressive Model Fusion [48.90879664138855]
  ワンショットフェデレートラーニング(OFL)は、訓練されたモデルを1回だけ集約することで、FLにおける通信コストを大幅に削減する。 しかし、高度なOFL法の性能は通常のFLよりもはるかに遅れている。 本稿では,FuseFL と呼ばれる,高い性能と低通信・ストレージコストを有する新しい学習手法を提案する。
  論文  参考訳（メタデータ） (2024-10-27T09:07:10Z)
• UniFL: Improve Stable Diffusion via Unified Feedback Learning [51.18278664629821]
  提案するUniFLは,フィードバック学習を活用して拡張モデルを包括的に拡張する統合フレームワークである。 UniFLには、視覚的品質を高める知覚的フィードバック学習、美的魅力を改善する分離されたフィードバック学習、推論速度を最適化する敵対的フィードバック学習という3つの重要な要素が組み込まれている。 詳細な実験と広範囲なユーザスタディにより,生成したモデルの品質と高速化の両面において,提案手法の優れた性能が検証された。
  論文  参考訳（メタデータ） (2024-04-08T15:14:20Z)
• Convergence Analysis of Sequential Federated Learning on Heterogeneous Data [5.872735527071425]
  連立学習(FL)では、複数のクライアント間で共同トレーニングを行う方法が2つある:i)並列FL(PFL)、i)クライアントが並列にモデルを訓練するFL(SFL)、i)クライアントが逐次的にモデルを訓練するFL(SFL)である。 本稿では,不均一なデータに対するSFLの収束保証がまだ不十分であることを示す。 実験により,SFLはデバイス間設定において極めて不均一なデータ上でPFLより優れることを示した。
  論文  参考訳（メタデータ） (2023-11-06T14:48:51Z)
• Towards Understanding Generalization and Stability Gaps between Centralized and Decentralized Federated Learning [57.35402286842029]
  集中学習は常に分散学習(DFL)よりも一般化されていることを示す。 また、FLにおけるいくつかの一般的な設定について実験を行い、我々の理論解析が実験的な現象と一致し、いくつかの一般的なシナリオおよび実践シナリオにおいて文脈的に有効であることを示す。
  論文  参考訳（メタデータ） (2023-10-05T11:09:42Z)
• Communication Resources Constrained Hierarchical Federated Learning for End-to-End Autonomous Driving [67.78611905156808]
  本稿では,最適化に基づくコミュニケーションリソース制約付き階層型学習フレームワークを提案する。 その結果,提案したCRCHFLは収束速度を加速し,フェデレーション学習自律運転モデルの一般化を促進することがわかった。
  論文  参考訳（メタデータ） (2023-06-28T12:44:59Z)
• Hierarchical Personalized Federated Learning Over Massive Mobile Edge Computing Networks [95.39148209543175]
  大規模MECネットワーク上でPFLをデプロイするアルゴリズムである階層型PFL(HPFL)を提案する。 HPFLは、最適帯域割り当てを共同で決定しながら、トレーニング損失最小化とラウンドレイテンシ最小化の目的を組み合わせる。
  論文  参考訳（メタデータ） (2023-03-19T06:00:05Z)
• Accelerating Federated Learning with a Global Biased Optimiser [16.69005478209394]
  Federated Learning(FL)は、クライアントデバイスを離れるトレーニングデータなしでモデルを協調訓練する機械学習の分野における最近の開発である。 本稿では,FedGBO(Federated Global Biased Optimiser)アルゴリズムを用いて,適応最適化手法をFLに適用する手法を提案する。 FedGBOは、FLの局所的なトレーニングフェーズにおいて、グローバルバイアス付きオプティマイザ値のセットを適用することでFLを加速し、非IIDデータからのクライアントドリフトを減少させる。
  論文  参考訳（メタデータ） (2021-08-20T12:08:44Z)
• Decentralized Federated Learning: Balancing Communication and Computing Costs [21.694468026280806]
  分散統合学習(DFL)は分散機械学習の強力なフレームワークである。 本稿では,コミュニケーション効率と収束性能のバランスをとるための汎用的な分散化フェデレーション学習フレームワークを提案する。 MNISTとCIFAR-10データセットに基づく実験結果は、従来の分散SGD法よりもDFLの方が優れていることを示している。
  論文  参考訳（メタデータ） (2021-07-26T09:09:45Z)
• Federated Learning with Nesterov Accelerated Gradient Momentum Method [47.49442006239034]
  Federated Learning(FL)は、複数のワーカーが分散データセットに基づいてグローバルモデルをトレーニングできる、迅速な開発技術である。 Nesterov Accelerated Gradient (NAG) が集中トレーニング環境においてより有利であることはよく知られている。 本研究では,NAGに基づくFLのバージョンに着目し,詳細な収束解析を行う。
  論文  参考訳（メタデータ） (2020-09-18T09:38:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。