論文の概要: Communication-Efficient Heterogeneous Federated Learning with
Generalized Heavy-Ball Momentum
- arxiv url: http://arxiv.org/abs/2311.18578v1
- Date: Thu, 30 Nov 2023 14:17:57 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-01 16:20:54.401350
- Title: Communication-Efficient Heterogeneous Federated Learning with
Generalized Heavy-Ball Momentum
- Title(参考訳): 一般化重球運動量を用いたコミュニケーション効率のよいヘテロジニアスフェデレート学習
- Authors: Riccardo Zaccone, Carlo Masone, Marco Ciccone
- Abstract要約: 最先端のアプローチは、通信コストの増加で収束を保証するか、あるいは極端に異質な局所分布を扱うのに十分な堅牢性を持っていないかのどちらかである。
本稿では,重球運動量の新たな一般化を提案し,通信オーバーヘッドを伴わずにFLの統計的不均一性を効果的に解くためのFedHBMを提案する。
我々は、一般的なFLビジョンとNLPデータセットに対して広範な実験を行い、FedHBMアルゴリズムは、特に病的非イドシナリオにおいて、より優れたモデル品質とより高い収束速度を経験的に得ることを示した。
- 参考スコア(独自算出の注目度): 10.345853941184178
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated Learning (FL) is the state-of-the-art approach for learning from
decentralized data in privacy-constrained scenarios. As the current literature
reports, the main problems associated with FL refer to system and statistical
challenges: the former ones demand for efficient learning from edge devices,
including lowering communication bandwidth and frequency, while the latter
require algorithms robust to non-iidness. State-of-art approaches either
guarantee convergence at increased communication cost or are not sufficiently
robust to handle extreme heterogeneous local distributions. In this work we
propose a novel generalization of the heavy-ball momentum, and present FedHBM
to effectively address statistical heterogeneity in FL without introducing any
communication overhead. We conduct extensive experimentation on common FL
vision and NLP datasets, showing that our FedHBM algorithm empirically yields
better model quality and higher convergence speed w.r.t. the state-of-art,
especially in pathological non-iid scenarios. While being designed for
cross-silo settings, we show how FedHBM is applicable in moderate-to-high
cross-device scenarios, and how good model initializations (e.g. pre-training)
can be exploited for prompt acceleration. Extended experimentation on
large-scale real-world federated datasets further corroborates the
effectiveness of our approach for real-world FL applications.
- Abstract(参考訳): Federated Learning(FL)は、プライバシ制約のあるシナリオにおける分散データから学ぶための最先端のアプローチである。
現在の文献によると、FLに関連する主な問題はシステムと統計上の課題を指しており、前者は通信帯域幅と周波数の低下を含むエッジデバイスからの効率的な学習を要求し、後者は非ID性に頑健なアルゴリズムを必要とする。
最先端のアプローチは、通信コストの増加で収束を保証するか、あるいは極端に異質な局所分布を扱うのに十分な堅牢性を持っていない。
本研究では,重球運動量の新しい一般化を提案し,通信オーバーヘッドを伴わずにFLにおける統計的不均一性を効果的に解くためのFedHBMを提案する。
我々は、共通flビジョンとnlpデータセットを広範囲に実験し、fedhbmアルゴリズムが経験的により優れたモデル品質と高い収束速度をもたらすことを示した。
クロスサイロ設定用に設計されている一方で、FedHBMが中間から高レベルのクロスデバイスシナリオにどのように適用され、モデル初期化(例えば事前トレーニング)が迅速なアクセラレーションにどの程度優れているかを示す。
大規模実世界のフェデレーションデータセットに対する拡張実験は、実世界のFLアプリケーションに対する我々のアプローチの有効性をさらに裏付けるものである。
関連論文リスト
- Privacy-preserving Federated Primal-dual Learning for Non-convex and
Non-smooth Problems with Model Sparsification [54.767648945613004]
フェデレートラーニング(FL)は急速に成長している分野として認識されている。
パラメータの非平滑性と非共有性は、FLアプリケーションで一般的である。
論文 参考訳(メタデータ) (2023-10-30T14:15:47Z) - Semi-Federated Learning: Convergence Analysis and Optimization of A
Hybrid Learning Framework [70.83511997272457]
本稿では,ベースステーション(BS)とデバイスの両方を活用するセミフェデレーション学習(SemiFL)パラダイムを提案し,中央集権学習(CL)とFLのハイブリッド実装を提案する。
我々はこの難解な問題を解くための2段階のアルゴリズムを提案し、ビームフォーマに閉形式解を提供する。
論文 参考訳(メタデータ) (2023-10-04T03:32:39Z) - Analysis and Optimization of Wireless Federated Learning with Data
Heterogeneity [72.85248553787538]
本稿では、データの不均一性を考慮した無線FLの性能解析と最適化と、無線リソース割り当てについて述べる。
ロス関数の最小化問題を、長期エネルギー消費と遅延の制約の下で定式化し、クライアントスケジューリング、リソース割り当て、ローカルトレーニングエポック数(CRE)を共同で最適化する。
実世界のデータセットの実験により、提案アルゴリズムは学習精度とエネルギー消費の点で他のベンチマークよりも優れていることが示された。
論文 参考訳(メタデータ) (2023-08-04T04:18:01Z) - Vertical Federated Learning over Cloud-RAN: Convergence Analysis and
System Optimization [82.12796238714589]
高速かつ正確なモデルアグリゲーションを実現するために,クラウド無線アクセスネットワーク(Cloud-RAN)ベースの垂直FLシステムを提案する。
アップリンクとダウンリンクの両方の伝送を考慮した垂直FLアルゴリズムの収束挙動を特徴付ける。
我々は,連続凸近似と代替凸探索に基づくシステム最適化アルゴリズムを開発した,連系トランシーバとフロントホール量子化設計によるシステム最適化フレームワークを構築した。
論文 参考訳(メタデータ) (2023-05-04T09:26:03Z) - Depersonalized Federated Learning: Tackling Statistical Heterogeneity by
Alternating Stochastic Gradient Descent [6.394263208820851]
フェデレート・ラーニング(FL)は、デバイスがデータ共有なしでインテリジェントな推論のために共通の機械学習(ML)モデルをトレーニングすることを可能にする。
様々な共役者によって保持される生データは、常に不特定に分散される。
本稿では,このプロセスのデスピードにより統計的に大幅に最適化できる新しいFLを提案する。
論文 参考訳(メタデータ) (2022-10-07T10:30:39Z) - Fine-tuning Global Model via Data-Free Knowledge Distillation for
Non-IID Federated Learning [86.59588262014456]
フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。
サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。
私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
論文 参考訳(メタデータ) (2022-03-17T11:18:17Z) - Communication-Efficient Federated Distillation with Active Data Sampling [6.516631577963641]
フェデレートラーニング(FL)は、分散データからプライバシー保護の深層ラーニングを可能にする、有望なパラダイムである。
フェデレート蒸留(Federated Distillation, FD)は、通信効率とロバストなFLを実現するための代替案である。
本稿では、FDのための汎用メタアルゴリズムを提案し、実験により鍵パラメータの影響について検討する。
本稿では,アクティブデータサンプリングによる通信効率の高いFDアルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-03-14T07:50:55Z) - A Newton-type algorithm for federated learning based on incremental
Hessian eigenvector sharing [5.404315085380945]
我々は、フェデレートラーニング(FL)を高速化するために設計された、通信制約付きニュートン型(NT)アルゴリズムを提案する。
提案手法は実際のデータセットで完全に検証される。
論文 参考訳(メタデータ) (2022-02-11T17:52:56Z) - Local Learning Matters: Rethinking Data Heterogeneity in Federated
Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文 参考訳(メタデータ) (2021-11-28T19:03:39Z) - Communication-Efficient Hierarchical Federated Learning for IoT
Heterogeneous Systems with Imbalanced Data [42.26599494940002]
フェデレートラーニング(Federated Learning, FL)は、複数のノードが協調してディープラーニングモデルをトレーニングできる分散ラーニング方法論である。
本稿では,IoTヘテロジニアスシステムにおける階層FLの可能性について検討する。
複数のエッジノード上でのユーザ割り当てとリソース割り当てに最適化されたソリューションを提案する。
論文 参考訳(メタデータ) (2021-07-14T08:32:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。