論文の概要: A Newton-type algorithm for federated learning based on incremental
Hessian eigenvector sharing
- arxiv url: http://arxiv.org/abs/2202.05800v1
- Date: Fri, 11 Feb 2022 17:52:56 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-14 14:48:48.524529
- Title: A Newton-type algorithm for federated learning based on incremental
Hessian eigenvector sharing
- Title（参考訳）: インクリメンタルヘッシアン固有ベクトル共有に基づく連合学習のためのニュートン型アルゴリズム
- Authors: Nicol\`o Dal Fabbro, Subhrakanti Dey, Michele Rossi, Luca Schenato
- Abstract要約: 我々は、フェデレートラーニング(FL)を高速化するために設計された、通信制約付きニュートン型(NT)アルゴリズムを提案する。
提案手法は実際のデータセットで完全に検証される。
- 参考スコア（独自算出の注目度）: 5.404315085380945
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: There is a growing interest in the decentralized optimization framework that
goes under the name of Federated Learning (FL). In particular, much attention
is being turned to FL scenarios where the network is strongly heterogeneous in
terms of communication resources (e.g., bandwidth) and data distribution. In
these cases, communication between local machines (agents) and the central
server (Master) is a main consideration. In this work, we present an original
communication-constrained Newton-type (NT) algorithm designed to accelerate FL
in such heterogeneous scenarios. The algorithm is by design robust to non
i.i.d. data distributions, handles heterogeneity of agents' communication
resources (CRs), only requires sporadic Hessian computations, and achieves
super-linear convergence. This is possible thanks to an incremental strategy,
based on a singular value decomposition (SVD) of the local Hessian matrices,
which exploits (possibly) outdated second-order information. The proposed
solution is thoroughly validated on real datasets by assessing (i) the number
of communication rounds required for convergence, (ii) the overall amount of
data transmitted and (iii) the number of local Hessian computations required.
For all these metrics, the proposed approach shows superior performance against
state-of-the art techniques like GIANT and FedNL.
- Abstract（参考訳）: 連合学習(federated learning, fl)という名称で,分散最適化フレームワークへの関心が高まっている。
特に、通信リソース(帯域幅など)とデータ分散の点でネットワークが強く異質であるflシナリオに多くの注意が向けられている。
これらのケースでは、ローカルマシン(エージェント)と中央サーバ(マスター)間の通信が主な考慮事項である。
本研究では,このような異種シナリオにおけるFLの高速化を目的とした,通信制約のあるNewton-type (NT) アルゴリズムを提案する。
このアルゴリズムは、非I.d.データ分散に頑健に設計され、エージェントの通信リソース(CR)の不均一性を処理し、散発的ヘッセン計算のみを必要とし、超線形収束を達成する。
これは、局所ヘッセン行列の特異値分解(SVD)に基づく漸進的な戦略により可能であり、これは(おそらく)時代遅れの2階情報を利用する。
提案手法は実データセット上で評価により徹底的に検証される
(i)収束に必要な通信ラウンド数
(ii)送信されたデータの総量
(iii) 局所ヘッセン計算の個数。
これらの指標について,提案手法はGIANTやFedNLといった最先端技術に対して優れた性能を示す。
関連論文リスト
- Asynchronous Local Computations in Distributed Bayesian Learning [8.516532665507835]
本稿では,高速な計算と通信オーバヘッドを同時に低減するために,ゴシップに基づく通信を提案する。
我々は、特に低データ範囲において、より高速な初期収束と性能精度の向上を観察する。
UCI MLレポジトリのガンマ望遠鏡とmHealthデータセットで,それぞれ平均78%,90%以上の分類精度を達成した。
論文 参考訳（メタデータ） (2023-11-06T20:11:41Z) - Communication-Efficient Decentralized Federated Learning via One-Bit
Compressive Sensing [52.402550431781805]
分散連合学習(DFL)は、様々なアプリケーションにまたがる実用性によって人気を博している。
集中型バージョンと比較して、DFLの多数のノード間で共有モデルをトレーニングするのはより難しい。
我々は,iADM (iexact alternating direction method) の枠組みに基づく新しいアルゴリズムを開発した。
論文 参考訳（メタデータ） (2023-08-31T12:22:40Z) - Analysis and Optimization of Wireless Federated Learning with Data
Heterogeneity [72.85248553787538]
本稿では、データの不均一性を考慮した無線FLの性能解析と最適化と、無線リソース割り当てについて述べる。
ロス関数の最小化問題を、長期エネルギー消費と遅延の制約の下で定式化し、クライアントスケジューリング、リソース割り当て、ローカルトレーニングエポック数(CRE)を共同で最適化する。
実世界のデータセットの実験により、提案アルゴリズムは学習精度とエネルギー消費の点で他のベンチマークよりも優れていることが示された。
論文 参考訳（メタデータ） (2023-08-04T04:18:01Z) - Q-SHED: Distributed Optimization at the Edge via Hessian Eigenvectors
Quantization [5.404315085380945]
ニュートン型(NT)法は、DO問題における堅牢な収束率の実現要因として提唱されている。
インクリメンタルなヘッセン固有ベクトル量子化に基づく新しいビット割り当て方式を特徴とする、DOのための元のNTアルゴリズムであるQ-SHEDを提案する。
Q-SHEDはコンバージェンスに必要な通信ラウンド数を最大60%削減できることを示す。
論文 参考訳（メタデータ） (2023-05-18T10:15:03Z) - Resource-constrained Federated Edge Learning with Heterogeneous Data:
Formulation and Analysis [8.863089484787835]
ヘテロジニアスデータによる不均一な統計的課題を解決するために, 分散されたニュートン型ニュートン型トレーニングスキームであるFedOVAを提案する。
FedOVAはマルチクラス分類問題をより単純なバイナリ分類問題に分解し、アンサンブル学習を用いてそれぞれの出力を結合する。
論文 参考訳（メタデータ） (2021-10-14T17:35:24Z) - Clustered Federated Learning via Generalized Total Variation
Minimization [83.26141667853057]
本研究では,分散ネットワーク構造を持つローカルデータセットの局所的(あるいはパーソナライズされた)モデルを学習するための最適化手法について検討する。
我々の主要な概念的貢献は、総変動最小化(GTV)としてフェデレーション学習を定式化することである。
私たちのアルゴリズムの主な貢献は、完全に分散化されたフェデレーション学習アルゴリズムです。
論文 参考訳（メタデータ） (2021-05-26T18:07:19Z) - Dif-MAML: Decentralized Multi-Agent Meta-Learning [54.39661018886268]
我々は,MAML や Dif-MAML と呼ばれる協調型マルチエージェントメタ学習アルゴリズムを提案する。
提案手法により, エージェントの集合が線形速度で合意に達し, 集約MAMLの定常点に収束できることを示す。
シミュレーションの結果は従来の非協調的な環境と比較して理論的な結果と優れた性能を示している。
論文 参考訳（メタデータ） (2020-10-06T16:51:09Z) - Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge
Computing [113.52575069030192]
セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。
通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。
分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。
分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
論文 参考訳（メタデータ） (2020-10-02T10:41:59Z) - FedPD: A Federated Learning Framework with Optimal Rates and Adaptivity
to Non-IID Data [59.50904660420082]
フェデレートラーニング(FL)は、分散データから学ぶための一般的なパラダイムになっています。
クラウドに移行することなく、さまざまなデバイスのデータを効果的に活用するために、Federated Averaging(FedAvg)などのアルゴリズムでは、"Computation then aggregate"(CTA)モデルを採用している。
論文 参考訳（メタデータ） (2020-05-22T23:07:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。