Fugu-MT 論文翻訳(概要): Adaptive Gradient Sparsification for Efficient Federated Learning: An Online Learning Approach

論文の概要: Adaptive Gradient Sparsification for Efficient Federated Learning: An Online Learning Approach

arxiv url: http://arxiv.org/abs/2001.04756v3
Date: Fri, 20 Mar 2020 16:34:48 GMT
ステータス: 処理完了
システム内更新日: 2023-01-11 12:25:08.618752
Title: Adaptive Gradient Sparsification for Efficient Federated Learning: An Online Learning Approach
Title（参考訳）: 効果的なフェデレーション学習のための適応的グラディエントスパシフィケーション:オンライン学習アプローチ
Authors: Pengchao Han, Shiqiang Wang, Kin K. Leung
Abstract要約: フェデレーテッド・ラーニング(FL)は、地理的に分散したデータを用いて機械学習モデルをトレーニングするための新興技術である。勾配スペーシフィケーション(GS)を適用することができ、完全な勾配の代わりに、勾配の重要な要素の小さなサブセットが通信される。本稿では,近距離通信とトレードオフを自動的に判定する新しいオンライン学習定式化とアルゴリズムを提案する。
参考スコア（独自算出の注目度）: 11.986523531539165
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Federated learning (FL) is an emerging technique for training machine learning models using geographically dispersed data collected by local entities. It includes local computation and synchronization steps. To reduce the communication overhead and improve the overall efficiency of FL, gradient sparsification (GS) can be applied, where instead of the full gradient, only a small subset of important elements of the gradient is communicated. Existing work on GS uses a fixed degree of gradient sparsity for i.i.d.-distributed data within a datacenter. In this paper, we consider adaptive degree of sparsity and non-i.i.d. local datasets. We first present a fairness-aware GS method which ensures that different clients provide a similar amount of updates. Then, with the goal of minimizing the overall training time, we propose a novel online learning formulation and algorithm for automatically determining the near-optimal communication and computation trade-off that is controlled by the degree of gradient sparsity. The online learning algorithm uses an estimated sign of the derivative of the objective function, which gives a regret bound that is asymptotically equal to the case where exact derivative is available. Experiments with real datasets confirm the benefits of our proposed approaches, showing up to $40\%$ improvement in model accuracy for a finite training time.
Abstract（参考訳）: フェデレートラーニング(FL)は、ローカルエンティティが収集した地理的に分散したデータを用いて機械学習モデルをトレーニングするための新興技術である。ローカルな計算と同期のステップを含む。通信オーバーヘッドを低減し、FLの全体的な効率を向上させるため、勾配スペーシフィケーション(GS)を適用し、完全な勾配の代わりに、勾配の重要な要素の小さなサブセットが通信される。既存のGSの作業は、データセンター内で分散されたデータに対して、一定の勾配間隔を使用する。本稿では,適応度と非局所的データセットについて考察する。まず、各クライアントが同様の量の更新を確実に行うフェアネス対応GS手法を提案する。そこで本研究では,学習時間全体の最小化を目標とし,勾配スパーシティの程度によって制御される最適に近いコミュニケーションと計算トレードオフを自動的に決定するオンライン学習定式化とアルゴリズムを提案する。オンライン学習アルゴリズムは、目的関数の導関数の推定符号を使い、正確な導関数が利用できる場合と漸近的に等しい後悔境界を与える。実際のデータセットを用いた実験により提案手法の利点が確認でき、訓練時間限定でモデル精度が最大40\%向上した。

関連論文リスト

On the Convergence of Continual Federated Learning Using Incrementally Aggregated Gradients [2.2530496464901106]
機械学習の聖杯は、連続的フェデレーション学習(CFL)によって、ストリーミングデータから学習しながら、AIシステムの効率、プライバシ、スケーラビリティを高めることである。本稿では、エッジベースのメモリ勾配更新と、現在のデータに対する集約勾配からなる新しいリプレイメモリベースのフェデレーション戦略を提案する。我々は,C-FLAGが,タスクとクラスインクリメンタル設定の両方において,精度や忘れなどの指標に関して,最先端のベースラインを上回っていることを実証的に示す。
論文参考訳（メタデータ） (2024-11-12T17:36:20Z)
Gradient-Congruity Guided Federated Sparse Training [31.793271982853188]
Federated Learning(FL)は、データプライバシを保持しながら、このプロセスを容易にする分散機械学習技術である。 FLはまた、リソース制約のあるデバイスに関する高い計算コストや通信コストといった課題に直面している。本研究では,動的スパーストレーニングと勾配一致検査を統合したFedSGC(Gradient-Congruity Guided Federated Sparse Training)を提案する。
論文参考訳（メタデータ） (2024-05-02T11:29:48Z)
FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文参考訳（メタデータ） (2023-09-18T12:35:05Z)
Online Distributed Learning with Quantized Finite-Time Coordination [0.4910937238451484]
私たちの設定では、エージェントのセットは、ストリーミングデータから学習モデルを協調的にトレーニングする必要があります。本稿では,量子化された有限時間協調プロトコルに依存する分散アルゴリズムを提案する。提案アルゴリズムの性能を,オンラインソリューションからの平均距離の観点から解析する。
論文参考訳（メタデータ） (2023-07-13T08:36:15Z)
FedDA: Faster Framework of Local Adaptive Gradient Methods via Restarted Dual Averaging [104.41634756395545]
フェデレートラーニング(Federated Learning, FL)は、大規模な分散データに取り組むための新たな学習パラダイムである。局所適応勾配法のための新しいフレームワークである textbfFedDA を提案する。 textbfFedDA-MVR は適応FLアルゴリズムとしては初めてこの速度を実現することを示す。
論文参考訳（メタデータ） (2023-02-13T05:10:30Z)
Faster Adaptive Federated Learning [84.38913517122619]
フェデレートラーニングは分散データの出現に伴って注目を集めている。本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
論文参考訳（メタデータ） (2022-12-02T05:07:50Z)
Delving into Effective Gradient Matching for Dataset Condensation [13.75957901381024]
勾配マッチング法は、元のデータセットと合成データセットのトレーニング時に勾配をマッチングすることで、トレーニングダイナミクスを直接ターゲットとする。クラス内勾配情報とクラス間勾配情報の両方を含む多段階勾配情報とを一致させることを提案する。アルゴリズムの効率向上のための不要な最適化ステップをトリムするために、過適合適応学習ステップ戦略も提案されている。
論文参考訳（メタデータ） (2022-07-30T21:31:10Z)
sqSGD: Locally Private and Communication Efficient Federated Learning [14.60645909629309]
Federated Learning(FL)は、分散データソースから機械学習モデルをトレーニングするテクニックである。我々は,通信効率と高次元互換性に対処するsqSGDという勾配学習アルゴリズムを開発した。実験の結果、sqSGDはローカルのプライバシー制約でLeNetやResNetのような大規模なモデルをうまく学習している。
論文参考訳（メタデータ） (2022-06-21T17:45:35Z)
Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文参考訳（メタデータ） (2022-03-05T02:31:32Z)
Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文参考訳（メタデータ） (2021-11-28T19:03:39Z)
FedPD: A Federated Learning Framework with Optimal Rates and Adaptivity to Non-IID Data [59.50904660420082]
フェデレートラーニング(FL)は、分散データから学ぶための一般的なパラダイムになっています。クラウドに移行することなく、さまざまなデバイスのデータを効果的に活用するために、Federated Averaging(FedAvg)などのアルゴリズムでは、"Computation then aggregate"(CTA)モデルを採用している。
論文参考訳（メタデータ） (2020-05-22T23:07:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。