論文の概要: SPATL: Salient Parameter Aggregation and Transfer Learning for
Heterogeneous Clients in Federated Learning
- arxiv url: http://arxiv.org/abs/2111.14345v1
- Date: Mon, 29 Nov 2021 06:28:05 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-30 18:15:27.228608
- Title: SPATL: Salient Parameter Aggregation and Transfer Learning for
Heterogeneous Clients in Federated Learning
- Title（参考訳）: spatl: フェデレーション学習における異種顧客のための有意なパラメータ集約と転送学習
- Authors: Sixing Yu, Phuong Nguyen, Waqwoya Abebe, Ali Anwar, Ali Jannesari
- Abstract要約: 効率的なフェデレーション学習は、エッジデバイス上でAIモデルをトレーニングしデプロイする上で重要な課題の1つだ。
フェデレーション学習におけるデータのプライバシの維持は、データの均一性、高価な通信コスト、限られたリソースなど、いくつかの課題を引き起こす。
本稿では,ローカルクライアントの深層強化学習に基づく有能なパラメータ選択エージェントを提案し,選択した有能なパラメータを中央サーバに集約する。
- 参考スコア（独自算出の注目度）: 3.5394650810262336
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Efficient federated learning is one of the key challenges for training and
deploying AI models on edge devices. However, maintaining data privacy in
federated learning raises several challenges including data heterogeneity,
expensive communication cost, and limited resources. In this paper, we address
the above issues by (a) introducing a salient parameter selection agent based
on deep reinforcement learning on local clients, and aggregating the selected
salient parameters on the central server, and (b) splitting a normal deep
learning model~(e.g., CNNs) as a shared encoder and a local predictor, and
training the shared encoder through federated learning while transferring its
knowledge to Non-IID clients by the local customized predictor. The proposed
method (a) significantly reduces the communication overhead of federated
learning and accelerates the model inference, while method (b) addresses the
data heterogeneity issue in federated learning. Additionally, we leverage the
gradient control mechanism to correct the gradient heterogeneity among clients.
This makes the training process more stable and converge faster. The
experiments show our approach yields a stable training process and achieves
notable results compared with the state-of-the-art methods. Our approach
significantly reduces the communication cost by up to 108 GB when training
VGG-11, and needed $7.6 \times$ less communication overhead when training
ResNet-20, while accelerating the local inference by reducing up to $39.7\%$
FLOPs on VGG-11.
- Abstract（参考訳）: 効率的なフェデレーション学習は、エッジデバイス上でAIモデルをトレーニングしデプロイする上で重要な課題のひとつだ。
しかし、フェデレーション学習におけるデータのプライバシの維持は、データの均一性、高価な通信コスト、限られたリソースなど、いくつかの課題を引き起こす。
本稿では,上記の課題について述べる。
(a)ローカルクライアントの深層強化学習に基づく有能なパラメータ選択エージェントを導入し、選択された有能なパラメータを中央サーバに集約し、
(b)共有エンコーダとローカル予測器として通常のディープラーニングモデル(cnnsなど)を分割し、共有エンコーダをフェデレーション学習を通じて訓練し、その知識をローカルカスタマイズ予測器によって非iidクライアントに転送する。
提案手法
(a)フェデレーション学習のコミュニケーションオーバーヘッドを著しく減らし,モデル推論を高速化する一方で,手法
(b)フェデレーション学習におけるデータ不均質性問題に対処する。
さらに,勾配制御機構を利用して,クライアント間の勾配の不均一性を補正する。
これにより、トレーニングプロセスはより安定し、より早く収束します。
実験により,本手法は訓練過程が安定し,最先端手法と比較して顕著な結果が得られた。
VGG-11のトレーニングでは通信コストを最大108GB削減し,ResNet-20のトレーニングでは7.6 \times$通信オーバーヘッドを削減し,VGG-11では最大39.7\%のFLOPを削減した。
関連論文リスト
- FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳（メタデータ） (2023-09-18T12:35:05Z) - Effectively Heterogeneous Federated Learning: A Pairing and Split
Learning Based Approach [16.093068118849246]
本稿では,クライアントと異なる計算資源をペアリングする,新しい分割フェデレーション学習(SFL)フレームワークを提案する。
グラフエッジ選択問題として,学習遅延の最適化を再構築し,グレディアルゴリズムを提案する。
シミュレーションの結果,提案手法はFLトレーニング速度を大幅に向上し,高い性能を実現することができることがわかった。
論文 参考訳（メタデータ） (2023-08-26T11:10:54Z) - FedAgg: Adaptive Federated Learning with Aggregated Gradients [1.5653612447564105]
我々はFedAggと呼ばれる適応型FEDerated Learningアルゴリズムを提案し、局所モデルパラメータと平均モデルパラメータのばらつきを緩和し、高速モデル収束率を得る。
IIDおよび非IIDデータセット下でのモデル性能の向上と収束速度の促進を目的として,本手法が既存のFL戦略よりも優れていることを示す。
論文 参考訳（メタデータ） (2023-03-28T08:07:28Z) - FedClassAvg: Local Representation Learning for Personalized Federated
Learning on Heterogeneous Neural Networks [21.613436984547917]
我々は、フェデレーション分類器平均化(FedClassAvg)と呼ばれる、新しいパーソナライズされたフェデレーション学習手法を提案する。
FedClassAvgは、特徴空間上の決定境界に関する合意として重みを集約する。
異質なパーソナライズされたフェデレーション学習タスクにおいて、現在の最先端のアルゴリズムよりも優れた性能を示す。
論文 参考訳（メタデータ） (2022-10-25T08:32:08Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳（メタデータ） (2022-03-05T02:31:32Z) - FedKD: Communication Efficient Federated Learning via Knowledge
Distillation [56.886414139084216]
フェデレーション学習は、分散データからインテリジェントモデルを学ぶために広く使用されている。
フェデレートラーニングでは、クライアントはモデルラーニングの各イテレーションでローカルモデルの更新を伝える必要がある。
本稿では,知識蒸留に基づくコミュニケーション効率のよいフェデレーション学習手法を提案する。
論文 参考訳（メタデータ） (2021-08-30T15:39:54Z) - Quasi-Global Momentum: Accelerating Decentralized Deep Learning on
Heterogeneous Data [77.88594632644347]
ディープラーニングモデルの分散トレーニングは、ネットワーク上でデータプライバシとデバイス上での学習を可能にする重要な要素である。
現実的な学習シナリオでは、異なるクライアントのローカルデータセットに異質性が存在することが最適化の課題となる。
本稿では,この分散学習の難しさを軽減するために,運動量に基づく新しい手法を提案する。
論文 参考訳（メタデータ） (2021-02-09T11:27:14Z) - Straggler-Resilient Federated Learning: Leveraging the Interplay Between
Statistical Accuracy and System Heterogeneity [57.275753974812666]
フェデレーション学習は、データをローカルに保持しながら、クライアントのネットワークに分散したデータサンプルから学習する。
本稿では,学習手順を高速化するために,クライアントデータの統計的特徴を取り入れてクライアントを適応的に選択する,ストラグラー・レジリエントなフェデレーション学習手法を提案する。
論文 参考訳（メタデータ） (2020-12-28T19:21:14Z) - CosSGD: Nonlinear Quantization for Communication-efficient Federated
Learning [62.65937719264881]
フェデレーション学習は、これらのクライアントのローカルデータを中央サーバに転送することなく、クライアント間での学習を促進する。
圧縮勾配降下のための非線形量子化を提案し、フェデレーションラーニングで容易に利用することができる。
本システムは,訓練過程の収束と精度を維持しつつ,通信コストを最大3桁まで削減する。
論文 参考訳（メタデータ） (2020-12-15T12:20:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。