論文の概要: GradMA: A Gradient-Memory-based Accelerated Federated Learning with
Alleviated Catastrophic Forgetting
- arxiv url: http://arxiv.org/abs/2302.14307v1
- Date: Tue, 28 Feb 2023 04:45:31 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-01 18:05:18.622754
- Title: GradMA: A Gradient-Memory-based Accelerated Federated Learning with
Alleviated Catastrophic Forgetting
- Title(参考訳): GradMA: 破滅的予測を緩和したグラディエントメモリベースの加速的フェデレーションラーニング
- Authors: Kangyang Luo, Xiang Li, Yunshi Lan, Ming Gao
- Abstract要約: フェデレーテッド・ラーニング(FL)は、事実上の機械学習分野として現れ、コミュニティから研究の関心が急速に高まっている。
この問題に対処するため、新しいFLアプローチ(GradMA)を提案する。
GradMAは継続的学習からインスピレーションを得て、サーバ側とワーカ側の更新方向を同時に修正する。
様々な画像分類タスクにより、GradMAは精度と通信効率において顕著な性能向上を示す。
- 参考スコア(独自算出の注目度): 20.916102812162944
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Federated Learning (FL) has emerged as a de facto machine learning area and
received rapid increasing research interests from the community. However,
catastrophic forgetting caused by data heterogeneity and partial participation
poses distinctive challenges for FL, which are detrimental to the performance.
To tackle the problems, we propose a new FL approach (namely GradMA), which
takes inspiration from continual learning to simultaneously correct the
server-side and worker-side update directions as well as take full advantage of
server's rich computing and memory resources. Furthermore, we elaborate a
memory reduction strategy to enable GradMA to accommodate FL with a large scale
of workers. We then analyze convergence of GradMA theoretically under the
smooth non-convex setting and show that its convergence rate achieves a linear
speed up w.r.t the increasing number of sampled active workers. At last, our
extensive experiments on various image classification tasks show that GradMA
achieves significant performance gains in accuracy and communication efficiency
compared to SOTA baselines.
- Abstract(参考訳): フェデレーション学習(federated learning, fl)は、デファクトの機械学習分野として登場し、コミュニティから急速に研究関心が高まっている。
しかし、データの不均一性と部分的参加によって引き起こされる破滅的な忘れは、パフォーマンスを損なうflに特有の課題をもたらす。
そこで我々は,サーバサイドとワーカーサイドの更新方向を同時に修正し,サーバのリッチコンピューティングとメモリリソースを最大限活用するために,継続的学習から着想を得た新しいflアプローチ(gradma)を提案する。
さらに,gradma が大規模作業者に対して fl に対応するためのメモリ削減戦略を詳述した。
次に,GradMAのスムーズな非凸条件下での収束を理論的に解析し,その収束速度がサンプルアクティブワーカーの増加とともに線形速度アップを達成することを示す。
最後に,様々な画像分類タスクに関する広範囲な実験により,SOTAベースラインと比較して,GradMAの精度と通信効率が著しく向上したことを示す。
関連論文リスト
- Flashback: Understanding and Mitigating Forgetting in Federated Learning [7.248285042377168]
フェデレートラーニング(FL)では、忘れたり、ラウンド全体で知識が失われたりすると、ハマーズアルゴリズムが収束する。
我々は,新たな知識獲得の過程で,忘れをきめ細かく測定し,認識を確実にする指標を導入する。
本稿では,局所的なモデルを正規化し,その知識を効果的に集約する動的蒸留手法を用いたFLアルゴリズムであるFlashbackを提案する。
論文 参考訳(メタデータ) (2024-02-08T10:52:37Z) - Relaxed Contrastive Learning for Federated Learning [53.48804883845343]
本稿では,フェデレート学習におけるデータ不均一性の課題に対処する,新しいコントラスト学習フレームワークを提案する。
当社のフレームワークは,既存のフェデレート学習アプローチを,標準ベンチマークにおいて大きなマージンで上回ります。
論文 参考訳(メタデータ) (2024-01-10T04:55:24Z) - Take History as a Mirror in Heterogeneous Federated Learning [9.187993085263209]
フェデレートラーニング(FL)は、いくつかのクライアントが生データを開示することなく、機械学習モデルを協調的にトレーニングすることを可能にする。
本稿では,FedHist(Federated Historical Learning)と呼ばれる新しい非同期FLフレームワークを提案する。
FedHistは、非IIDデータと勾配の安定化によって引き起こされる課題に効果的に対処する。
論文 参考訳(メタデータ) (2023-12-16T11:40:49Z) - Adaptive Model Pruning and Personalization for Federated Learning over
Wireless Networks [72.59891661768177]
フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。
これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。
このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
論文 参考訳(メタデータ) (2023-09-04T21:10:45Z) - SLoRA: Federated Parameter Efficient Fine-Tuning of Language Models [28.764782216513037]
FL(Federated Learning)は、FLエッジクライアントの分散データとプライベートデータの恩恵を受けることができる。
異種データシナリオにおけるLoRAの重要な制約を克服するSLoRAという手法を提案する。
実験の結果,SLoRAは完全微調整に匹敵する性能を示した。
論文 参考訳(メタデータ) (2023-08-12T10:33:57Z) - Automated Federated Learning in Mobile Edge Networks -- Fast Adaptation
and Convergence [83.58839320635956]
フェデレートラーニング(FL)は、モバイルエッジネットワークで機械学習モデルを分散的にトレーニングするために使用することができる。
最近のFLは、モデルに依存しないメタラーニング(MAML)フレームワークで解釈されている。
本稿は,MAMLがFLにもたらすメリットと,モバイルエッジネットワーク上でのメリットの最大化について論じる。
論文 参考訳(メタデータ) (2023-03-23T02:42:10Z) - Magnitude Matters: Fixing SIGNSGD Through Magnitude-Aware Sparsification
in the Presence of Data Heterogeneity [60.791736094073]
通信オーバーヘッドは、ディープニューラルネットワークの分散トレーニングにおいて、大きなボトルネックのひとつになっています。
本稿では,SIGNSGDの非収束問題に対処する等級化方式を提案する。
提案手法は,Fashion-MNIST, CIFAR-10, CIFAR-100データセットを用いて検証した。
論文 参考訳(メタデータ) (2023-02-19T17:42:35Z) - FL Games: A Federated Learning Framework for Distribution Shifts [71.98708418753786]
フェデレートラーニングは、サーバのオーケストレーションの下で、クライアント間で分散されたデータの予測モデルをトレーニングすることを目的としている。
本稿では,クライアント間で不変な因果的特徴を学習するフェデレーション学習のためのゲーム理論フレームワークFL GAMESを提案する。
論文 参考訳(メタデータ) (2022-10-31T22:59:03Z) - On-the-fly Resource-Aware Model Aggregation for Federated Learning in
Heterogeneous Edge [15.932747809197517]
エッジコンピューティングは、フレキシブルでセキュアでパフォーマンスの良い特性のおかげで、モバイルとワイヤレスネットワークの世界に革命をもたらした。
本稿では,中央集約サーバを空飛ぶマスタに置き換えるための戦略を詳細に検討する。
本研究は,EdgeAIテストベッドおよび実5Gネットワーク上で実施した測定結果から,空飛ぶマスターFLフレームワークを用いたランタイムの大幅な削減効果を示した。
論文 参考訳(メタデータ) (2021-12-21T19:04:42Z) - Coded Computing for Federated Learning at the Edge [3.385874614913973]
フェデレートラーニング(FL)は、クライアントデータを集中サーバに移行することなく、クライアントノードでローカルに生成されたデータからグローバルモデルをトレーニングすることを可能にする。
最近の研究は、MECサーバに冗長な計算を割り当てることで、トラグラーを緩和し、線形回帰タスクのトレーニングを高速化することを提案する。
我々は、CFLを分散非線形回帰および多出力ラベルによる分類問題に拡張する難題に対処するCodedFedLを開発した。
論文 参考訳(メタデータ) (2020-07-07T08:20:47Z) - Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。
本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文 参考訳(メタデータ) (2020-06-10T08:22:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。