Fugu-MT 論文翻訳(概要): GradMA: A Gradient-Memory-based Accelerated Federated Learning with Alleviated Catastrophic Forgetting

論文の概要: GradMA: A Gradient-Memory-based Accelerated Federated Learning with Alleviated Catastrophic Forgetting

arxiv url: http://arxiv.org/abs/2302.14307v1
Date: Tue, 28 Feb 2023 04:45:31 GMT
ステータス: 処理完了
システム内更新日: 2023-03-01 18:05:18.622754
Title: GradMA: A Gradient-Memory-based Accelerated Federated Learning with Alleviated Catastrophic Forgetting
Title（参考訳）: GradMA: 破滅的予測を緩和したグラディエントメモリベースの加速的フェデレーションラーニング
Authors: Kangyang Luo, Xiang Li, Yunshi Lan, Ming Gao
Abstract要約: フェデレーテッド・ラーニング(FL)は、事実上の機械学習分野として現れ、コミュニティから研究の関心が急速に高まっている。この問題に対処するため、新しいFLアプローチ(GradMA)を提案する。 GradMAは継続的学習からインスピレーションを得て、サーバ側とワーカ側の更新方向を同時に修正する。様々な画像分類タスクにより、GradMAは精度と通信効率において顕著な性能向上を示す。
参考スコア（独自算出の注目度）: 20.916102812162944
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Federated Learning (FL) has emerged as a de facto machine learning area and received rapid increasing research interests from the community. However, catastrophic forgetting caused by data heterogeneity and partial participation poses distinctive challenges for FL, which are detrimental to the performance. To tackle the problems, we propose a new FL approach (namely GradMA), which takes inspiration from continual learning to simultaneously correct the server-side and worker-side update directions as well as take full advantage of server's rich computing and memory resources. Furthermore, we elaborate a memory reduction strategy to enable GradMA to accommodate FL with a large scale of workers. We then analyze convergence of GradMA theoretically under the smooth non-convex setting and show that its convergence rate achieves a linear speed up w.r.t the increasing number of sampled active workers. At last, our extensive experiments on various image classification tasks show that GradMA achieves significant performance gains in accuracy and communication efficiency compared to SOTA baselines.
Abstract（参考訳）: フェデレーション学習(federated learning, fl)は、デファクトの機械学習分野として登場し、コミュニティから急速に研究関心が高まっている。しかし、データの不均一性と部分的参加によって引き起こされる破滅的な忘れは、パフォーマンスを損なうflに特有の課題をもたらす。そこで我々は,サーバサイドとワーカーサイドの更新方向を同時に修正し,サーバのリッチコンピューティングとメモリリソースを最大限活用するために,継続的学習から着想を得た新しいflアプローチ(gradma)を提案する。さらに,gradma が大規模作業者に対して fl に対応するためのメモリ削減戦略を詳述した。次に,GradMAのスムーズな非凸条件下での収束を理論的に解析し,その収束速度がサンプルアクティブワーカーの増加とともに線形速度アップを達成することを示す。最後に,様々な画像分類タスクに関する広範囲な実験により,SOTAベースラインと比較して,GradMAの精度と通信効率が著しく向上したことを示す。

関連論文リスト

On the Convergence of Continual Federated Learning Using Incrementally Aggregated Gradients [2.2530496464901106]
機械学習の聖杯は、連続的フェデレーション学習(CFL)によって、ストリーミングデータから学習しながら、AIシステムの効率、プライバシ、スケーラビリティを高めることである。本稿では、エッジベースのメモリ勾配更新と、現在のデータに対する集約勾配からなる新しいリプレイメモリベースのフェデレーション戦略を提案する。我々は,C-FLAGが,タスクとクラスインクリメンタル設定の両方において,精度や忘れなどの指標に関して,最先端のベースラインを上回っていることを実証的に示す。
論文参考訳（メタデータ） (2024-11-12T17:36:20Z)
A few-shot Label Unlearning in Vertical Federated Learning [16.800865928660954]
本稿では,垂直的フェデレート学習(VFL)におけるアンラーニングの課題について述べる。本稿では,ラベルリークのリスクを軽減することを目的とした,VFLにおけるラベルアンラーニングに特化して設計された最初のアプローチを紹介する。本手法では, ラベル付きデータの限られた量を活用し, 多様体ミックスアップを利用して, 不十分なデータの前方埋め込みを増強し, 拡張埋め込みに勾配を増し, モデルからラベル情報を消去する。
論文参考訳（メタデータ） (2024-10-14T12:08:12Z)
Can We Theoretically Quantify the Impacts of Local Updates on the Generalization Performance of Federated Learning? [50.03434441234569]
フェデレートラーニング(FL)は、直接データ共有を必要とせず、さまざまなサイトで機械学習モデルをトレーニングする効果により、大きな人気を集めている。局所的な更新を伴うFLは通信効率のよい分散学習フレームワークであることが様々なアルゴリズムによって示されているが、局所的な更新によるFLの一般化性能は比較的低い。
論文参考訳（メタデータ） (2024-09-05T19:00:18Z)
SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。初期経路では、中間出力は反冗長動作によって統合される。遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
論文参考訳（メタデータ） (2024-07-10T10:22:35Z)
Take History as a Mirror in Heterogeneous Federated Learning [9.187993085263209]
フェデレートラーニング(FL)は、いくつかのクライアントが生データを開示することなく、機械学習モデルを協調的にトレーニングすることを可能にする。本稿では,FedHist(Federated Historical Learning)と呼ばれる新しい非同期FLフレームワークを提案する。 FedHistは、非IIDデータと勾配の安定化によって引き起こされる課題に効果的に対処する。
論文参考訳（メタデータ） (2023-12-16T11:40:49Z)
Automated Federated Learning in Mobile Edge Networks -- Fast Adaptation and Convergence [83.58839320635956]
フェデレートラーニング(FL)は、モバイルエッジネットワークで機械学習モデルを分散的にトレーニングするために使用することができる。最近のFLは、モデルに依存しないメタラーニング(MAML)フレームワークで解釈されている。本稿は,MAMLがFLにもたらすメリットと,モバイルエッジネットワーク上でのメリットの最大化について論じる。
論文参考訳（メタデータ） (2023-03-23T02:42:10Z)
Magnitude Matters: Fixing SIGNSGD Through Magnitude-Aware Sparsification in the Presence of Data Heterogeneity [60.791736094073]
通信オーバーヘッドは、ディープニューラルネットワークの分散トレーニングにおいて、大きなボトルネックのひとつになっています。本稿では,SIGNSGDの非収束問題に対処する等級化方式を提案する。提案手法は,Fashion-MNIST, CIFAR-10, CIFAR-100データセットを用いて検証した。
論文参考訳（メタデータ） (2023-02-19T17:42:35Z)
FL Games: A Federated Learning Framework for Distribution Shifts [71.98708418753786]
フェデレートラーニングは、サーバのオーケストレーションの下で、クライアント間で分散されたデータの予測モデルをトレーニングすることを目的としている。本稿では,クライアント間で不変な因果的特徴を学習するフェデレーション学習のためのゲーム理論フレームワークFL GAMESを提案する。
論文参考訳（メタデータ） (2022-10-31T22:59:03Z)
On-the-fly Resource-Aware Model Aggregation for Federated Learning in Heterogeneous Edge [15.932747809197517]
エッジコンピューティングは、フレキシブルでセキュアでパフォーマンスの良い特性のおかげで、モバイルとワイヤレスネットワークの世界に革命をもたらした。本稿では,中央集約サーバを空飛ぶマスタに置き換えるための戦略を詳細に検討する。本研究は,EdgeAIテストベッドおよび実5Gネットワーク上で実施した測定結果から,空飛ぶマスターFLフレームワークを用いたランタイムの大幅な削減効果を示した。
論文参考訳（メタデータ） (2021-12-21T19:04:42Z)
Coded Computing for Federated Learning at the Edge [3.385874614913973]
フェデレートラーニング(FL)は、クライアントデータを集中サーバに移行することなく、クライアントノードでローカルに生成されたデータからグローバルモデルをトレーニングすることを可能にする。最近の研究は、MECサーバに冗長な計算を割り当てることで、トラグラーを緩和し、線形回帰タスクのトレーニングを高速化することを提案する。我々は、CFLを分散非線形回帰および多出力ラベルによる分類問題に拡張する難題に対処するCodedFedLを開発した。
論文参考訳（メタデータ） (2020-07-07T08:20:47Z)
Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。