Fugu-MT 論文翻訳(概要): Gradient-Congruity Guided Federated Sparse Training

論文の概要: Gradient-Congruity Guided Federated Sparse Training

arxiv url: http://arxiv.org/abs/2405.01189v1
Date: Thu, 2 May 2024 11:29:48 GMT
ステータス: 処理完了
システム内更新日: 2024-05-03 16:54:18.381443
Title: Gradient-Congruity Guided Federated Sparse Training
Title（参考訳）: フェデレートスパーストレーニングを指導するグラディエント・コングルリティ
Authors: Chris Xing Tian, Yibing Liu, Haoliang Li, Ray C. C. Cheung, Shiqi Wang,
Abstract要約: Federated Learning(FL)は、データプライバシを保持しながら、このプロセスを容易にする分散機械学習技術である。 FLはまた、リソース制約のあるデバイスに関する高い計算コストや通信コストといった課題に直面している。本研究では,動的スパーストレーニングと勾配一致検査を統合したFedSGC(Gradient-Congruity Guided Federated Sparse Training)を提案する。
参考スコア（独自算出の注目度）: 31.793271982853188
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Edge computing allows artificial intelligence and machine learning models to be deployed on edge devices, where they can learn from local data and collaborate to form a global model. Federated learning (FL) is a distributed machine learning technique that facilitates this process while preserving data privacy. However, FL also faces challenges such as high computational and communication costs regarding resource-constrained devices, and poor generalization performance due to the heterogeneity of data across edge clients and the presence of out-of-distribution data. In this paper, we propose the Gradient-Congruity Guided Federated Sparse Training (FedSGC), a novel method that integrates dynamic sparse training and gradient congruity inspection into federated learning framework to address these issues. Our method leverages the idea that the neurons, in which the associated gradients with conflicting directions with respect to the global model contain irrelevant or less generalized information for other clients, and could be pruned during the sparse training process. Conversely, the neurons where the associated gradients with consistent directions could be grown in a higher priority. In this way, FedSGC can greatly reduce the local computation and communication overheads while, at the same time, enhancing the generalization abilities of FL. We evaluate our method on challenging non-i.i.d settings and show that it achieves competitive accuracy with state-of-the-art FL methods across various scenarios while minimizing computation and communication costs.
Abstract（参考訳）: エッジコンピューティングは、人工知能と機械学習モデルをエッジデバイスにデプロイし、ローカルデータから学習し、グローバルモデルを形成するためのコラボレーションを可能にする。 Federated Learning(FL)は、データプライバシを保持しながら、このプロセスを容易にする分散機械学習技術である。しかし、FLは、リソース制約されたデバイスに関する高い計算・通信コストや、エッジクライアント間のデータの均一性やアウト・オブ・ディストリビューションデータの存在による一般化性能の低下といった課題に直面している。本稿では,これらの課題に対処するために,動的スパーストレーニングと勾配一致検査を統合する新しい手法であるFedSGC(Gradient-Congruity Guided Federated Sparse Training)を提案する。提案手法は,大域的モデルに対する対立方向の勾配に関連付けられたニューロンが,他のクライアントに対して無関係あるいはあまり一般化されていない情報を含んでいて,スパーストレーニングプロセス中に切断できるという考えを生かしている。逆に、関連する勾配が一貫した方向に成長するニューロンは、高い優先度で成長することができる。このように、FedSGCは局所的な計算と通信オーバーヘッドを大幅に減らし、同時にFLの一般化能力を高めることができる。提案手法は非I.d設定に挑戦する上で評価し,計算と通信コストを最小化しつつ,様々なシナリオにわたる最先端のFL手法と競合する精度を実現することを示す。

関連論文リスト

Sparse Training for Federated Learning with Regularized Error Correction [9.852567834643292]
Federated Learning(FL)は、ディープニューラルネットワーク(DNN)モデルをトレーニングする上で大きなメリットがあるため、大きな関心を集めている。 FLAREは、FLプロセスへの埋め込みを正規化した更新モデルの累積引き込みによる新しいスパーストレーニング手法を提案する。 FLAREの性能は、多種多様な複雑なモデルに関する広範な実験を通じて検証され、顕著なスパーシリティレベル(現在の最先端の10倍以上の)を達成するとともに、精度が大幅に向上した。
論文参考訳（メタデータ） (2023-12-21T12:36:53Z)
Coordination-free Decentralised Federated Learning on Complex Networks: Overcoming Heterogeneity [2.6849848612544]
Federated Learning(FL)は、エッジコンピューティングシナリオで学習タスクを実行するためのフレームワークである。本稿では,コミュニケーション効率のよい分散フェデレート学習(DFL)アルゴリズムを提案する。我々のソリューションは、デバイスが直接隣人とのみ通信し、正確なモデルを訓練することを可能にする。
論文参考訳（メタデータ） (2023-12-07T18:24:19Z)
Over-the-Air Federated Learning and Optimization [52.5188988624998]
エッジ・ザ・エア計算(AirComp)によるフェデレーション学習(FL)に焦点を当てる。本稿では,AirComp ベースの FedAvg (AirFedAvg) アルゴリズムの凸および非凸条件下での収束について述べる。エッジデバイス(モデル、勾配、モデル差など)で送信できるローカルアップデートの種類によって、AirFedAvgで送信するとアグリゲーションエラーが発生する可能性がある。さらに、より実用的な信号処理方式を検討し、通信効率を改善し、これらの信号処理方式によって引き起こされるモデル集約誤差の異なる形式に収束解析を拡張する。
論文参考訳（メタデータ） (2023-10-16T05:49:28Z)
Adaptive Model Pruning and Personalization for Federated Learning over Wireless Networks [72.59891661768177]
フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
論文参考訳（メタデータ） (2023-09-04T21:10:45Z)
Personalizing Federated Learning with Over-the-Air Computations [84.8089761800994]
フェデレートされたエッジ学習は、プライバシー保護の方法で無線ネットワークのエッジにインテリジェンスをデプロイする、有望な技術である。このような設定の下で、複数のクライアントは、エッジサーバの調整の下でグローバルジェネリックモデルを協調的にトレーニングする。本稿では,アナログオーバー・ザ・エア計算を用いて通信ボトルネックに対処する分散トレーニングパラダイムを提案する。
論文参考訳（メタデータ） (2023-02-24T08:41:19Z)
Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文参考訳（メタデータ） (2022-03-05T02:31:32Z)
Federated Stochastic Gradient Descent Begets Self-Induced Momentum [151.4322255230084]
Federated Learning(FL)は、モバイルエッジシステムに適用可能な、新興の機械学習手法である。このような条件下での勾配降下(SGD)への走行は,大域的な集約プロセスに運動量的な項を加えるとみなすことができる。
論文参考訳（メタデータ） (2022-02-17T02:01:37Z)
Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文参考訳（メタデータ） (2021-11-28T19:03:39Z)
FedHe: Heterogeneous Models and Communication-Efficient Federated Learning [0.0]
フェデレートラーニング(FL)は、エッジデバイスを管理して、ローカルとプライベートのトレーニングデータを維持しながら、モデルを協調的にトレーニングすることができる。本稿では,異種モデルを学習し,非同期学習プロセスを支援する知識蒸留にインスパイアされた新しいFL法であるFedHeを提案する。
論文参考訳（メタデータ） (2021-10-19T12:18:37Z)
Communication-Efficient Hierarchical Federated Learning for IoT Heterogeneous Systems with Imbalanced Data [42.26599494940002]
フェデレートラーニング(Federated Learning, FL)は、複数のノードが協調してディープラーニングモデルをトレーニングできる分散ラーニング方法論である。本稿では,IoTヘテロジニアスシステムにおける階層FLの可能性について検討する。複数のエッジノード上でのユーザ割り当てとリソース割り当てに最適化されたソリューションを提案する。
論文参考訳（メタデータ） (2021-07-14T08:32:39Z)
Continual Local Training for Better Initialization of Federated Models [14.289213162030816]
フェデレートラーニング(Federated Learning、FL)とは、機械学習モデルを分散システムで直接訓練する学習パラダイムである。一般的なFLアルゴリズムであるemphFederated Averaging (FedAvg)は重みのばらつきに悩まされている。本稿では,この問題に対処するための局所的な継続的トレーニング戦略を提案する。
論文参考訳（メタデータ） (2020-05-26T12:27:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。