Fugu-MT 論文翻訳(概要): Internal Cross-layer Gradients for Extending Homogeneity to Heterogeneity in Federated Learning

論文の概要: Internal Cross-layer Gradients for Extending Homogeneity to Heterogeneity in Federated Learning

arxiv url: http://arxiv.org/abs/2308.11464v2
Date: Mon, 26 Feb 2024 09:48:00 GMT
ステータス: 処理完了
システム内更新日: 2024-02-27 19:29:56.755666
Title: Internal Cross-layer Gradients for Extending Homogeneity to Heterogeneity in Federated Learning
Title（参考訳）: フェデレート学習における均質性から不均質性への拡張のための内部層間勾配
Authors: Yun-Hin Chan, Rui Zhou, Running Zhao, Zhihan Jiang, Edith C.-H. Ngai
Abstract要約: フェデレートラーニング(FL)は必然的にシステム不均一性の課題に直面する。本稿では,ほとんどのモデル同次FL法の能力を拡張可能なトレーニングスキームを提案する。
参考スコア（独自算出の注目度）: 11.29694276480432
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Federated learning (FL) inevitably confronts the challenge of system heterogeneity in practical scenarios. To enhance the capabilities of most model-homogeneous FL methods in handling system heterogeneity, we propose a training scheme that can extend their capabilities to cope with this challenge. In this paper, we commence our study with a detailed exploration of homogeneous and heterogeneous FL settings and discover three key observations: (1) a positive correlation between client performance and layer similarities, (2) higher similarities in the shallow layers in contrast to the deep layers, and (3) the smoother gradients distributions indicate the higher layer similarities. Building upon these observations, we propose InCo Aggregation that leverages internal cross-layer gradients, a mixture of gradients from shallow and deep layers within a server model, to augment the similarity in the deep layers without requiring additional communication between clients. Furthermore, our methods can be tailored to accommodate model-homogeneous FL methods such as FedAvg, FedProx, FedNova, Scaffold, and MOON, to expand their capabilities to handle the system heterogeneity. Copious experimental results validate the effectiveness of InCo Aggregation, spotlighting internal cross-layer gradients as a promising avenue to enhance the performance in heterogeneous FL.
Abstract（参考訳）: フェデレートラーニング(FL)は必然的に,実践シナリオにおけるシステム不均一性の課題に直面する。システム不均一性を扱う場合のモデル同次FL手法の能力を高めるために,本課題に対処する能力を拡張するためのトレーニングスキームを提案する。本稿では,均質かつ不均質なfl設定を詳細に検討し,(1)クライアントの性能と層間類似度との正の相関,(2)深層とは対照的に浅層間の類似度,(3)より滑らかな勾配分布は層間類似度を示す,という3つの重要な観測結果を得た。これらの観察に基づいて,サーバモデル内の浅層層と深層層からの勾配を混合したincoアグリゲーションを提案し,クライアント間の追加的な通信を必要とせず,深層間の類似性を高める。さらに,本手法は,FedAvg,FedProx,FedNova,Scaffold,MOONといったモデル均一なFL法に対応して,システム不均一性を扱う能力を拡張できる。 InCoアグリゲーションの有効性を実証し、不均質FLの性能を高めるための有望な経路として内部層勾配をスポットライティングした。

関連論文リスト

Towards Layer-Wise Personalized Federated Learning: Adaptive Layer Disentanglement via Conflicting Gradients [11.269920973751244]
パーソナライズされたフェデレートラーニング(pFL)では、高データの異質性はデバイス間で大きな勾配のばらつきを引き起こす可能性がある。グラディエント・アナリティクス(FedLAG)によるレイヤワイド・アグリゲーションを用いたフェデレート・ラーニング(Federated Learning)という,pFL設計への新たなアプローチを導入する。 FedLAGはレイヤーワイド勾配競合の程度に基づいて、パーソナライズのためのレイヤを割り当てる。
論文参考訳（メタデータ） (2024-10-03T14:46:19Z)
On Layer-wise Representation Similarity: Application for Multi-Exit Models with a Single Classifier [20.17288970927518]
本研究では,各変圧器の隠蔽層間の表現の類似性について検討する。本稿では,内部表現の類似性を高めるための協調学習手法を提案する。
論文参考訳（メタデータ） (2024-06-20T16:41:09Z)
Learning in PINNs: Phase transition, total diffusion, and generalization [1.8802875123957965]
勾配信号-雑音比(SNR)のレンズを用いた完全連結ニューラルネットワークの学習力学について検討する。全拡散と呼ばれる第3相を同定する」。本稿では,情報誘起圧縮現象を考察し,全拡散相におけるアクティベーションの顕著な圧縮を示唆する。
論文参考訳（メタデータ） (2024-03-27T12:10:30Z)
Adaptive Federated Learning Over the Air [108.62635460744109]
オーバー・ザ・エア・モデル・トレーニングの枠組みの中で,適応勾配法,特にAdaGradとAdamの連合バージョンを提案する。解析の結果,AdaGrad に基づくトレーニングアルゴリズムは $mathcalO(ln(T) / T 1 - frac1alpha の速度で定常点に収束することがわかった。
論文参考訳（メタデータ） (2024-03-11T09:10:37Z)
Tackling the Non-IID Issue in Heterogeneous Federated Learning by Gradient Harmonization [11.484136481586381]
フェデレートラーニング(Federated Learning, FL)は、分散クライアントからグローバルモデルを協調的にトレーニングするための、プライバシ保護パラダイムである。本研究では、サーバ側の勾配競合のレンズを通して、この重要な課題を再考する。グラディエント・ハーモニゼーションによる局所ドリフトを緩和する簡易かつ効果的なFedGHを提案する。
論文参考訳（メタデータ） (2023-09-13T03:27:21Z)
GIFD: A Generative Gradient Inversion Method with Feature Domain Optimization [52.55628139825667]
Federated Learning(FL)は、クライアントのプライバシを保護するための有望な分散機械学習フレームワークとして登場した。近年の研究では、事前学習された生成逆ネットワーク(GAN)を事前知識として活用することにより、攻撃者が共有勾配を逆転し、FLシステムに対する機密データを回復できることが示されている。 textbfGradient textbfInversion over textbfFeature textbfDomains (GIFD)を提案する。
論文参考訳（メタデータ） (2023-08-09T04:34:21Z)
Deep Equilibrium Models Meet Federated Learning [71.57324258813675]
本研究では,従来の深層学習ネットワークの代わりにDeep Equilibrium(DEQ)モデルを用いて,フェデレートラーニング(FL)問題について検討する。我々は、DECモデルをフェデレート学習フレームワークに組み込むことで、FLのいくつかのオープンな問題に自然に対処できると主張している。我々の知る限りでは、この研究は、DECモデルとフェデレーションラーニングの関連性を確立する最初のものである。
論文参考訳（メタデータ） (2023-05-29T22:51:40Z)
WLD-Reg: A Data-dependent Within-layer Diversity Regularizer [98.78384185493624]
ニューラルネットワークは、勾配に基づく最適化と共同で訓練された階層構造に配置された複数の層で構成されている。我々は、この従来の「中間層」フィードバックを補うために、同じ層内での活性化の多様性を促進するために、追加の「中間層」フィードバックを補うことを提案する。本稿では,提案手法が複数のタスクにおける最先端ニューラルネットワークモデルの性能を向上させることを実証した広範な実証研究を提案する。
論文参考訳（メタデータ） (2023-01-03T20:57:22Z)
GSMFlow: Generation Shifts Mitigating Flow for Generalized Zero-Shot Learning [55.79997930181418]
Generalized Zero-Shot Learningは、目に見えないクラスから見えないクラスに意味的な知識を移すことで、目に見えないクラスと見えないクラスの両方から画像を認識することを目的としている。生成モデルの利点を生かして、見学したクラスから学んだ知識に基づいて、現実的な見知らぬサンプルを幻覚させることは、有望な解決策である。本研究では,複数の条件付きアフィン結合層からなるフローベース生成フレームワークを提案する。
論文参考訳（メタデータ） (2022-07-05T04:04:37Z)
Efficient Split-Mix Federated Learning for On-Demand and In-Situ Customization [107.72786199113183]
フェデレートラーニング(FL)は、複数の参加者が生データを共有せずに学習をコラボレーションするための分散ラーニングフレームワークを提供する。本稿では, モデルサイズとロバスト性をその場でカスタマイズできる, 不均一な参加者のための新しいスプリット・ミクス・FL戦略を提案する。
論文参考訳（メタデータ） (2022-03-18T04:58:34Z)
Exploring Heterogeneous Characteristics of Layers in ASR Models for More Efficient Training [1.3999481573773072]
ランとモデルサイズにまたがるこれらの層の安定性について検討する。群正規化は, 群形成を乱すことなく適用できる可能性が示唆された。これらの知見をフェデレートラーニングに適用して,トレーニング手順の改善を図る。
論文参考訳（メタデータ） (2021-10-08T17:25:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。