論文の概要: Tackling Hybrid Heterogeneity on Federated Optimization via Gradient
Diversity Maximization
- arxiv url: http://arxiv.org/abs/2310.02702v2
- Date: Sun, 4 Feb 2024 18:33:24 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-07 04:55:39.415981
- Title: Tackling Hybrid Heterogeneity on Federated Optimization via Gradient
Diversity Maximization
- Title(参考訳): 勾配多様性最大化によるフェデレーション最適化におけるハイブリッド不均質性への取り組み
- Authors: Dun Zeng, Zenglin Xu, Yu Pan, Qifan Wang, Xiaoying Tang
- Abstract要約: フェデレートラーニング(Federated Learning)とは、データサンプルを分散化し、複数のクライアントに分散する分散機械学習パラダイムである。
統計学とシステム不均一性の複合効果は、フェデレート最適化の効率を著しく低下させる。
本稿では,サーバサイドのグラデーションに基づくFedtextscAWAREを理論的保証付きで導入する。
- 参考スコア(独自算出の注目度): 40.49340305314807
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Federated learning refers to a distributed machine learning paradigm in which
data samples are decentralized and distributed among multiple clients. These
samples may exhibit statistical heterogeneity, which refers to data
distributions are not independent and identical across clients. Additionally,
system heterogeneity, or variations in the computational power of the clients,
introduces biases into federated learning. The combined effects of statistical
and system heterogeneity can significantly reduce the efficiency of federated
optimization. However, the impact of hybrid heterogeneity is not rigorously
discussed. This paper explores how hybrid heterogeneity affects federated
optimization by investigating server-side optimization. The theoretical results
indicate that adaptively maximizing gradient diversity in server update
direction can help mitigate the potential negative consequences of hybrid
heterogeneity. To this end, we introduce a novel server-side gradient-based
optimizer \textsc{FedAWARE} with theoretical guarantees provided. Intensive
experiments in heterogeneous federated settings demonstrate that our proposed
optimizer can significantly enhance the performance of federated learning
across varying degrees of hybrid heterogeneity.
- Abstract(参考訳): フェデレートラーニング(Federated Learning)とは、データサンプルを分散化し、複数のクライアントに分散する分散機械学習パラダイムである。
これらのサンプルは統計的に異質性を示し、これはデータ分布がクライアント間で独立で同一ではないことを意味する。
さらに、システムの不均一性(あるいはクライアントの計算能力の変動)は、連合学習にバイアスを導入する。
統計学とシステム不均一性の複合効果は、フェデレート最適化の効率を著しく低下させる。
しかし、ハイブリッドな異質性の影響は厳密には議論されていない。
本稿では,ハイブリッドな異種性が,サーバサイド最適化によるフェデレーション最適化に与える影響について検討する。
理論的には,サーバ更新方向の勾配の多様性を適応的に最大化することは,ハイブリッド不均一性の潜在的な負の結果を軽減するのに役立つ。
そこで我々は,新しいサーバサイド勾配型最適化器 \textsc{fedaware} を提案する。
ヘテロジニアス・フェデレーテッド・セッティングにおける集中的な実験により,提案するオプティマイザは,ハイブリッド・ヘテロゲニティの様々な程度にわたるフェデレーテッド・ラーニングの性能を著しく向上させることができることを示した。
関連論文リスト
- FedShift: Tackling Dual Heterogeneity Problem of Federated Learning via
Weight Shift Aggregation [6.3842184099869295]
Federated Learning(FL)は、データプライバシの保護に重点を置いて、マシンラーニングモデルをトレーニングするための魅力的な方法を提供する。
FLにおいて認識された課題であるシステム不均一性と統計的不均一性の存在は、クライアントハードウェア、ネットワーク、データセット分布の多様性から生じる。
本稿では,2つのヘテロジニアスシナリオにおいて,トレーニング速度とモデルの精度を両立させる新しいアルゴリズムであるFedShiftを紹介する。
論文 参考訳(メタデータ) (2024-02-02T00:03:51Z) - Combining propensity score methods with variational autoencoders for
generating synthetic data in presence of latent sub-groups [0.0]
ヘテロジニティは、例えば、サブグループラベルによって示されるように知られ、あるいは未知であり、双曲性や歪みのような分布の性質にのみ反映されるかもしれない。
本研究では,変分オートエンコーダ(VAE)から合成データを取得する際に,このような異種性をどのように保存し,制御するかを検討する。
論文 参考訳(メタデータ) (2023-12-12T22:49:24Z) - Improving Federated Aggregation with Deep Unfolding Networks [19.836640510604422]
フェデレートラーニング(FL)は、デバイスの違いやクライアント間の統計的特徴に負の影響を受ける。
我々は、不均一性の悪影響を不偏に改善する適応重みを学習するディープ・アンフォールディング・ネットワーク(DUN)ベースの手法を導入する。
提案手法は,精度と品質に配慮したアグリゲーションを示す。
論文 参考訳(メタデータ) (2023-06-30T01:51:22Z) - Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。
FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。
PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
論文 参考訳(メタデータ) (2023-05-01T20:04:46Z) - Source-free Domain Adaptation Requires Penalized Diversity [60.04618512479438]
ソースデータがない場合、異なるドメイン間の知識伝達に対処するために、ソースフリードメイン適応(SFDA)が導入された。
教師なしのFDAでは、多様性はソース上の1つの仮説を学習するか、共有された特徴抽出器で複数の仮説を学習することに限定される。
本稿では,異なる特徴抽出器を用いて表現多様性を促進する新しい無教師付きSFDAアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-04-06T00:20:19Z) - Predictive Heterogeneity: Measures and Applications [26.85283526483783]
本稿では,モデルキャパシティと計算制約を考慮した表現可能な予測不均一性を提案する。
ほぼ正しい(PAC)境界を持つ有限データから確実に推定できることを示す。
実験的に、探索された異質性は、所得予測、収量予測、画像分類タスクにおけるサブ人口区分に関する洞察を提供する。
論文 参考訳(メタデータ) (2023-04-01T12:20:06Z) - CAFE: Learning to Condense Dataset by Aligning Features [72.99394941348757]
本稿ではCAFE(Aligning features)によるCondenseデータセットの新しいスキームを提案する。
このアプローチの核心は、さまざまなスケールにわたる実データと合成データから機能を整合させる効果的な戦略です。
提案したCAFEを様々なデータセットで検証し,概ね最先端技術であることを示す。
論文 参考訳(メタデータ) (2022-03-03T05:58:49Z) - Deceive D: Adaptive Pseudo Augmentation for GAN Training with Limited
Data [125.7135706352493]
GAN(Generative Adversarial Network)は、高忠実度画像を合成するために、訓練に十分なデータを必要とする。
近年の研究では、差別者の過度な適合により、限られたデータでGANを訓練することは困難であることが示されている。
本稿では,APA (Adaptive Pseudo Augmentation) と呼ばれる新しい手法を提案する。
論文 参考訳(メタデータ) (2021-11-12T18:13:45Z) - Pseudo-Spherical Contrastive Divergence [119.28384561517292]
エネルギーベースモデルの最大学習確率を一般化するために,擬球面コントラスト分散(PS-CD)を提案する。
PS-CDは難解な分割関数を避け、学習目的の一般化されたファミリーを提供する。
論文 参考訳(メタデータ) (2021-11-01T09:17:15Z) - Adaptive Federated Optimization [43.78438670284309]
フェデレートラーニングでは、多数のクライアントが中央サーバとコーディネートして、自身のデータを共有せずにモデルを学習する。
適応最適化手法は、このような問題に対処する際、顕著な成功を収めている。
適応型学習は,フェデレート学習の性能を著しく向上させることができることを示す。
論文 参考訳(メタデータ) (2020-02-29T16:37:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。