論文の概要: Tackling Hybrid Heterogeneity on Federated Optimization via Gradient Diversity Maximization

• arxiv url: http://arxiv.org/abs/2310.02702v1
• Date: Wed, 4 Oct 2023 10:15:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-05 15:39:30.529096
• Title: Tackling Hybrid Heterogeneity on Federated Optimization via Gradient Diversity Maximization
• Title（参考訳）: 勾配多様性最大化によるフェデレーション最適化におけるハイブリッド不均質性への取り組み
• Authors: Dun Zeng, Zenglin Xu, Yu Pan, Qifan Wang, Xiaoying Tang
• Abstract要約: フェデレートラーニング(Federated Learning)とは、データサンプルを分散化し、複数のクライアントに分散する分散機械学習パラダイムである。 統計学とシステム不均一性の複合効果は、フェデレート最適化の効率を著しく低下させる。 本稿では,サーバサイドのグラデーションに基づくFedtextscAWAREを理論的保証付きで導入する。
• 参考スコア（独自算出の注目度）: 40.49340305314807
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Federated learning refers to a distributed machine learning paradigm in which data samples are decentralized and distributed among multiple clients. These samples may exhibit statistical heterogeneity, which refers to data distributions are not independent and identical across clients. Additionally, system heterogeneity, or variations in the computational power of the clients, introduces biases into federated learning. The combined effects of statistical and system heterogeneity can significantly reduce the efficiency of federated optimization. However, the impact of hybrid heterogeneity is not rigorously discussed. This paper explores how hybrid heterogeneity affects federated optimization by investigating server-side optimization. The theoretical results indicate that adaptively maximizing gradient diversity in server update direction can help mitigate the potential negative consequences of hybrid heterogeneity. To this end, we introduce a novel server-side gradient-based optimizer \textsc{FedAWARE} with theoretical guarantees provided. Intensive experiments in heterogeneous federated settings demonstrate that our proposed optimizer can significantly enhance the performance of federated learning across varying degrees of hybrid heterogeneity.
• Abstract（参考訳）: フェデレートラーニング(Federated Learning)とは、データサンプルを分散化し、複数のクライアントに分散する分散機械学習パラダイムである。 これらのサンプルは統計的に異質性を示し、これはデータ分布がクライアント間で独立で同一ではないことを意味する。 さらに、システムの不均一性(あるいはクライアントの計算能力の変動)は、連合学習にバイアスを導入する。 統計学とシステム不均一性の複合効果は、フェデレート最適化の効率を著しく低下させる。 しかし、ハイブリッドな異質性の影響は厳密には議論されていない。 本稿では,ハイブリッドな異種性が,サーバサイド最適化によるフェデレーション最適化に与える影響について検討する。 理論的には,サーバ更新方向の勾配の多様性を適応的に最大化することは,ハイブリッド不均一性の潜在的な負の結果を軽減するのに役立つ。 そこで我々は,新しいサーバサイド勾配型最適化器 \textsc{fedaware} を提案する。 ヘテロジニアス・フェデレーテッド・セッティングにおける集中的な実験により,提案するオプティマイザは,ハイブリッド・ヘテロゲニティの様々な程度にわたるフェデレーテッド・ラーニングの性能を著しく向上させることができることを示した。

関連論文リスト

• Federated Generalised Variational Inference: A Robust Probabilistic Federated Learning Framework [12.454538785810259]
  FedGVIは確率的フェデレートラーニング(FL)フレームワークで、事前およびおそらく誤特定に対して確実に堅牢である。 固定点収束、空洞分布の最適性、証明可能なロバスト性の観点から理論的解析を行う。
  論文  参考訳（メタデータ） (2025-02-02T16:39:37Z)
• Factor-Assisted Federated Learning for Personalized Optimization with Heterogeneous Data [6.024145412139383]
  フェデレートラーニング(Federated Learning)は、データプライバシ保護を目的とした、新興の分散機械学習フレームワークである。 異なるクライアントのデータには、共通の知識とパーソナライズされた知識の両方が含まれている。 我々は、FedSplitと呼ばれる異種データのための、新しい個人化されたフェデレーション学習フレームワークを開発した。
  論文  参考訳（メタデータ） (2023-12-07T13:05:47Z)
• Momentum Benefits Non-IID Federated Learning Simply and Provably [22.800862422479913]
  フェデレートラーニングは大規模機械学習の強力なパラダイムである。 FedAvgとSCAFFOLDは、これらの課題に対処する2つの顕著なアルゴリズムである。 本稿では,FedAvgとSCAFFOLDの性能向上のための運動量の利用について検討する。
  論文  参考訳（メタデータ） (2023-06-28T18:52:27Z)
• Federated Conformal Predictors for Distributed Uncertainty Quantification [83.50609351513886]
  コンフォーマル予測は、機械学習において厳密な不確実性定量化を提供するための一般的なパラダイムとして現れつつある。 本稿では,共形予測を連邦学習環境に拡張する。 本稿では、FL設定に適した部分交換可能性の弱い概念を提案し、それをフェデレート・コンフォーマル予測フレームワークの開発に利用する。
  論文  参考訳（メタデータ） (2023-05-27T19:57:27Z)
• Beyond ADMM: A Unified Client-variance-reduced Adaptive Federated Learning Framework [82.36466358313025]
  我々はFedVRAと呼ばれる原始二重FLアルゴリズムを提案し、このアルゴリズムはグローバルモデルの分散還元レベルとバイアスを適応的に制御することができる。 半教師付き画像分類タスクに基づく実験は,既存の手法よりもFedVRAの方が優れていることを示す。
  論文  参考訳（メタデータ） (2022-12-03T03:27:51Z)
• On the Unreasonable Effectiveness of Federated Averaging with Heterogeneous Data [39.600069116159695]
  既存の理論では、フェデレーション学習におけるフェデレーション平均化(FedAvg)アルゴリズムの性能は、データの不均一性が低下すると予想している。 本稿では,従来の理論的予測と矛盾するFedAvgの有効性について述べる。
  論文  参考訳（メタデータ） (2022-06-09T18:25:25Z)
• FedAvg with Fine Tuning: Local Updates Lead to Representation Learning [54.65133770989836]
  Federated Averaging (FedAvg)アルゴリズムは、クライアントノードでのいくつかのローカルな勾配更新と、サーバでのモデル平均更新の交互化で構成されている。 我々は、FedAvgの出力の一般化の背景には、クライアントのタスク間の共通データ表現を学習する能力があることを示す。 異種データを用いたフェデレーション画像分類におけるFedAvgの表現学習能力を示す実証的証拠も提供する。
  論文  参考訳（メタデータ） (2022-05-27T00:55:24Z)
• Federated Composite Optimization [28.11253930828807]
  Federated Learning(FL)は、デバイス上での学習を協調的にプライベートにスケールする分散学習パラダイムである。 FedAvgのような標準FLアルゴリズムは、主にスムーズな制約のない設定に向けられている。 本稿では,新しいサーバの二重平均化手法を用いることで,プライマリ・デュアル平均化の呪いを回避できる新しいプライマリ・デュアル平均化アルゴリズムであるフェデレート・デュアル平均化(FedDual Avg)を提案する。
  論文  参考訳（メタデータ） (2020-11-17T06:54:06Z)
• A Unified Linear Speedup Analysis of Federated Averaging and Nesterov FedAvg [49.76940694847521]
  フェデレーションラーニング(FL)は、互いにプライベートに保持されたデータを共有せずに、参加する一連のデバイスからモデルを共同で学習する。 本稿では,FedAvg(Federated Averaging, FedAvg)に焦点をあてる。 また,FedAvgは収束率や通信効率が異なるが,各ケースで線形スピードアップを享受していることを示す。
  論文  参考訳（メタデータ） (2020-07-11T05:59:08Z)
• FedDANE: A Federated Newton-Type Method [49.9423212899788]
  フェデレートラーニングは、大規模分散データセット上で低統計モデルを共同で学習することを目的としている。 我々は、フェデレーション学習を扱うために、DANEから適応する最適化であるFedDANEを提案する。
  論文  参考訳（メタデータ） (2020-01-07T07:44:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。