論文の概要: Tackling Hybrid Heterogeneity on Federated Optimization via Gradient Diversity Maximization

• arxiv url: http://arxiv.org/abs/2310.02702v1
• Date: Wed, 4 Oct 2023 10:15:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2023-10-05 15:39:30.529096
• Title: Tackling Hybrid Heterogeneity on Federated Optimization via Gradient Diversity Maximization
• Title（参考訳）: 勾配多様性最大化によるフェデレーション最適化におけるハイブリッド不均質性への取り組み
• Authors: Dun Zeng, Zenglin Xu, Yu Pan, Qifan Wang, Xiaoying Tang
• Abstract要約: フェデレートラーニング(Federated Learning)とは、データサンプルを分散化し、複数のクライアントに分散する分散機械学習パラダイムである。 統計学とシステム不均一性の複合効果は、フェデレート最適化の効率を著しく低下させる。 本稿では,サーバサイドのグラデーションに基づくFedtextscAWAREを理論的保証付きで導入する。
• 参考スコア（独自算出の注目度）: 40.49340305314807
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Federated learning refers to a distributed machine learning paradigm in which data samples are decentralized and distributed among multiple clients. These samples may exhibit statistical heterogeneity, which refers to data distributions are not independent and identical across clients. Additionally, system heterogeneity, or variations in the computational power of the clients, introduces biases into federated learning. The combined effects of statistical and system heterogeneity can significantly reduce the efficiency of federated optimization. However, the impact of hybrid heterogeneity is not rigorously discussed. This paper explores how hybrid heterogeneity affects federated optimization by investigating server-side optimization. The theoretical results indicate that adaptively maximizing gradient diversity in server update direction can help mitigate the potential negative consequences of hybrid heterogeneity. To this end, we introduce a novel server-side gradient-based optimizer \textsc{FedAWARE} with theoretical guarantees provided. Intensive experiments in heterogeneous federated settings demonstrate that our proposed optimizer can significantly enhance the performance of federated learning across varying degrees of hybrid heterogeneity.
• Abstract（参考訳）: フェデレートラーニング(Federated Learning)とは、データサンプルを分散化し、複数のクライアントに分散する分散機械学習パラダイムである。 これらのサンプルは統計的に異質性を示し、これはデータ分布がクライアント間で独立で同一ではないことを意味する。 さらに、システムの不均一性(あるいはクライアントの計算能力の変動)は、連合学習にバイアスを導入する。 統計学とシステム不均一性の複合効果は、フェデレート最適化の効率を著しく低下させる。 しかし、ハイブリッドな異質性の影響は厳密には議論されていない。 本稿では,ハイブリッドな異種性が,サーバサイド最適化によるフェデレーション最適化に与える影響について検討する。 理論的には,サーバ更新方向の勾配の多様性を適応的に最大化することは,ハイブリッド不均一性の潜在的な負の結果を軽減するのに役立つ。 そこで我々は,新しいサーバサイド勾配型最適化器 \textsc{fedaware} を提案する。 ヘテロジニアス・フェデレーテッド・セッティングにおける集中的な実験により,提案するオプティマイザは,ハイブリッド・ヘテロゲニティの様々な程度にわたるフェデレーテッド・ラーニングの性能を著しく向上させることができることを示した。

関連論文リスト

• From Interpretation to Correction: A Decentralized Optimization Framework for Exact Convergence in Federated Learning [9.870718388000645]
  この研究は、任意のクライアント参加とデータの異質性によって引き起こされるバイアスを修正するための、新しい分散フレームワークを導入している。 我々は、任意の参加とデータ不均一性がFedAvgの収束点に与える影響を定量化するための簡潔な分析を提供することができる。 この洞察は、Push-pull Strategy (FOCUS)による厳密な収束を伴うフェデレーション最適化の開発を動機付けている。
  論文  参考訳（メタデータ） (2025-03-25T23:54:23Z)
• Federated Generalised Variational Inference: A Robust Probabilistic Federated Learning Framework [12.454538785810259]
  FedGVIは確率的フェデレートラーニング(FL)フレームワークで、事前およびおそらく誤特定に対して確実に堅牢である。 固定点収束、空洞分布の最適性、証明可能なロバスト性の観点から理論的解析を行う。
  論文  参考訳（メタデータ） (2025-02-02T16:39:37Z)
• Modality Alignment Meets Federated Broadcasting [9.752555511824593]
  フェデレートラーニング(FL)は、ローカルデータを集中化せずに、分散エッジデバイス間でモデルをトレーニングすることで、データのプライバシを保護する強力なアプローチとして登場した。 本稿では,テキストエンコーダをサーバ上に配置し,画像エンコーダをローカルデバイス上で動作させる,モダリティアライメントを利用した新しいFLフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-11-24T13:30:03Z)
• FedEGG: Federated Learning with Explicit Global Guidance [90.04705121816185]
  フェデレートラーニング(FL)は、そのプライバシー保護の性質から、多様なアプリケーションにとって大きな可能性を秘めている。 既存の手法は、最適化ベースのクライアント制約、適応的なクライアント選択、事前訓練されたモデルや合成データの使用によってこれらの課題に対処するのに役立つ。 我々はbftextFedEGGを提案する。bftextFedEGGは、よく定義された、容易に収束できる学習タスクを用いて、グローバルガイドタスクを構築する新しいFLアルゴリズムである。
  論文  参考訳（メタデータ） (2024-04-18T04:25:21Z)
• FLASH: Federated Learning Across Simultaneous Heterogeneities [54.80435317208111]
  FLASH (Federated Learning Across Simultaneous Heterogeneities) は軽量かつ柔軟なクライアント選択アルゴリズムである。 ヘテロジニティの幅広い情報源の下で、最先端のFLフレームワークよりも優れています。 最先端のベースラインよりも大幅に、一貫性のある改善を実現している。
  論文  参考訳（メタデータ） (2024-02-13T20:04:39Z)
• Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
  フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。 その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。 我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
  論文  参考訳（メタデータ） (2023-08-20T04:41:01Z)
• Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
  Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。 本稿では,FedInsという新しいFLアルゴリズムを提案する。 我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-11T09:58:47Z)
• Locally Adaptive Federated Learning [30.19411641685853]
  フェデレートラーニング(Federated Learning)とは、複数のクライアントが中央サーバと協調してモデルを学習する分散機械学習のパラダイムである。 Federated Averaging (FedAvg)のような標準的なフェデレーション最適化手法は、クライアント間の一般化を保証する。 本稿では,各クライアント関数の局所的幾何情報を利用する局所的フェデレーション学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-07-12T17:02:32Z)
• Momentum Benefits Non-IID Federated Learning Simply and Provably [22.800862422479913]
  フェデレートラーニングは大規模機械学習の強力なパラダイムである。 FedAvgとSCAFFOLDは、これらの課題に対処する2つの顕著なアルゴリズムである。 本稿では,FedAvgとSCAFFOLDの性能向上のための運動量の利用について検討する。
  論文  参考訳（メタデータ） (2023-06-28T18:52:27Z)
• Federated Conformal Predictors for Distributed Uncertainty Quantification [83.50609351513886]
  コンフォーマル予測は、機械学習において厳密な不確実性定量化を提供するための一般的なパラダイムとして現れつつある。 本稿では,共形予測を連邦学習環境に拡張する。 本稿では、FL設定に適した部分交換可能性の弱い概念を提案し、それをフェデレート・コンフォーマル予測フレームワークの開発に利用する。
  論文  参考訳（メタデータ） (2023-05-27T19:57:27Z)
• Neural Collapse Inspired Federated Learning with Non-iid Data [31.576588815816095]
  非独立かつ同一に分散された(非ID)特性は、ローカル更新に大きな違いをもたらし、中央サーバの性能に影響する。 神経崩壊の現象にインスパイアされた私たちは、各クライアントを最適なグローバル構造に最適化するよう強制する。 提案手法は, 異なるサイズのデータセット上での収束速度を高速化して, 性能を向上することができる。
  論文  参考訳（メタデータ） (2023-03-27T05:29:53Z)
• FedSkip: Combatting Statistical Heterogeneity with Federated Skip Aggregation [95.85026305874824]
  我々はFedSkipと呼ばれるデータ駆動型アプローチを導入し、フェデレーション平均化を定期的にスキップし、ローカルモデルをクロスデバイスに分散することで、クライアントの最適化を改善する。 我々は、FedSkipがはるかに高い精度、より良いアグリゲーション効率、競合する通信効率を達成することを示すために、さまざまなデータセットに関する広範な実験を行う。
  論文  参考訳（メタデータ） (2022-12-14T13:57:01Z)
• On the Unreasonable Effectiveness of Federated Averaging with Heterogeneous Data [39.600069116159695]
  既存の理論では、フェデレーション学習におけるフェデレーション平均化(FedAvg)アルゴリズムの性能は、データの不均一性が低下すると予想している。 本稿では,従来の理論的予測と矛盾するFedAvgの有効性について述べる。
  論文  参考訳（メタデータ） (2022-06-09T18:25:25Z)
• FedAvg with Fine Tuning: Local Updates Lead to Representation Learning [54.65133770989836]
  Federated Averaging (FedAvg)アルゴリズムは、クライアントノードでのいくつかのローカルな勾配更新と、サーバでのモデル平均更新の交互化で構成されている。 我々は、FedAvgの出力の一般化の背景には、クライアントのタスク間の共通データ表現を学習する能力があることを示す。 異種データを用いたフェデレーション画像分類におけるFedAvgの表現学習能力を示す実証的証拠も提供する。
  論文  参考訳（メタデータ） (2022-05-27T00:55:24Z)
• Local Adaptivity in Federated Learning: Convergence and Consistency [25.293584783673413]
  フェデレートラーニング(FL)フレームワークは、局所的に訓練されたモデルを定期的に集約することで、エッジクライアントデバイスに格納された分散データを使用して機械学習モデルをトレーニングする。 局所適応法は収束を加速できるが, 解バイアスを生じさせる可能性があることを示す。 本稿では,この不整合を克服し,FLの局所適応手法を補完する補正手法を提案する。
  論文  参考訳（メタデータ） (2021-06-04T07:36:59Z)
• Faster Non-Convex Federated Learning via Global and Local Momentum [57.52663209739171]
  textttFedGLOMOは最初の(一階)FLtexttFedGLOMOアルゴリズムです。 クライアントとサーバ間の通信においても,我々のアルゴリズムは確実に最適である。
  論文  参考訳（メタデータ） (2020-12-07T21:05:31Z)
• Federated Composite Optimization [28.11253930828807]
  Federated Learning(FL)は、デバイス上での学習を協調的にプライベートにスケールする分散学習パラダイムである。 FedAvgのような標準FLアルゴリズムは、主にスムーズな制約のない設定に向けられている。 本稿では,新しいサーバの二重平均化手法を用いることで,プライマリ・デュアル平均化の呪いを回避できる新しいプライマリ・デュアル平均化アルゴリズムであるフェデレート・デュアル平均化(FedDual Avg)を提案する。
  論文  参考訳（メタデータ） (2020-11-17T06:54:06Z)
• A Unified Linear Speedup Analysis of Federated Averaging and Nesterov FedAvg [49.76940694847521]
  フェデレーションラーニング(FL)は、互いにプライベートに保持されたデータを共有せずに、参加する一連のデバイスからモデルを共同で学習する。 本稿では,FedAvg(Federated Averaging, FedAvg)に焦点をあてる。 また,FedAvgは収束率や通信効率が異なるが,各ケースで線形スピードアップを享受していることを示す。
  論文  参考訳（メタデータ） (2020-07-11T05:59:08Z)
• Adaptive Federated Optimization [43.78438670284309]
  フェデレートラーニングでは、多数のクライアントが中央サーバとコーディネートして、自身のデータを共有せずにモデルを学習する。 適応最適化手法は、このような問題に対処する際、顕著な成功を収めている。 適応型学習は,フェデレート学習の性能を著しく向上させることができることを示す。
  論文  参考訳（メタデータ） (2020-02-29T16:37:29Z)
• FedDANE: A Federated Newton-Type Method [49.9423212899788]
  フェデレートラーニングは、大規模分散データセット上で低統計モデルを共同で学習することを目的としている。 我々は、フェデレーション学習を扱うために、DANEから適応する最適化であるFedDANEを提案する。
  論文  参考訳（メタデータ） (2020-01-07T07:44:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。