論文の概要: Depersonalized Federated Learning: Tackling Statistical Heterogeneity by
Alternating Stochastic Gradient Descent
- arxiv url: http://arxiv.org/abs/2210.03444v1
- Date: Fri, 7 Oct 2022 10:30:39 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-10 14:35:16.359718
- Title: Depersonalized Federated Learning: Tackling Statistical Heterogeneity by
Alternating Stochastic Gradient Descent
- Title（参考訳）: Depersonalized Federated Learning: 確率的勾配変化による統計的不均一性に対処する
- Authors: Yujie Zhou, Zhidu Li, Songyang He, Tong Tang, Ruyan Wang
- Abstract要約: フェデレート・ラーニング(FL)は、デバイスがデータ共有なしでインテリジェントな推論のために共通の機械学習(ML)モデルをトレーニングすることを可能にする。
様々な共役者によって保持される生データは、常に不特定に分散される。
本稿では,このプロセスのデスピードにより統計的に大幅に最適化できる新しいFLを提案する。
- 参考スコア（独自算出の注目度）: 6.394263208820851
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL) has gained increasing attention recently, which
enables distributed devices to train a common machine learning (ML) model for
intelligent inference cooperatively without data sharing.
However, the raw data held by various involved participators are always
non-independent-and-identically-distributed (non-i.i.d), which results in slow
convergence of the FL training process.
To address this issue, we propose a new FL method that can significantly
mitigate statistical heterogeneity by the depersonalized mechanism.
Particularly, we decouple the global and local objectives optimized by
performing stochastic gradient descent alternately to reduce the accumulated
variance on the global model (generated in local update phases) hence
accelerating the FL convergence.
Then we analyze the proposed method detailedly to show the proposed method
converging at a sublinear speed in the general non-convex setting.
Finally, extensive numerical results are conducted with experiments on public
datasets to verify the effectiveness of our proposed method.
- Abstract（参考訳）: フェデレートラーニング(FL)は最近注目を集めており、分散デバイスはデータ共有なしにインテリジェント推論のための共通の機械学習(ML)モデルをトレーニングすることができる。
しかしながら、様々な参加者が保持する生データは、常に非独立かつ同一の分布(non-i.i.d)であり、flトレーニングプロセスの収束が遅い。
この問題に対処するために,非個人化機構により統計的不均一性を著しく軽減できる新しいFL法を提案する。
特に、グローバルモデル(ローカル更新フェーズで生成される)の累積分散を減らすために、確率勾配降下を交互に行い、最適化されたグローバル目標とローカル目標を分離し、fl収束を加速する。
そして,提案手法を詳細に解析し,一般の非凸設定においてサブ線形速度で収束する手法を示す。
最後に,提案手法の有効性を検証するために,公開データセットを用いた実験を行った。
関連論文リスト
- Over-the-Air Fair Federated Learning via Multi-Objective Optimization [52.295563400314094]
本稿では,公平なFLモデルを訓練するためのOTA-FFL(Over-the-air Fair Federated Learning Algorithm)を提案する。
OTA-FFLの公正性とロバストな性能に対する優位性を示す実験を行った。
論文 参考訳（メタデータ） (2025-01-06T21:16:51Z) - Client Contribution Normalization for Enhanced Federated Learning [4.726250115737579]
スマートフォンやラップトップを含むモバイルデバイスは、分散化された異種データを生成する。
フェデレートラーニング(FL)は、データ共有のない分散デバイス間でグローバルモデルの協調トレーニングを可能にすることで、有望な代替手段を提供する。
本稿では、FLにおけるデータ依存的不均一性に着目し、局所的に訓練されたモデルから抽出された平均潜在表現を活用する新しいアプローチを提案する。
論文 参考訳（メタデータ） (2024-11-10T04:03:09Z) - Accelerating Federated Learning by Selecting Beneficial Herd of Local Gradients [40.84399531998246]
Federated Learning (FL) は、通信ネットワークシステムにおける分散機械学習フレームワークである。
非独立分散(Non-IID)データは、大域モデルの収束効率に悪影響を及ぼす。
FLモデルの収束を加速するために,局所勾配の有利な群を選別するBHerd戦略を提案する。
論文 参考訳（メタデータ） (2024-03-25T09:16:59Z) - Aggregation Weighting of Federated Learning via Generalization Bound
Estimation [65.8630966842025]
フェデレートラーニング(FL)は通常、サンプル比率によって決定される重み付けアプローチを使用して、クライアントモデルパラメータを集約する。
上記の重み付け法を,各局所モデルの一般化境界を考慮した新しい戦略に置き換える。
論文 参考訳（メタデータ） (2023-11-10T08:50:28Z) - Over-the-Air Federated Learning and Optimization [52.5188988624998]
エッジ・ザ・エア計算(AirComp)によるフェデレーション学習(FL)に焦点を当てる。
本稿では,AirComp ベースの FedAvg (AirFedAvg) アルゴリズムの凸および非凸条件下での収束について述べる。
エッジデバイス(モデル、勾配、モデル差など)で送信できるローカルアップデートの種類によって、AirFedAvgで送信するとアグリゲーションエラーが発生する可能性がある。
さらに、より実用的な信号処理方式を検討し、通信効率を改善し、これらの信号処理方式によって引き起こされるモデル集約誤差の異なる形式に収束解析を拡張する。
論文 参考訳（メタデータ） (2023-10-16T05:49:28Z) - FedSym: Unleashing the Power of Entropy for Benchmarking the Algorithms
for Federated Learning [1.4656078321003647]
Federated Learning(FL)は、独立した学習者がデータをプライベートに処理する分散機械学習アプローチである。
現在普及しているデータ分割技術について検討し、その主な欠点を可視化する。
エントロピーと対称性を利用して「最も困難」かつ制御可能なデータ分布を構築する手法を提案する。
論文 参考訳（メタデータ） (2023-10-11T18:39:08Z) - Tackling Computational Heterogeneity in FL: A Few Theoretical Insights [68.8204255655161]
我々は、計算異種データの形式化と処理を可能にする新しい集約フレームワークを導入し、分析する。
提案するアグリゲーションアルゴリズムは理論的および実験的予測から広範囲に解析される。
論文 参考訳（メタデータ） (2023-07-12T16:28:21Z) - FedAgg: Adaptive Federated Learning with Aggregated Gradients [1.5653612447564105]
我々はFedAggと呼ばれる適応型FEDerated Learningアルゴリズムを提案し、局所モデルパラメータと平均モデルパラメータのばらつきを緩和し、高速モデル収束率を得る。
IIDおよび非IIDデータセット下でのモデル性能の向上と収束速度の促進を目的として,本手法が既存のFL戦略よりも優れていることを示す。
論文 参考訳（メタデータ） (2023-03-28T08:07:28Z) - Integrating Local Real Data with Global Gradient Prototypes for
Classifier Re-Balancing in Federated Long-Tailed Learning [60.41501515192088]
フェデレートラーニング(FL)は、グローバルモデルを協調的にトレーニングする複数のクライアントを含む、人気のある分散ラーニングパラダイムになっています。
データサンプルは通常、現実世界の長い尾の分布に従っており、分散化された長い尾のデータのFLは、貧弱なグローバルモデルをもたらす。
本研究では、局所的な実データとグローバルな勾配のプロトタイプを統合し、局所的なバランスの取れたデータセットを形成する。
論文 参考訳（メタデータ） (2023-01-25T03:18:10Z) - Local Learning Matters: Rethinking Data Heterogeneity in Federated
Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文 参考訳（メタデータ） (2021-11-28T19:03:39Z) - Robust Federated Learning: The Case of Affine Distribution Shifts [41.27887358989414]
我々は,ユーザのサンプルの分布変化に対して良好な性能を実現するための,堅牢なフェデレーション学習アルゴリズムを開発した。
新しいテストユーザにおいて,アフィン分布シフトは学習者分類器の性能を著しく低下させるのに十分であることを示す。
論文 参考訳（メタデータ） (2020-06-16T03:43:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。