論文の概要: Communication-Efficient Robust Federated Learning Over Heterogeneous Datasets

• arxiv url: http://arxiv.org/abs/2006.09992v3
• Date: Wed, 19 Aug 2020 06:00:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-19 19:42:26.231384
• Title: Communication-Efficient Robust Federated Learning Over Heterogeneous Datasets
• Title（参考訳）: ヘテロジニアスデータセット上での通信効率の高いロバスト連合学習
• Authors: Yanjie Dong and Georgios B. Giannakis and Tianyi Chen and Julian Cheng and Md. Jahangir Hossain and Victor C. M. Leung
• Abstract要約: 本研究では,データサンプルが不均一に作業者間で分散されている場合の耐障害性フェデレーション学習について検討する。 データセットを戦略的に破壊する可能性のある敵意的な欠陥のある労働者が存在する場合、交換されたローカルメッセージは信頼できない。 本研究は,Nesterovの加速技術に依存するフォールトレジリエント勾配(FRPG)アルゴリズムを提案する。 強い凸損失関数に対して、FRPGとLFRPGは、ベンチマークロバストな集約アルゴリズムよりも明らかに高速な収束率を持つ。
• 参考スコア（独自算出の注目度）: 147.11434031193164
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This work investigates fault-resilient federated learning when the data samples are non-uniformly distributed across workers, and the number of faulty workers is unknown to the central server. In the presence of adversarially faulty workers who may strategically corrupt datasets, the local messages exchanged (e.g., local gradients and/or local model parameters) can be unreliable, and thus the vanilla stochastic gradient descent (SGD) algorithm is not guaranteed to converge. Recently developed algorithms improve upon vanilla SGD by providing robustness to faulty workers at the price of slowing down convergence. To remedy this limitation, the present work introduces a fault-resilient proximal gradient (FRPG) algorithm that relies on Nesterov's acceleration technique. To reduce the communication overhead of FRPG, a local (L) FRPG algorithm is also developed to allow for intermittent server-workers parameter exchanges. For strongly convex loss functions, FRPG and LFRPG have provably faster convergence rates than a benchmark robust stochastic aggregation algorithm. Moreover, LFRPG converges faster than FRPG while using the same communication rounds. Numerical tests performed on various real datasets confirm the accelerated convergence of FRPG and LFRPG over the robust stochastic aggregation benchmark and competing alternatives.
• Abstract（参考訳）: 本研究は,データサンプルが不均一にワーカーに分散されている場合のフォールトレジリエントなフェデレーション学習を調査し,中央サーバに障害のあるワーカの数を未知数とする。 戦略的に不都合な労働者が存在する場合、交換されたローカルメッセージ(例えば、ローカル勾配および/またはローカルモデルパラメータ)は信頼できないため、バニラ確率勾配降下(sgd)アルゴリズムは収束することが保証されない。 近年,バニラSGDの収束速度を低下させるコストで,不良作業者に対して堅牢性を提供することによってアルゴリズムが改良されている。 この制限を解消するため,本研究では,nesterovの加速度法を応用したフォールトレジリエント近位勾配 (frpg) アルゴリズムを導入する。 FRPGの通信オーバヘッドを低減するため,サーバ間パラメータ交換が可能なローカル(L)FRPGアルゴリズムも開発された。 強凸損失関数に対して、frpg と lfrpg はベンチマークロバストな確率集約アルゴリズムよりも高速に収束する。 さらに、LFRPGは同じ通信ラウンドを使用しながらFRPGよりも早く収束する。 様々な実データセット上で実施された数値実験により、頑健な確率的集約ベンチマークと競合する代替手段に対するFRPGとLFRPGの加速収束が確認された。

関連論文リスト

• FedScalar: A Communication efficient Federated Learning [0.0]
  フェデレーテッド・ラーニング(FL)は分散機械学習でかなりの人気を集めている。 emphFedScalarは、エージェントが単一のスカラーを使用して更新を通信することを可能にする。
  論文  参考訳（メタデータ） (2024-10-03T07:06:49Z)
• Asynchronous Federated Stochastic Optimization for Heterogeneous Objectives Under Arbitrary Delays [0.0]
  フェデレートラーニング(FL)は、データを複数の場所に保持するモデル("clients")をセキュアにトレーニングするために提案されている。 FLアルゴリズムの性能を阻害する2つの大きな課題は、階層化クライアントによって引き起こされる長いトレーニング時間と、非イドローカルなデータ分布("client drift")によるモデル精度の低下である。 本稿では,Asynchronous Exact Averaging (AREA, Asynchronous Exact Averaging) を提案する。Asynchronous Exact Averaging (AREA) は,通信を利用して収束を高速化し,拡張性を向上し,クライアント更新頻度の変動によるクライアントのドリフトの補正にクライアントメモリを利用する。
  論文  参考訳（メタデータ） (2024-05-16T14:22:49Z)
• FedAWARE: Maximizing Gradient Diversity for Heterogeneous Federated Server-side Optimization [37.743911787044475]
  textscFedAWAREはプラグインモジュールとしてFLアルゴリズムのパフォーマンスを向上させることができる。 textscFedAWAREはプラグインモジュールとしてFLアルゴリズムのパフォーマンスを向上させることができる。
  論文  参考訳（メタデータ） (2023-10-04T10:15:57Z)
• DRAG: Divergence-based Adaptive Aggregation in Federated learning on Non-IID Data [11.830891255837788]
  局所勾配降下(SGD)は、フェデレートラーニング(FL)におけるコミュニケーション効率向上の基本的なアプローチである 我々は,局所勾配と大域基準方向の角度を定量化する「発散度」と呼ばれる新しい計量を導入する。 本稿では,各ラウンドの参照方向に対して受信した局所的な更新を,余分な通信オーバーヘッドを伴わずに動的にドラッグする分散型アダプティブアグリゲーション(DRAG)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-09-04T19:40:58Z)
• FedSkip: Combatting Statistical Heterogeneity with Federated Skip Aggregation [95.85026305874824]
  我々はFedSkipと呼ばれるデータ駆動型アプローチを導入し、フェデレーション平均化を定期的にスキップし、ローカルモデルをクロスデバイスに分散することで、クライアントの最適化を改善する。 我々は、FedSkipがはるかに高い精度、より良いアグリゲーション効率、競合する通信効率を達成することを示すために、さまざまなデータセットに関する広範な実験を行う。
  論文  参考訳（メタデータ） (2022-12-14T13:57:01Z)
• TCT: Convexifying Federated Learning using Bootstrapped Neural Tangent Kernels [141.29156234353133]
  最先端の凸学習手法は、クライアントが異なるデータ分布を持つ場合、集中型よりもはるかにパフォーマンスが劣る。 我々は、この格差は、非NISTityが提示した課題に大きく起因していることを示す。 本稿では,Train-Convexify Neural Network (TCT) 手法を提案する。
  論文  参考訳（メタデータ） (2022-07-13T16:58:22Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• Speeding up Heterogeneous Federated Learning with Sequentially Trained Superclients [19.496278017418113]
  フェデレートラーニング(FL)は、ローカルなデータ共有を必要とせず、エッジデバイスの協調を可能にすることにより、プライバシに制約のあるシナリオで機械学習モデルをトレーニングすることを可能にする。 このアプローチは、ローカルデータセットとクライアントの計算的不均一性の異なる統計分布のために、いくつかの課題を提起する。 我々は、多種多様なクライアント、すなわちスーパークオリエントの部分グループのシーケンシャルトレーニングを活用して、集中型パラダイムをプライバシに準拠した方法でエミュレートする新しいフレームワークであるFedSeqを提案する。
  論文  参考訳（メタデータ） (2022-01-26T12:33:23Z)
• Faster Non-Convex Federated Learning via Global and Local Momentum [57.52663209739171]
  textttFedGLOMOは最初の(一階)FLtexttFedGLOMOアルゴリズムです。 クライアントとサーバ間の通信においても,我々のアルゴリズムは確実に最適である。
  論文  参考訳（メタデータ） (2020-12-07T21:05:31Z)
• Learning while Respecting Privacy and Robustness to Distributional Uncertainties and Adversarial Data [66.78671826743884]
  分散ロバストな最適化フレームワークはパラメトリックモデルのトレーニングのために検討されている。 目的は、逆操作された入力データに対して頑健なトレーニングモデルを提供することである。 提案されたアルゴリズムは、オーバーヘッドがほとんどない堅牢性を提供する。
  論文  参考訳（メタデータ） (2020-07-07T18:25:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。