Fugu-MT 論文翻訳(概要): Unbounded Gradients in Federated Leaning with Buffered Asynchronous Aggregation

論文の概要: Unbounded Gradients in Federated Leaning with Buffered Asynchronous Aggregation

arxiv url: http://arxiv.org/abs/2210.01161v1
Date: Mon, 3 Oct 2022 18:20:48 GMT
ステータス: 処理完了
システム内更新日: 2022-10-05 13:15:09.754587
Title: Unbounded Gradients in Federated Leaning with Buffered Asynchronous Aggregation
Title（参考訳）: バッファ付き非同期アグリゲーションによるフェデレートリーンにおける非有界勾配
Authors: Mohammad Taha Toghani and C\'esar A. Uribe
Abstract要約: textitFedBuffアルゴリズムは、セキュアなアグリゲーションを通じてプライバシを保持しながら非同期更新を可能にする。本稿では,データの不均一性,バッチサイズ,遅延を考慮したアルゴリズムの収束率に関する理論的解析を行う。
参考スコア（独自算出の注目度）: 0.6526824510982799
License: http://creativecommons.org/publicdomain/zero/1.0/
Abstract: Synchronous updates may compromise the efficiency of cross-device federated learning once the number of active clients increases. The \textit{FedBuff} algorithm (Nguyen et al., 2022) alleviates this problem by allowing asynchronous updates (staleness), which enhances the scalability of training while preserving privacy via secure aggregation. We revisit the \textit{FedBuff} algorithm for asynchronous federated learning and extend the existing analysis by removing the boundedness assumptions from the gradient norm. This paper presents a theoretical analysis of the convergence rate of this algorithm when heterogeneity in data, batch size, and delay are considered.
Abstract（参考訳）: 同期更新は、アクティブクライアントの数が増えると、デバイス間フェデレーション学習の効率を損なう可能性がある。このアルゴリズム(Nguyen et al., 2022)は,セキュアなアグリゲーションを通じてプライバシを保護しながら,トレーニングのスケーラビリティを向上する非同期更新(安定性)を可能にすることで,この問題を軽減する。我々は,非同期フェデレーション学習のための‘textit{FedBuff} アルゴリズムを再検討し,勾配ノルムから有界性仮定を取り除き,既存の解析を拡張する。本稿では,データの不均一性,バッチサイズ,遅延を考慮したアルゴリズムの収束率に関する理論的解析を行う。

関連論文リスト

DASA: Delay-Adaptive Multi-Agent Stochastic Approximation [64.32538247395627]
我々は,N$エージェントが並列に動作し,中央サーバと通信することで,一般的な近似問題を高速化することを目的とした設定を考える。遅延とストラグラーの効果を軽減するために,マルチエージェント近似のための遅延適応アルゴリズムである textttDASA を提案する。
論文参考訳（メタデータ） (2024-03-25T22:49:56Z)
AsGrad: A Sharp Unified Analysis of Asynchronous-SGD Algorithms [45.90015262911875]
不均一な環境で分散SGDのための非同期型アルゴリズムを解析する。また,本分析の副産物として,ランダムなきついSGDのような勾配型アルゴリズムの保証を示す。
論文参考訳（メタデータ） (2023-10-31T13:44:53Z)
Asynchronous Federated Learning with Bidirectional Quantized Communications and Buffered Aggregation [39.057968279167966]
Asynchronous Federated Learning with Buffered Aggregation (FedBuff)は、その効率性と高いスケーラビリティで知られている最先端のアルゴリズムである。直接量子化によるエラー伝搬を回避するために,サーバとクライアント間で共有された"隠れ"状態を確立する量子化スキームを備えた新しいアルゴリズム(QAFeL)を提案する。
論文参考訳（メタデータ） (2023-08-01T03:50:58Z)
Semi-Synchronous Personalized Federated Learning over Mobile Edge Networks [88.50555581186799]
我々は,モバイルエッジネットワーク上での半同期パーソナライズフェデレーション(PerFedS$2$)と呼ばれる半同期PFLアルゴリズムを提案する。我々は、グローバルラウンド当たりの参加者数とラウンド数の観点から、PerFedS2の収束率の上限を導出する。 PerFedS2はトレーニング時間を節約し、トレーニング損失の収束を保証する。
論文参考訳（メタデータ） (2022-09-27T02:12:43Z)
Time-triggered Federated Learning over Wireless Networks [48.389824560183776]
無線ネットワーク上での時系列FLアルゴリズム(TT-Fed)を提案する。提案したTT-Fedアルゴリズムは, それぞれ最大12.5%, 5%の収束試験精度を向上する。
論文参考訳（メタデータ） (2022-04-26T16:37:29Z)
From Deterioration to Acceleration: A Calibration Approach to Rehabilitating Step Asynchronism in Federated Optimization [13.755421424240048]
我々は,局所的な方向を予測的グローバルな方向に調整する新しいアルゴリズムであるtexttFedaGracを提案する。理論的には、texttFedaGrac は最先端のアプローチよりも収束率の向上を証明している。
論文参考訳（メタデータ） (2021-12-17T07:26:31Z)
Asynchronous Semi-Decentralized Federated Edge Learning for Heterogeneous Clients [3.983055670167878]
フェデレーションエッジ学習(FEEL)は、モバイルエッジネットワークのプライバシ保護のための分散学習フレームワークとして注目されている。本研究では,複数のエッジサーバが協調して,エッジデバイスからのより多くのデータをトレーニング中に組み込む,新たな半分散FEEL(SD-FEEL)アーキテクチャについて検討する。
論文参考訳（メタデータ） (2021-12-09T07:39:31Z)
Asynchronous Iterations in Optimization: New Sequence Results and Sharper Algorithmic Guarantees [10.984101749941471]
並列および分散最適化アルゴリズムの解析に現れる非同期反復に対する新しい収束結果を紹介する。結果は簡単に適用でき、非同期の度合いが反復の収束率にどのように影響するかを明確に見積もることができる。
論文参考訳（メタデータ） (2021-09-09T19:08:56Z)
Distributed stochastic optimization with large delays [59.95552973784946]
大規模最適化問題を解決する最も広く使われている手法の1つは、分散非同期勾配勾配(DASGD)である。 DASGDは同じ遅延仮定の下で大域的最適実装モデルに収束することを示す。
論文参考訳（メタデータ） (2021-07-06T21:59:49Z)
Improved Branch and Bound for Neural Network Verification via Lagrangian Decomposition [161.09660864941603]
ニューラルネットワークの入出力特性を公式に証明するためのブランチとバウンド(BaB)アルゴリズムのスケーラビリティを改善します。活性化に基づく新しい分岐戦略とBaBフレームワークであるブランチとデュアルネットワーク境界(BaDNB)を提案する。 BaDNBは、従来の完全検証システムを大きなマージンで上回り、対数特性で平均検証時間を最大50倍に削減した。
論文参考訳（メタデータ） (2021-04-14T09:22:42Z)
Lagrangian Decomposition for Neural Network Verification [148.0448557991349]
ニューラルネットワーク検証の基本的なコンポーネントは、出力が取ることのできる値のバウンダリの計算である。ラグランジアン分解に基づく新しい手法を提案する。ランニングタイムのごく一部で、既成の解法に匹敵するバウンダリが得られることを示す。
論文参考訳（メタデータ） (2020-02-24T17:55:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。