論文の概要: Federated Learning with Compression: Unified Analysis and Sharp Guarantees

• arxiv url: http://arxiv.org/abs/2007.01154v2
• Date: Sat, 21 Nov 2020 04:33:08 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-14 13:52:57.927497
• Title: Federated Learning with Compression: Unified Analysis and Sharp Guarantees
• Title（参考訳）: 圧縮による連合学習:統一分析とシャープ保証
• Authors: Farzin Haddadpour, Mohammad Mahdi Kamani, Aryan Mokhtari and Mehrdad Mahdavi
• Abstract要約: 通信コストは、数百万のデバイスからモデルを学ぶために分散最適化アルゴリズムをスケールアップする上で、重要なボトルネックとなることが多い。 フェデレーション圧縮と計算の通信オーバーヘッドに対処する2つの顕著な傾向は、信頼できない圧縮と不均一な通信である。 等質データと異質データの両方における収束度を解析する。
• 参考スコア（独自算出の注目度）: 39.092596142018195
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In federated learning, communication cost is often a critical bottleneck to scale up distributed optimization algorithms to collaboratively learn a model from millions of devices with potentially unreliable or limited communication and heterogeneous data distributions. Two notable trends to deal with the communication overhead of federated algorithms are gradient compression and local computation with periodic communication. Despite many attempts, characterizing the relationship between these two approaches has proven elusive. We address this by proposing a set of algorithms with periodical compressed (quantized or sparsified) communication and analyze their convergence properties in both homogeneous and heterogeneous local data distribution settings. For the homogeneous setting, our analysis improves existing bounds by providing tighter convergence rates for both strongly convex and non-convex objective functions. To mitigate data heterogeneity, we introduce a local gradient tracking scheme and obtain sharp convergence rates that match the best-known communication complexities without compression for convex, strongly convex, and nonconvex settings. We complement our theoretical results and demonstrate the effectiveness of our proposed methods by several experiments on real-world datasets.
• Abstract（参考訳）: 連合学習において、通信コストは分散最適化アルゴリズムをスケールアップし、信頼できない、あるいは制限された通信や異種データ分布を持つ数百万のデバイスからモデルを協調的に学習する上で、しばしば重要なボトルネックとなる。 フェデレーションアルゴリズムの通信オーバーヘッドに対処する2つの注目すべきトレンドは、勾配圧縮と周期的通信による局所計算である。 多くの試みがあったにも拘わらず、これらの2つのアプローチ間の関係を特徴づけることが明らかにされている。 我々は,周期的に圧縮された(量子化あるいはスペーサー化された)通信を用いたアルゴリズムセットを提案し,その収束特性を同質および異質な局所データ分散設定で解析する。 均質な設定では, 強凸関数と非凸関数の両方に対してより厳密な収束率を提供することにより, 既存の境界を改良する。 本研究では,局所勾配追跡方式を導入し,凸,強凸,非凸の設定を圧縮することなく,最もよく知られた通信複雑度に適合する鋭い収束率を求める。 提案手法の有効性を実世界のデータセットでいくつかの実験により検証した。

関連論文リスト

• Non-convex composite federated learning with heterogeneous data [10.14896454396227]
  本稿では,サーバとクライアント間の通信を両立させる非線形合成学習のための革新的なアルゴリズムを提案する。 合成データセットと実データセットの両方の最先端手法よりもアルゴリズムが優れていることを示す。
  論文  参考訳（メタデータ） (2025-02-06T10:49:03Z)
• Accelerated Methods with Compressed Communications for Distributed Optimization Problems under Data Similarity [55.03958223190181]
  本稿では,データ類似性の下での非バイアス圧縮とバイアス圧縮を利用した,理論上初めての高速化アルゴリズムを提案する。 我々の結果は、異なる平均損失とデータセットに関する実験によって記録され、確認されています。
  論文  参考訳（メタデータ） (2024-12-21T00:40:58Z)
• Non-Convex Optimization in Federated Learning via Variance Reduction and Adaptive Learning [13.83895180419626]
  本稿では,不均一なデータ間の非エポジロン設定に適応学習を用いたモーメントに基づく分散低減手法を提案する。 異種データによる学習率調整から,分散に関する課題を克服し,効率を損なうとともに,収束の遅さを抑えることを目的としている。
  論文  参考訳（メタデータ） (2024-12-16T11:02:38Z)
• Analysis of regularized federated learning [8.489782750973005]
  フェデレーション学習は、異質なビッグデータとプライバシ保護を扱うための効率的なツールである。 ループ降下は、通信コストを削減するために、ビッグデータの実装においてしばしば使用される。
  論文  参考訳（メタデータ） (2024-11-03T12:47:54Z)
• Distributed Event-Based Learning via ADMM [11.461617927469316]
  エージェントがネットワーク上で情報を交換することで目的関数を最小化する,グローバルな分散学習問題を考える。 本手法は, (i) 必要なときにのみ通信をトリガーすることでコミュニケーションを大幅に削減し, (ii) 異なるエージェント間でのデータ分配を行う。
  論文  参考訳（メタデータ） (2024-05-17T08:30:28Z)
• Collaborative Heterogeneous Causal Inference Beyond Meta-analysis [68.4474531911361]
  異種データを用いた因果推論のための協調的逆確率スコア推定器を提案する。 異質性の増加に伴うメタアナリシスに基づく手法に対して,本手法は有意な改善を示した。
  論文  参考訳（メタデータ） (2024-04-24T09:04:36Z)
• Distributed Markov Chain Monte Carlo Sampling based on the Alternating Direction Method of Multipliers [143.6249073384419]
  本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。 我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。 シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
  論文  参考訳（メタデータ） (2024-01-29T02:08:40Z)
• Over-the-Air Federated Learning and Optimization [52.5188988624998]
  エッジ・ザ・エア計算(AirComp)によるフェデレーション学習(FL)に焦点を当てる。 本稿では,AirComp ベースの FedAvg (AirFedAvg) アルゴリズムの凸および非凸条件下での収束について述べる。 エッジデバイス(モデル、勾配、モデル差など)で送信できるローカルアップデートの種類によって、AirFedAvgで送信するとアグリゲーションエラーが発生する可能性がある。 さらに、より実用的な信号処理方式を検討し、通信効率を改善し、これらの信号処理方式によって引き起こされるモデル集約誤差の異なる形式に収束解析を拡張する。
  論文  参考訳（メタデータ） (2023-10-16T05:49:28Z)
• Data-heterogeneity-aware Mixing for Decentralized Learning [63.83913592085953]
  グラフの混合重みとノード間のデータ不均一性の関係に収束の依存性を特徴付ける。 グラフが現在の勾配を混合する能力を定量化する計量法を提案する。 そこで本研究では,パラメータを周期的かつ効率的に最適化する手法を提案する。
  論文  参考訳（メタデータ） (2022-04-13T15:54:35Z)
• Resource-constrained Federated Edge Learning with Heterogeneous Data: Formulation and Analysis [8.863089484787835]
  ヘテロジニアスデータによる不均一な統計的課題を解決するために, 分散されたニュートン型ニュートン型トレーニングスキームであるFedOVAを提案する。 FedOVAはマルチクラス分類問題をより単純なバイナリ分類問題に分解し、アンサンブル学習を用いてそれぞれの出力を結合する。
  論文  参考訳（メタデータ） (2021-10-14T17:35:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。