論文の概要: Sketched Adaptive Federated Deep Learning: A Sharp Convergence Analysis

• arxiv url: http://arxiv.org/abs/2411.06770v2
• Date: Tue, 12 Nov 2024 02:24:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-13 13:20:56.126889
• Title: Sketched Adaptive Federated Deep Learning: A Sharp Convergence Analysis
• Title（参考訳）: Sketched Adaptive Federated Deep Learning:シャープ収束解析
• Authors: Zhijie Chen, Qiaobo Li, Arindam Banerjee,
• Abstract要約: 本研究では,周辺次元の対数的にのみ(線形ではなく)通信コストが保証される,特定のスケッチ適応型連邦学習(SAFL)アルゴリズムを提案する。 我々の理論的主張は、視覚と言語タスクに関する実証的研究と、微調整とスクラッチからのトレーニングの両方で支持されている。 驚いたことに,提案手法は,誤りフィードバックに基づく,最先端のコミュニケーション効率の高いフェデレーション学習アルゴリズムと競合する。
• 参考スコア（独自算出の注目度）: 7.303912285452846
• License:
• Abstract: Combining gradient compression methods (e.g., CountSketch, quantization) and adaptive optimizers (e.g., Adam, AMSGrad) is a desirable goal in federated learning (FL), with potential benefits on both fewer communication rounds and less per-round communication. In spite of the preliminary empirical success of sketched adaptive methods, existing convergence analyses show the communication cost to have a linear dependence on the ambient dimension, i.e., number of parameters, which is prohibitively high for modern deep learning models. In this work, we introduce specific sketched adaptive federated learning (SAFL) algorithms and, as our main contribution, provide theoretical convergence analyses in different FL settings with guarantees on communication cost depending only logarithmically (instead of linearly) on the ambient dimension. Unlike existing analyses, we show that the entry-wise sketching noise existent in the preconditioners and the first moments of SAFL can be implicitly addressed by leveraging the recently-popularized anisotropic curvatures in deep learning losses, e.g., fast decaying loss Hessian eigen-values. In the i.i.d. client setting of FL, we show that SAFL achieves asymptotic $O(1/\sqrt{T})$ convergence, and converges faster in the initial epochs. In the non-i.i.d. client setting, where non-adaptive methods lack convergence guarantees, we show that SACFL (SAFL with clipping) algorithms can provably converge in spite of the additional heavy-tailed noise. Our theoretical claims are supported by empirical studies on vision and language tasks, and in both fine-tuning and training-from-scratch regimes. Surprisingly, as a by-product of our analysis, the proposed SAFL methods are competitive with the state-of-the-art communication-efficient federated learning algorithms based on error feedback.
• Abstract（参考訳）: 勾配圧縮法(例えば、CountSketch、量子化)と適応最適化法(例えば、Adam、AMSGrad)を組み合わせることは、フェデレートラーニング(FL)において望ましい目標であり、より少ない通信ラウンドとラウンド単位の通信の両方に潜在的な利点がある。 スケッチ適応手法の予備的な実証的な成功にもかかわらず、既存の収束解析は、周辺次元に線形依存する通信コスト、すなわち、現代のディープラーニングモデルでは違法に高いパラメータの数を示す。 本研究では,特定のスケッチ適応型フェデレーション学習(SAFL)アルゴリズムを導入し,その主な貢献として,周辺次元の対数的にのみ(線形ではなく)通信コストを保証し,異なるFL設定における理論的収束解析を行う。 既存の解析と異なり,SAFLの初回モーメントは,最近流行した非等方的曲率を,例えば高速減衰損失Hessian固有値に利用することにより暗黙的に対処できることが示されている。 FL の I.d. クライアント設定において、SAFL は漸近 $O(1/\sqrt{T})$ 収束を達成し、初期エポックにおいてより早く収束することを示す。 適応的でない手法が収束保証を欠いている非I.d.クライアント設定では、付加的な重み付き雑音にもかかわらずSACFL (SAFL with clipping)アルゴリズムが確実に収束可能であることを示す。 我々の理論的な主張は、視覚と言語タスクに関する実証的研究と、微調整とスクラッチによるトレーニングの両方で支持されている。 意外なことに、我々の分析の副産物として、提案手法は、誤りフィードバックに基づく最先端のコミュニケーション効率の高いフェデレーション学習アルゴリズムと競合する。

関連論文リスト

• Analysis of regularized federated learning [8.489782750973005]
  フェデレーション学習は、異質なビッグデータとプライバシ保護を扱うための効率的なツールである。 ループ降下は、通信コストを削減するために、ビッグデータの実装においてしばしば使用される。
  論文  参考訳（メタデータ） (2024-11-03T12:47:54Z)
• FLeNS: Federated Learning with Enhanced Nesterov-Newton Sketch [3.4927288761640565]
  FLeNS(Federated Learning with Enhanced Nesterov-Newton Sketch)を紹介する。 FLeNSは、正確なヘッセンに依存することなく、ニュートンの手法を近似する。 我々は、加速度、スケッチサイズ、収束速度のトレードオフを厳格に保証し、特徴付ける。
  論文  参考訳（メタデータ） (2024-09-23T17:00:35Z)
• Adaptive Federated Learning Over the Air [108.62635460744109]
  オーバー・ザ・エア・モデル・トレーニングの枠組みの中で,適応勾配法,特にAdaGradとAdamの連合バージョンを提案する。 解析の結果,AdaGrad に基づくトレーニングアルゴリズムは $mathcalO(ln(T) / T 1 - frac1alpha の速度で定常点に収束することがわかった。
  論文  参考訳（メタデータ） (2024-03-11T09:10:37Z)
• Over-the-Air Federated Learning and Optimization [52.5188988624998]
  エッジ・ザ・エア計算(AirComp)によるフェデレーション学習(FL)に焦点を当てる。 本稿では,AirComp ベースの FedAvg (AirFedAvg) アルゴリズムの凸および非凸条件下での収束について述べる。 エッジデバイス(モデル、勾配、モデル差など)で送信できるローカルアップデートの種類によって、AirFedAvgで送信するとアグリゲーションエラーが発生する可能性がある。 さらに、より実用的な信号処理方式を検討し、通信効率を改善し、これらの信号処理方式によって引き起こされるモデル集約誤差の異なる形式に収束解析を拡張する。
  論文  参考訳（メタデータ） (2023-10-16T05:49:28Z)
• Can Decentralized Stochastic Minimax Optimization Algorithms Converge Linearly for Finite-Sum Nonconvex-Nonconcave Problems? [56.62372517641597]
  分散化されたミニマックス最適化は、幅広い機械学習に応用されているため、ここ数年で活発に研究されている。 本稿では,非コンカブ問題に対する2つの新しい分散化ミニマックス最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-04-24T02:19:39Z)
• Faster Adaptive Federated Learning [84.38913517122619]
  フェデレートラーニングは分散データの出現に伴って注目を集めている。 本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
  論文  参考訳（メタデータ） (2022-12-02T05:07:50Z)
• On the Convergence of Heterogeneous Federated Learning with Arbitrary Adaptive Online Model Pruning [15.300983585090794]
  任意適応型オンラインモデルプルーニングを用いた異種FLアルゴリズムの一元化フレームワークを提案する。 特に、ある十分な条件下では、これらのアルゴリズムは一般的なスムーズなコスト関数に対して標準FLの定常点に収束する。 コンバージェンスに影響を与える2つの要因として,プルーニング誘導雑音と最小カバレッジ指数を照らす。
  論文  参考訳（メタデータ） (2022-01-27T20:43:38Z)
• Simple Stochastic and Online Gradient DescentAlgorithms for Pairwise Learning [65.54757265434465]
  ペアワイズ学習(Pairwise learning)とは、損失関数がペアインスタンスに依存するタスクをいう。 オンライン降下(OGD)は、ペアワイズ学習でストリーミングデータを処理する一般的なアプローチである。 本稿では,ペアワイズ学習のための手法について,シンプルでオンラインな下降を提案する。
  論文  参考訳（メタデータ） (2021-11-23T18:10:48Z)
• Finite-Time Last-Iterate Convergence for Multi-Agent Learning in Games [116.0771177871705]
  我々は,$lambda$-cocoerciveゲーム上での連立OGD学習における有限時間最終点収束率を特徴付ける。 新たなダブルストッピング時間法により, この適応アルゴリズムは, 非適応的手法と同じ有限時間終点収束率が得られることを示す。
  論文  参考訳（メタデータ） (2020-02-23T01:46:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。