論文の概要: FLeNS: Federated Learning with Enhanced Nesterov-Newton Sketch

• arxiv url: http://arxiv.org/abs/2409.15216v2
• Date: Tue, 01 Oct 2024 11:20:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-02 16:33:04.621254
• Title: FLeNS: Federated Learning with Enhanced Nesterov-Newton Sketch
• Title（参考訳）: FLeNS: 強化されたNesterov-Newton Sketchによるフェデレートラーニング
• Authors: Sunny Gupta, Mohit Jindal, Pankhi Kashyap, Pranav Jeevan, Amit Sethi,
• Abstract要約: FLeNS(Federated Learning with Enhanced Nesterov-Newton Sketch)を紹介する。 FLeNSは、正確なヘッセンに依存することなく、ニュートンの手法を近似する。 我々は、加速度、スケッチサイズ、収束速度のトレードオフを厳格に保証し、特徴付ける。
• 参考スコア（独自算出の注目度）: 3.4927288761640565
• License:
• Abstract: Federated learning faces a critical challenge in balancing communication efficiency with rapid convergence, especially for second-order methods. While Newton-type algorithms achieve linear convergence in communication rounds, transmitting full Hessian matrices is often impractical due to quadratic complexity. We introduce Federated Learning with Enhanced Nesterov-Newton Sketch (FLeNS), a novel method that harnesses both the acceleration capabilities of Nesterov's method and the dimensionality reduction benefits of Hessian sketching. FLeNS approximates the centralized Newton's method without relying on the exact Hessian, significantly reducing communication overhead. By combining Nesterov's acceleration with adaptive Hessian sketching, FLeNS preserves crucial second-order information while preserving the rapid convergence characteristics. Our theoretical analysis, grounded in statistical learning, demonstrates that FLeNS achieves super-linear convergence rates in communication rounds - a notable advancement in federated optimization. We provide rigorous convergence guarantees and characterize tradeoffs between acceleration, sketch size, and convergence speed. Extensive empirical evaluation validates our theoretical findings, showcasing FLeNS's state-of-the-art performance with reduced communication requirements, particularly in privacy-sensitive and edge-computing scenarios. The code is available at https://github.com/sunnyinAI/FLeNS
• Abstract（参考訳）: フェデレーション学習は、特に2階法において、コミュニケーション効率と迅速な収束のバランスをとる上で、重要な課題に直面します。 ニュートン型アルゴリズムは通信ラウンドにおいて線形収束を実現するが、フルヘッセン行列の伝達は2次複雑さのため、しばしば非現実的である。 我々は、ネステロフの手法の加速能力とヘッセンスケッチの次元還元効果を両立させる新しい手法であるFLeNS(Federated Learning with Enhanced Nesterov-Newton Sketch)を紹介する。 FLeNSは、正確なヘッセンを頼らずに中央集権ニュートン法を近似し、通信オーバーヘッドを著しく低減する。 ネステロフの加速度と適応的ヘッセンスケッチを組み合わせることで、FLeNSは急激な収束特性を維持しながら重要な2階情報を保存する。 統計的学習に基づく我々の理論的分析は、FLeNSが通信ラウンドにおける超線形収束率を達成することを示す。 我々は、加速度、スケッチサイズ、収束速度のトレードオフを厳格に保証し、特徴付ける。 FLeNSの最先端性能と通信要求の低減,特にプライバシに敏感な,エッジコンピューティングのシナリオについて,大規模な実証実験により検証した。 コードはhttps://github.com/sunnyinAI/FLeNSで入手できる。

関連論文リスト

• FedNS: A Fast Sketching Newton-Type Algorithm for Federated Learning [27.957498393822338]
  我々は, 高速収束率を保ちながら, この問題に対処するための新しいアプローチを導入する。 提案手法はFedNS (Federated Newton Sketch Method) と名付けられ, 正確なヘシアンではなく, スケッチした平方根ヘシアンを通信することにより, ニュートンの手法を近似する。 連合ニュートンスケッチ手法の統計的学習に基づく収束解析を行う。
  論文  参考訳（メタデータ） (2024-01-05T10:06:41Z)
• Rethinking SIGN Training: Provable Nonconvex Acceleration without First- and Second-Order Gradient Lipschitz [66.22095739795068]
  符号ベースの手法は、パラメータ更新にのみ符号情報を使用するにもかかわらず、堅牢な性能を達成する能力によって注目されている。 符号に基づく手法の現在の収束解析は、一階加速度と二階加速度の強い仮定に依存する。 本稿では,より現実的な第1次および第2次加速度の仮定の下で,それらの収束を解析する。
  論文  参考訳（メタデータ） (2023-10-23T06:48:43Z)
• Over-the-Air Federated Learning and Optimization [52.5188988624998]
  エッジ・ザ・エア計算(AirComp)によるフェデレーション学習(FL)に焦点を当てる。 本稿では,AirComp ベースの FedAvg (AirFedAvg) アルゴリズムの凸および非凸条件下での収束について述べる。 エッジデバイス(モデル、勾配、モデル差など)で送信できるローカルアップデートの種類によって、AirFedAvgで送信するとアグリゲーションエラーが発生する可能性がある。 さらに、より実用的な信号処理方式を検討し、通信効率を改善し、これらの信号処理方式によって引き起こされるモデル集約誤差の異なる形式に収束解析を拡張する。
  論文  参考訳（メタデータ） (2023-10-16T05:49:28Z)
• Faster Adaptive Federated Learning [84.38913517122619]
  フェデレートラーニングは分散データの出現に伴って注目を集めている。 本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
  論文  参考訳（メタデータ） (2022-12-02T05:07:50Z)
• TCT: Convexifying Federated Learning using Bootstrapped Neural Tangent Kernels [141.29156234353133]
  最先端の凸学習手法は、クライアントが異なるデータ分布を持つ場合、集中型よりもはるかにパフォーマンスが劣る。 我々は、この格差は、非NISTityが提示した課題に大きく起因していることを示す。 本稿では,Train-Convexify Neural Network (TCT) 手法を提案する。
  論文  参考訳（メタデータ） (2022-07-13T16:58:22Z)
• FedNew: A Communication-Efficient and Privacy-Preserving Newton-Type Method for Federated Learning [75.46959684676371]
  我々は、クライアントからPSにヘッセン情報を送信する必要がないFedNewという新しいフレームワークを紹介した。 FedNewは勾配情報を隠蔽し、既存の最先端技術と比べてプライバシー保護のアプローチをもたらす。
  論文  参考訳（メタデータ） (2022-06-17T15:21:39Z)
• Fast Federated Learning by Balancing Communication Trade-Offs [9.89867121050673]
  Federated Learning (FL)は最近、大規模なプライバシ保護機械学習に対して多くの注目を集めている。 頻繁な勾配透過による通信オーバーヘッドはFLを減速させる。 本稿では,Fast FL(Fast FL)とFast FL(Fast FL)の2変数を協調的に動的に調整し,学習誤差を最小限に抑える拡張FLスキームを提案する。
  論文  参考訳（メタデータ） (2021-05-23T21:55:14Z)
• Stragglers Are Not Disaster: A Hybrid Federated Learning Algorithm with Delayed Gradients [21.63719641718363]
  フェデレーション・ラーニング(federated learning, fl)は、多数の分散コンピューティングデバイスで合同モデルをトレーニングする、新しい機械学習フレームワークである。 本稿では,効率と有効性における学習バランスを実現するための新しいflアルゴリズムであるhybrid federated learning(hfl)を提案する。
  論文  参考訳（メタデータ） (2021-02-12T02:27:44Z)
• DONE: Distributed Approximate Newton-type Method for Federated Edge Learning [41.20946186966816]
  DONEは高速収束率を持つニュートン型分散近似アルゴリズムである。 DONEがニュートンの手法に匹敵する性能を達成することを示す。
  論文  参考訳（メタデータ） (2020-12-10T12:25:34Z)
• A Unified Linear Speedup Analysis of Federated Averaging and Nesterov FedAvg [49.76940694847521]
  フェデレーションラーニング(FL)は、互いにプライベートに保持されたデータを共有せずに、参加する一連のデバイスからモデルを共同で学習する。 本稿では,FedAvg(Federated Averaging, FedAvg)に焦点をあてる。 また,FedAvgは収束率や通信効率が異なるが,各ケースで線形スピードアップを享受していることを示す。
  論文  参考訳（メタデータ） (2020-07-11T05:59:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。