論文の概要: FedNS: A Fast Sketching Newton-Type Algorithm for Federated Learning

• arxiv url: http://arxiv.org/abs/2401.02734v1
• Date: Fri, 5 Jan 2024 10:06:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-08 15:32:58.188747
• Title: FedNS: A Fast Sketching Newton-Type Algorithm for Federated Learning
• Title（参考訳）: FedNS:フェデレーションラーニングのための高速スケッチニュートン型アルゴリズム
• Authors: Jian Li, Yong Liu, Wei Wang, Haoran Wu, Weiping Wang
• Abstract要約: 我々は, 高速収束率を保ちながら, この問題に対処するための新しいアプローチを導入する。 提案手法はFedNS (Federated Newton Sketch Method) と名付けられ, 正確なヘシアンではなく, スケッチした平方根ヘシアンを通信することにより, ニュートンの手法を近似する。 連合ニュートンスケッチ手法の統計的学習に基づく収束解析を行う。
• 参考スコア（独自算出の注目度）: 27.957498393822338
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent Newton-type federated learning algorithms have demonstrated linear convergence with respect to the communication rounds. However, communicating Hessian matrices is often unfeasible due to their quadratic communication complexity. In this paper, we introduce a novel approach to tackle this issue while still achieving fast convergence rates. Our proposed method, named as Federated Newton Sketch methods (FedNS), approximates the centralized Newton's method by communicating the sketched square-root Hessian instead of the exact Hessian. To enhance communication efficiency, we reduce the sketch size to match the effective dimension of the Hessian matrix. We provide convergence analysis based on statistical learning for the federated Newton sketch approaches. Specifically, our approaches reach super-linear convergence rates w.r.t. the communication rounds for the first time. We validate the effectiveness of our algorithms through various experiments, which coincide with our theoretical findings.
• Abstract（参考訳）: 最近のニュートン型フェデレーション学習アルゴリズムは,通信ラウンドに対して線形収束を示した。 しかし、ヘッセン行列の通信は2次通信の複雑さのため、しばしば不可能である。 本稿では,高速な収束速度を保ちながら,この問題に取り組むための新しい手法を提案する。 提案手法はFedNS (Federated Newton Sketch Method) と名付けられ, 正確なヘシアンではなく, スケッチした平方根ヘシアンを通信することにより, ニュートンの手法を近似する。 通信効率を向上させるため,ヘシアン行列の有効次元に合うようにスケッチサイズを縮小する。 フェデレーション・ニュートン・スケッチ・アプローチのための統計的学習に基づく収束解析を提供する。 具体的には,通信ラウンドの超線形収束率を初めて達成する。 理論的な結果と一致する様々な実験により,アルゴリズムの有効性を検証する。

関連論文リスト

• FLeNS: Federated Learning with Enhanced Nesterov-Newton Sketch [3.4927288761640565]
  FLeNS(Federated Learning with Enhanced Nesterov-Newton Sketch)を紹介する。 FLeNSは、正確なヘッセンに依存することなく、ニュートンの手法を近似する。 我々は、加速度、スケッチサイズ、収束速度のトレードオフを厳格に保証し、特徴付ける。
  論文  参考訳（メタデータ） (2024-09-23T17:00:35Z)
• Incremental Quasi-Newton Methods with Faster Superlinear Convergence Rates [50.36933471975506]
  各成分関数が強く凸であり、リプシッツ連続勾配とヘシアンを持つ有限和最適化問題を考える。 最近提案されたインクリメンタル準ニュートン法は、BFGSの更新に基づいて、局所的な超線形収束率を達成する。 本稿では、対称ランク1更新をインクリメンタルフレームワークに組み込むことにより、より効率的な準ニュートン法を提案する。
  論文  参考訳（メタデータ） (2024-02-04T05:54:51Z)
• Can Decentralized Stochastic Minimax Optimization Algorithms Converge Linearly for Finite-Sum Nonconvex-Nonconcave Problems? [56.62372517641597]
  分散化されたミニマックス最適化は、幅広い機械学習に応用されているため、ここ数年で活発に研究されている。 本稿では,非コンカブ問題に対する2つの新しい分散化ミニマックス最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-04-24T02:19:39Z)
• Faster Adaptive Federated Learning [84.38913517122619]
  フェデレートラーニングは分散データの出現に伴って注目を集めている。 本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
  論文  参考訳（メタデータ） (2022-12-02T05:07:50Z)
• FedNew: A Communication-Efficient and Privacy-Preserving Newton-Type Method for Federated Learning [75.46959684676371]
  我々は、クライアントからPSにヘッセン情報を送信する必要がないFedNewという新しいフレームワークを紹介した。 FedNewは勾配情報を隠蔽し、既存の最先端技術と比べてプライバシー保護のアプローチをもたらす。
  論文  参考訳（メタデータ） (2022-06-17T15:21:39Z)
• Newton-LESS: Sparsification without Trade-offs for the Sketched Newton Update [88.73437209862891]
  2階最適化において、潜在的なボトルネックは繰り返しごとに最適化関数のヘシアン行列を計算することである。 本稿では,ガウススケッチ行列を劇的に分散させることにより,スケッチの計算コストを大幅に削減できることを示す。 ニュートン=ルネッサはガウス埋め込みとほぼ同じ問題に依存しない局所収束率を享受していることを証明した。
  論文  参考訳（メタデータ） (2021-07-15T17:33:05Z)
• Distributed Second Order Methods with Fast Rates and Compressed Communication [6.069611493148631]
  分散最適化のための通信効率の高い第2次手法を複数開発する。 我々は大域的な部分線型および線形収束率と高速超線形速度を証明した。 結果は実データセットでの実験結果と共にサポートされます。
  論文  参考訳（メタデータ） (2021-02-14T14:06:45Z)
• DONE: Distributed Approximate Newton-type Method for Federated Edge Learning [41.20946186966816]
  DONEは高速収束率を持つニュートン型分散近似アルゴリズムである。 DONEがニュートンの手法に匹敵する性能を達成することを示す。
  論文  参考訳（メタデータ） (2020-12-10T12:25:34Z)
• Deep Magnification-Flexible Upsampling over 3D Point Clouds [103.09504572409449]
  本稿では,高密度点雲を生成するためのエンドツーエンド学習ベースのフレームワークを提案する。 まずこの問題を明示的に定式化し、重みと高次近似誤差を判定する。 そこで我々は,高次改良とともに,統一重みとソート重みを適応的に学習する軽量ニューラルネットワークを設計する。
  論文  参考訳（メタデータ） (2020-11-25T14:00:18Z)
• On Newton Screening [14.040371216692645]
  我々はNewton Screening (NS) と呼ばれる新しいスクリーニング手法を開発した。 NSは、一段階局所収束を達成するという意味で、最適収束特性を有することを示す。
  論文  参考訳（メタデータ） (2020-01-27T11:25:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。