論文の概要: DONE: Distributed Approximate Newton-type Method for Federated Edge Learning

• arxiv url: http://arxiv.org/abs/2012.05625v3
• Date: Fri, 30 Apr 2021 02:12:57 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-15 17:34:01.008283
• Title: DONE: Distributed Approximate Newton-type Method for Federated Edge Learning
• Title（参考訳）: DONE:フェデレーションエッジ学習のための分散近似ニュートン方式
• Authors: Canh T. Dinh, Nguyen H. Tran, Tuan Dung Nguyen, Wei Bao, Amir Rezaei Balef, Albert Y. Zomaya
• Abstract要約: DONEは高速収束率を持つニュートン型分散近似アルゴリズムである。 DONEがニュートンの手法に匹敵する性能を達成することを示す。
• 参考スコア（独自算出の注目度）: 41.20946186966816
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: There is growing interest in applying distributed machine learning to edge computing, forming federated edge learning. Federated edge learning faces non-i.i.d. and heterogeneous data, and the communication between edge workers, possibly through distant locations and with unstable wireless networks, is more costly than their local computational overhead. In this work, we propose DONE, a distributed approximate Newton-type algorithm with fast convergence rate for communication-efficient federated edge learning. First, with strongly convex and smooth loss functions, DONE approximates the Newton direction in a distributed manner using the classical Richardson iteration on each edge worker. Second, we prove that DONE has linear-quadratic convergence and analyze its communication complexities. Finally, the experimental results with non-i.i.d. and heterogeneous data show that DONE attains a comparable performance to the Newton's method. Notably, DONE requires fewer communication iterations compared to distributed gradient descent and outperforms DANE and FEDL, state-of-the-art approaches, in the case of non-quadratic loss functions.
• Abstract（参考訳）: エッジコンピューティングに分散機械学習を適用することへの関心が高まっている。 フェデレーションエッジ学習は非i.i.d. そして、異種データや、遠くの場所や不安定なワイヤレスネットワークを通じて、エッジワーカー間の通信は、ローカルな計算オーバーヘッドよりもコストがかかる。 本研究では,通信効率の高いフェデレーションエッジ学習のための高速収束率を持つ分散近似ニュートン型アルゴリズムである doneを提案する。 第一に、強い凸関数と滑らかな損失関数により、DONEは各エッジワーカーの古典的リチャードソン反復を用いてニュートン方向を分散的に近似する。 第二に、DONE は線形四次収束を持ち、通信の複雑さを解析する。 最後に、実験結果は非i.i.d。 ヘテロジニアスなデータから、DONEはNewtonの手法に匹敵する性能を発揮する。 特に、DONEは分散勾配降下よりも通信イテレーションを少なくし、非二次的損失関数の場合、DANEとFEDL、最先端のアプローチより優れている。

関連論文リスト

• Symmetric Rank-One Quasi-Newton Methods for Deep Learning Using Cubic Regularization [0.5120567378386615]
  アダムやアダグラッドのような一階降下や他の一階変種は、ディープラーニングの分野で一般的に使われている。 しかし、これらの手法は曲率情報を活用しない。 準ニュートン法は、以前計算された低ヘッセン近似を再利用する。
  論文  参考訳（メタデータ） (2025-02-17T20:20:11Z)
• Non-Convex Optimization in Federated Learning via Variance Reduction and Adaptive Learning [13.83895180419626]
  本稿では,不均一なデータ間の非エポジロン設定に適応学習を用いたモーメントに基づく分散低減手法を提案する。 異種データによる学習率調整から,分散に関する課題を克服し,効率を損なうとともに,収束の遅さを抑えることを目的としている。
  論文  参考訳（メタデータ） (2024-12-16T11:02:38Z)
• FedNS: A Fast Sketching Newton-Type Algorithm for Federated Learning [27.957498393822338]
  我々は, 高速収束率を保ちながら, この問題に対処するための新しいアプローチを導入する。 提案手法はFedNS (Federated Newton Sketch Method) と名付けられ, 正確なヘシアンではなく, スケッチした平方根ヘシアンを通信することにより, ニュートンの手法を近似する。 連合ニュートンスケッチ手法の統計的学習に基づく収束解析を行う。
  論文  参考訳（メタデータ） (2024-01-05T10:06:41Z)
• Composite federated learning with heterogeneous data [11.40641907024708]
  本稿では,複合フェデレート学習(FL)問題を解くための新しいアルゴリズムを提案する。 このアルゴリズムは、近似演算子と通信を戦略的に分離することで非滑らかな正規化を管理し、データ類似性に関する仮定なしにクライアントのドリフトに対処する。 提案アルゴリズムは最適解の近傍に線形に収束し,数値実験における最先端手法よりもアルゴリズムの優位性を示す。
  論文  参考訳（メタデータ） (2023-09-04T20:22:57Z)
• Adaptive pruning-based Newton's method for distributed learning [14.885388389215587]
  本稿では,分散適応ニュートン学習(textttDANL)という,新規で効率的なアルゴリズムを提案する。 textttDANLは、利用可能なリソースに効率よく適応し、高い効率を維持しながら、線形収束率を達成する。 実験により、textttDANLは、効率的な通信と異なるデータセット間の強い性能で線形収束を実現することが示された。
  論文  参考訳（メタデータ） (2023-08-20T04:01:30Z)
• FedNew: A Communication-Efficient and Privacy-Preserving Newton-Type Method for Federated Learning [75.46959684676371]
  我々は、クライアントからPSにヘッセン情報を送信する必要がないFedNewという新しいフレームワークを紹介した。 FedNewは勾配情報を隠蔽し、既存の最先端技術と比べてプライバシー保護のアプローチをもたらす。
  論文  参考訳（メタデータ） (2022-06-17T15:21:39Z)
• Simple Stochastic and Online Gradient DescentAlgorithms for Pairwise Learning [65.54757265434465]
  ペアワイズ学習(Pairwise learning)とは、損失関数がペアインスタンスに依存するタスクをいう。 オンライン降下(OGD)は、ペアワイズ学習でストリーミングデータを処理する一般的なアプローチである。 本稿では,ペアワイズ学習のための手法について,シンプルでオンラインな下降を提案する。
  論文  参考訳（メタデータ） (2021-11-23T18:10:48Z)
• Learning while Respecting Privacy and Robustness to Distributional Uncertainties and Adversarial Data [66.78671826743884]
  分散ロバストな最適化フレームワークはパラメトリックモデルのトレーニングのために検討されている。 目的は、逆操作された入力データに対して頑健なトレーニングモデルを提供することである。 提案されたアルゴリズムは、オーバーヘッドがほとんどない堅牢性を提供する。
  論文  参考訳（メタデータ） (2020-07-07T18:25:25Z)
• FedPD: A Federated Learning Framework with Optimal Rates and Adaptivity to Non-IID Data [59.50904660420082]
  フェデレートラーニング(FL)は、分散データから学ぶための一般的なパラダイムになっています。 クラウドに移行することなく、さまざまなデバイスのデータを効果的に活用するために、Federated Averaging(FedAvg)などのアルゴリズムでは、"Computation then aggregate"(CTA)モデルを採用している。
  論文  参考訳（メタデータ） (2020-05-22T23:07:42Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。