論文の概要: DONE: Distributed Approximate Newton-type Method for Federated Edge Learning

• arxiv url: http://arxiv.org/abs/2012.05625v3
• Date: Fri, 30 Apr 2021 02:12:57 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-15 17:34:01.008283
• Title: DONE: Distributed Approximate Newton-type Method for Federated Edge Learning
• Title（参考訳）: DONE:フェデレーションエッジ学習のための分散近似ニュートン方式
• Authors: Canh T. Dinh, Nguyen H. Tran, Tuan Dung Nguyen, Wei Bao, Amir Rezaei Balef, Albert Y. Zomaya
• Abstract要約: DONEは高速収束率を持つニュートン型分散近似アルゴリズムである。 DONEがニュートンの手法に匹敵する性能を達成することを示す。
• 参考スコア（独自算出の注目度）: 41.20946186966816
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: There is growing interest in applying distributed machine learning to edge computing, forming federated edge learning. Federated edge learning faces non-i.i.d. and heterogeneous data, and the communication between edge workers, possibly through distant locations and with unstable wireless networks, is more costly than their local computational overhead. In this work, we propose DONE, a distributed approximate Newton-type algorithm with fast convergence rate for communication-efficient federated edge learning. First, with strongly convex and smooth loss functions, DONE approximates the Newton direction in a distributed manner using the classical Richardson iteration on each edge worker. Second, we prove that DONE has linear-quadratic convergence and analyze its communication complexities. Finally, the experimental results with non-i.i.d. and heterogeneous data show that DONE attains a comparable performance to the Newton's method. Notably, DONE requires fewer communication iterations compared to distributed gradient descent and outperforms DANE and FEDL, state-of-the-art approaches, in the case of non-quadratic loss functions.
• Abstract（参考訳）: エッジコンピューティングに分散機械学習を適用することへの関心が高まっている。 フェデレーションエッジ学習は非i.i.d. そして、異種データや、遠くの場所や不安定なワイヤレスネットワークを通じて、エッジワーカー間の通信は、ローカルな計算オーバーヘッドよりもコストがかかる。 本研究では,通信効率の高いフェデレーションエッジ学習のための高速収束率を持つ分散近似ニュートン型アルゴリズムである doneを提案する。 第一に、強い凸関数と滑らかな損失関数により、DONEは各エッジワーカーの古典的リチャードソン反復を用いてニュートン方向を分散的に近似する。 第二に、DONE は線形四次収束を持ち、通信の複雑さを解析する。 最後に、実験結果は非i.i.d。 ヘテロジニアスなデータから、DONEはNewtonの手法に匹敵する性能を発揮する。 特に、DONEは分散勾配降下よりも通信イテレーションを少なくし、非二次的損失関数の場合、DANEとFEDL、最先端のアプローチより優れている。

関連論文リスト

• FedNS: A Fast Sketching Newton-Type Algorithm for Federated Learning [27.957498393822338]
  我々は, 高速収束率を保ちながら, この問題に対処するための新しいアプローチを導入する。 提案手法はFedNS (Federated Newton Sketch Method) と名付けられ, 正確なヘシアンではなく, スケッチした平方根ヘシアンを通信することにより, ニュートンの手法を近似する。 連合ニュートンスケッチ手法の統計的学習に基づく収束解析を行う。
  論文  参考訳（メタデータ） (2024-01-05T10:06:41Z)
• Composite federated learning with heterogeneous data [11.40641907024708]
  本稿では,複合フェデレート学習(FL)問題を解くための新しいアルゴリズムを提案する。 このアルゴリズムは、近似演算子と通信を戦略的に分離することで非滑らかな正規化を管理し、データ類似性に関する仮定なしにクライアントのドリフトに対処する。 提案アルゴリズムは最適解の近傍に線形に収束し,数値実験における最先端手法よりもアルゴリズムの優位性を示す。
  論文  参考訳（メタデータ） (2023-09-04T20:22:57Z)
• FedNew: A Communication-Efficient and Privacy-Preserving Newton-Type Method for Federated Learning [75.46959684676371]
  我々は、クライアントからPSにヘッセン情報を送信する必要がないFedNewという新しいフレームワークを紹介した。 FedNewは勾配情報を隠蔽し、既存の最先端技術と比べてプライバシー保護のアプローチをもたらす。
  論文  参考訳（メタデータ） (2022-06-17T15:21:39Z)
• Simple Stochastic and Online Gradient DescentAlgorithms for Pairwise Learning [65.54757265434465]
  ペアワイズ学習(Pairwise learning)とは、損失関数がペアインスタンスに依存するタスクをいう。 オンライン降下(OGD)は、ペアワイズ学習でストリーミングデータを処理する一般的なアプローチである。 本稿では,ペアワイズ学習のための手法について,シンプルでオンラインな下降を提案する。
  論文  参考訳（メタデータ） (2021-11-23T18:10:48Z)
• Free Probability, Newton lilypads and Jacobians of neural networks [0.0]
  我々は、関連するスペクトル密度を計算するための信頼性が高く、非常に高速な方法を提案する。 提案手法は,アトラクションの流域の発見と連鎖により,適応的なニュートン・ラフソン計画に基づく。
  論文  参考訳（メタデータ） (2021-11-01T11:22:42Z)
• Resource-constrained Federated Edge Learning with Heterogeneous Data: Formulation and Analysis [8.863089484787835]
  ヘテロジニアスデータによる不均一な統計的課題を解決するために, 分散されたニュートン型ニュートン型トレーニングスキームであるFedOVAを提案する。 FedOVAはマルチクラス分類問題をより単純なバイナリ分類問題に分解し、アンサンブル学習を用いてそれぞれの出力を結合する。
  論文  参考訳（メタデータ） (2021-10-14T17:35:24Z)
• Federated Learning with Randomized Douglas-Rachford Splitting Methods [30.998685972581754]
  我々は textbfFedDR と textbfDRaa という2つの新しいアルゴリズムを開発した。 解析の結果,新しいアルゴリズムはより低い仮定下での通信効率と一致していることがわかった。
  論文  参考訳（メタデータ） (2021-03-05T03:24:04Z)
• Learning while Respecting Privacy and Robustness to Distributional Uncertainties and Adversarial Data [66.78671826743884]
  分散ロバストな最適化フレームワークはパラメトリックモデルのトレーニングのために検討されている。 目的は、逆操作された入力データに対して頑健なトレーニングモデルを提供することである。 提案されたアルゴリズムは、オーバーヘッドがほとんどない堅牢性を提供する。
  論文  参考訳（メタデータ） (2020-07-07T18:25:25Z)
• FedPD: A Federated Learning Framework with Optimal Rates and Adaptivity to Non-IID Data [59.50904660420082]
  フェデレートラーニング(FL)は、分散データから学ぶための一般的なパラダイムになっています。 クラウドに移行することなく、さまざまなデバイスのデータを効果的に活用するために、Federated Averaging(FedAvg)などのアルゴリズムでは、"Computation then aggregate"(CTA)モデルを採用している。
  論文  参考訳（メタデータ） (2020-05-22T23:07:42Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。