論文の概要: FedNL: Making Newton-Type Methods Applicable to Federated Learning

• arxiv url: http://arxiv.org/abs/2106.02969v1
• Date: Sat, 5 Jun 2021 21:30:11 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-08 17:24:52.487951
• Title: FedNL: Making Newton-Type Methods Applicable to Federated Learning
• Title（参考訳）: FedNL: フェデレーションラーニングに適用可能なニュートン型メソッド
• Authors: Mher Safaryan and Rustem Islamov and Xun Qian and Peter Richt\'arik
• Abstract要約: フェデレートニュートン学習(FedNL)手法のファミリーを提案する。 FedNLは、(i)コーディネートサーバに公開するトレーニングデータに依存しないため、プライバシを向上させる異なるヘッセン学習技術を採用している。 本研究では,条件数,トレーニングデータ点数,圧縮分散に依存しない局所収束率を示す。
• 参考スコア（独自算出の注目度）: 5.400491728405083
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Inspired by recent work of Islamov et al (2021), we propose a family of Federated Newton Learn (FedNL) methods, which we believe is a marked step in the direction of making second-order methods applicable to FL. In contrast to the aforementioned work, FedNL employs a different Hessian learning technique which i) enhances privacy as it does not rely on the training data to be revealed to the coordinating server, ii) makes it applicable beyond generalized linear models, and iii) provably works with general contractive compression operators for compressing the local Hessians, such as Top-$K$ or Rank-$R$, which are vastly superior in practice. Notably, we do not need to rely on error feedback for our methods to work with contractive compressors. Moreover, we develop FedNL-PP, FedNL-CR and FedNL-LS, which are variants of FedNL that support partial participation, and globalization via cubic regularization and line search, respectively, and FedNL-BC, which is a variant that can further benefit from bidirectional compression of gradients and models, i.e., smart uplink gradient and smart downlink model compression. We prove local convergence rates that are independent of the condition number, the number of training data points, and compression variance. Our communication efficient Hessian learning technique provably learns the Hessian at the optimum. Finally, we perform a variety of numerical experiments that show that our FedNL methods have state-of-the-art communication complexity when compared to key baselines.
• Abstract（参考訳）: 我々は,最近のislamov et al (2021) の研究に触発されて,federated newton learn (fednl) 手法のファミリーを提案する。 前述の研究とは対照的に、fednlは異なるヘッシアン学習技術を採用しており、i) コーディネートサーバに開示されるトレーニングデータに依存しないため、プライバシを強化する、ii) 一般化された線形モデル以外にも適用可能とし、iii) 局所的なヘッシアンを圧縮するための一般的な契約圧縮演算子(例えば top-$k$ や rank-$r$) は、実際には非常に優れている。 特に、契約型圧縮機を扱うために、メソッドのエラーフィードバックに頼る必要はありません。 さらに,部分参加を支援するfednl-pp,fednl-cr,fednl-ls,および立方正則化と線探索によるグローバル化を行うfednl-bc,勾配とモデルの双方向圧縮,すなわちスマートアップリンク勾配とスマートダウンリンクモデル圧縮の恩恵を受けるfednl-bcを開発した。 本研究では,条件数,トレーニングデータ点数,圧縮分散に依存しない局所収束率を示す。 コミュニケーション効率のよいヘッシアン学習技術は、ヘッシアンを最適に学習する。 最後に,fednl法が鍵となるベースラインと比較した場合,最先端の通信複雑性を持つことを示す数値実験を行った。

関連論文リスト

• Unlocking FedNL: Self-Contained Compute-Optimized Implementation [56.16884466478886]
  Federated Learning(FL)は、インテリジェントエージェントが機械学習(ML)モデルを分散的にトレーニングすることを可能にする、新たなパラダイムである。 最近の研究はフェデレートニュートン学習(FedNL)アルゴリズムのファミリを導入し、FLと大規模最適化に二階法を適用するための重要なステップを示している。 本稿では,単一ノードおよび複数ノード設定のためのFedNL,FedNL-LS,FedNL-PPの自己完結実装を提案する。
  論文  参考訳（メタデータ） (2024-10-11T12:19:18Z)
• Federated Learning under Partially Class-Disjoint Data via Manifold Reshaping [64.58402571292723]
  我々はFedMRと呼ばれる多様体再構成手法を提案し、局所訓練の特徴空間を校正する。 我々は、FedMRがはるかに高い精度と通信効率を達成することを示すために、さまざまなデータセットに関する広範な実験を行います。
  論文  参考訳（メタデータ） (2024-05-29T10:56:13Z)
• FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
  フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。 我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。 クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
  論文  参考訳（メタデータ） (2023-09-18T12:35:05Z)
• FedIN: Federated Intermediate Layers Learning for Model Heterogeneity [7.781409257429762]
  フェデレートラーニング(FL)は、エッジデバイスがローカルおよびプライベートにトレーニングデータを維持しながら、グローバルな共有モデルを協調的にトレーニングすることを促進する。 本研究では,FedIN(Federated Intermediate Layers Learning)と呼ばれるFL手法を提案する。 実験結果から, 異種モデル環境におけるFedINの性能は, 最先端のアルゴリズムと比較して優れていた。
  論文  参考訳（メタデータ） (2023-04-03T07:20:43Z)
• FedNew: A Communication-Efficient and Privacy-Preserving Newton-Type Method for Federated Learning [75.46959684676371]
  我々は、クライアントからPSにヘッセン情報を送信する必要がないFedNewという新しいフレームワークを紹介した。 FedNewは勾配情報を隠蔽し、既存の最先端技術と比べてプライバシー保護のアプローチをもたらす。
  論文  参考訳（メタデータ） (2022-06-17T15:21:39Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• Communication-Efficient Federated Learning with Dual-Side Low-Rank Compression [8.353152693578151]
  Federated Learning(FL)は、クライアントの生データを共有せずにディープラーニングモデルをトレーニングするための有望で強力なアプローチです。 両サイドローランク圧縮(FedDLR)を用いたフェデレーションラーニングと呼ばれる新しいトレーニング手法を提案する。 我々は,FedDLRがコミュニケーションと効率の両面で最先端のソリューションより優れていることを示す。
  論文  参考訳（メタデータ） (2021-04-26T09:13:31Z)
• Toward Understanding the Influence of Individual Clients in Federated Learning [52.07734799278535]
  フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。 em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
  論文  参考訳（メタデータ） (2020-12-20T14:34:36Z)
• Improving Federated Relational Data Modeling via Basis Alignment and Weight Penalty [18.096788806121754]
  近年,フェデレートラーニング(FL)が注目されている。 知識グラフ(KG)上でのフェデレーションモデリングを行うグラフニューラルネットワークアルゴリズムの修正版を提案する。 我々は,1) クライアント上でのパーソナライズのための最適輸送(OT)と,2) 収束を高速化するための重み制約を備えた新しい最適化アルゴリズムであるFedAlignを提案する。 実験の結果,提案手法はFedAVGやFedProxといった最先端のFL法よりも優れており,収束性が高いことがわかった。
  論文  参考訳（メタデータ） (2020-11-23T12:52:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。