Fugu-MT 論文翻訳(概要): FedNew: A Communication-Efficient and Privacy-Preserving Newton-Type Method for Federated Learning

論文の概要: FedNew: A Communication-Efficient and Privacy-Preserving Newton-Type Method for Federated Learning

arxiv url: http://arxiv.org/abs/2206.08829v1
Date: Fri, 17 Jun 2022 15:21:39 GMT
ステータス: 処理完了
システム内更新日: 2022-06-20 19:11:56.372232
Title: FedNew: A Communication-Efficient and Privacy-Preserving Newton-Type Method for Federated Learning
Title（参考訳）: FedNew:フェデレーション学習のためのコミュニケーション効率とプライバシ保護のためのニュートン方式
Authors: Anis Elgabli and Chaouki Ben Issaid and Amrit S. Bedi and Ketan Rajawat and Mehdi Bennis and Vaneet Aggarwal
Abstract要約: 我々は、クライアントからPSにヘッセン情報を送信する必要がないFedNewという新しいフレームワークを紹介した。 FedNewは勾配情報を隠蔽し、既存の最先端技術と比べてプライバシー保護のアプローチをもたらす。
参考スコア（独自算出の注目度）: 75.46959684676371
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Newton-type methods are popular in federated learning due to their fast convergence. Still, they suffer from two main issues, namely: low communication efficiency and low privacy due to the requirement of sending Hessian information from clients to parameter server (PS). In this work, we introduced a novel framework called FedNew in which there is no need to transmit Hessian information from clients to PS, hence resolving the bottleneck to improve communication efficiency. In addition, FedNew hides the gradient information and results in a privacy-preserving approach compared to the existing state-of-the-art. The core novel idea in FedNew is to introduce a two level framework, and alternate between updating the inverse Hessian-gradient product using only one alternating direction method of multipliers (ADMM) step and then performing the global model update using Newton's method. Though only one ADMM pass is used to approximate the inverse Hessian-gradient product at each iteration, we develop a novel theoretical approach to show the converging behavior of FedNew for convex problems. Additionally, a significant reduction in communication overhead is achieved by utilizing stochastic quantization. Numerical results using real datasets show the superiority of FedNew compared to existing methods in terms of communication costs.
Abstract（参考訳）: ニュートン型法は、高速な収束のため、連合学習で人気がある。それでも、クライアントからパラメータサーバ(PS)にヘッセン情報を送信する必要があるため、通信効率の低下とプライバシーの低下という2つの大きな問題に悩まされている。本研究では,クライアントからpsへhessian情報を送信する必要がなく,通信効率を向上させるためにボトルネックを解消するfeednewという新しいフレームワークを導入した。さらに、FedNewは勾配情報を隠蔽し、既存の最先端技術と比べてプライバシー保護のアプローチをもたらす。 FedNewの中核的なアイデアは、2段階のフレームワークを導入し、1つの交互方向の乗算器(ADMM)ステップのみを用いて逆ヘッセン勾配の製品を更新し、ニュートンの手法でグローバルモデル更新を実行することである。逆 Hessian-gradient 積を各繰り返しで近似するために1つの ADMM パスしか使われていないが、凸問題に対するFedNew の収束挙動を示す新しい理論的アプローチを開発する。さらに,確率的量子化を利用して通信オーバーヘッドを大幅に低減する。実データを用いた数値計算の結果,FedNewは通信コストの面で既存の手法よりも優れていることがわかった。

関連論文リスト

FedNS: A Fast Sketching Newton-Type Algorithm for Federated Learning [27.957498393822338]
我々は, 高速収束率を保ちながら, この問題に対処するための新しいアプローチを導入する。提案手法はFedNS (Federated Newton Sketch Method) と名付けられ, 正確なヘシアンではなく, スケッチした平方根ヘシアンを通信することにより, ニュートンの手法を近似する。連合ニュートンスケッチ手法の統計的学習に基づく収束解析を行う。
論文参考訳（メタデータ） (2024-01-05T10:06:41Z)
Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
論文参考訳（メタデータ） (2023-05-01T20:04:46Z)
Magnitude Matters: Fixing SIGNSGD Through Magnitude-Aware Sparsification in the Presence of Data Heterogeneity [60.791736094073]
通信オーバーヘッドは、ディープニューラルネットワークの分散トレーニングにおいて、大きなボトルネックのひとつになっています。本稿では,SIGNSGDの非収束問題に対処する等級化方式を提案する。提案手法は,Fashion-MNIST, CIFAR-10, CIFAR-100データセットを用いて検証した。
論文参考訳（メタデータ） (2023-02-19T17:42:35Z)
Meta Knowledge Condensation for Federated Learning [65.20774786251683]
既存のフェデレートされた学習パラダイムは通常、より強力なモデルを達成するために、中央の解決器で分散モデルを広範囲に交換する。これにより、特にデータ分散が不均一である場合、サーバと複数のクライアントの間で深刻な通信負荷が発生します。既存のパラダイムとは違って,フェデレート学習におけるコミュニケーションコストを大幅に削減する新たな視点を導入する。
論文参考訳（メタデータ） (2022-09-29T15:07:37Z)
Communication-Compressed Adaptive Gradient Method for Distributed Nonconvex Optimization [21.81192774458227]
主なボトルネックの1つは、中央サーバとローカルワーカーの間の通信コストが大きいことである。提案する分散学習フレームワークは,効果的な勾配勾配圧縮戦略を特徴とする。
論文参考訳（メタデータ） (2021-11-01T04:54:55Z)
Federated Learning via Plurality Vote [38.778944321534084]
フェデレートされた学習は、データプライバシを保持しながら、共同作業者が機械学習の問題を解決することを可能にする。最近の研究は、連合学習における様々な課題に取り組んできた。複数の投票によるフェデレーション学習(FedVote)という新しい手法を提案する。
論文参考訳（メタデータ） (2021-10-06T18:16:22Z)
Enhancing the Generalization for Intent Classification and Out-of-Domain Detection in SLU [70.44344060176952]
インテント分類は、音声言語理解(SLU)における主要な課題である近年の研究では、余分なデータやラベルを使用することで、OOD検出性能が向上することが示されている。本稿では、IND意図分類とOOD検出の両方をサポートしながら、INDデータのみを用いてモデルを訓練することを提案する。
論文参考訳（メタデータ） (2021-06-28T08:27:38Z)
Distributed Second Order Methods with Fast Rates and Compressed Communication [6.069611493148631]
分散最適化のための通信効率の高い第2次手法を複数開発する。我々は大域的な部分線型および線形収束率と高速超線形速度を証明した。結果は実データセットでの実験結果と共にサポートされます。
論文参考訳（メタデータ） (2021-02-14T14:06:45Z)
TaylorGAN: Neighbor-Augmented Policy Update for Sample-Efficient Natural Language Generation [79.4205462326301]
TaylorGANは関数ベースの自然言語生成のための新しいアプローチである。オフポリシー更新による勾配推定と1階のTaylor拡張が強化される。これにより、より小さなバッチサイズで、スクラッチからNLGモデルをトレーニングすることができます。
論文参考訳（メタデータ） (2020-11-27T02:26:15Z)
Improving Federated Relational Data Modeling via Basis Alignment and Weight Penalty [18.096788806121754]
近年,フェデレートラーニング(FL)が注目されている。知識グラフ(KG)上でのフェデレーションモデリングを行うグラフニューラルネットワークアルゴリズムの修正版を提案する。我々は,1) クライアント上でのパーソナライズのための最適輸送(OT)と,2) 収束を高速化するための重み制約を備えた新しい最適化アルゴリズムであるFedAlignを提案する。実験の結果,提案手法はFedAVGやFedProxといった最先端のFL法よりも優れており,収束性が高いことがわかった。
論文参考訳（メタデータ） (2020-11-23T12:52:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。