論文の概要: Stochastic-Sign SGD for Federated Learning with Theoretical Guarantees

• arxiv url: http://arxiv.org/abs/2002.10940v5
• Date: Mon, 27 Sep 2021 21:16:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-28 20:52:38.405062
• Title: Stochastic-Sign SGD for Federated Learning with Theoretical Guarantees
• Title（参考訳）: 理論保証付き連合学習のための確率符号sgd
• Authors: Richeng Jin, Yufan Huang, Xiaofan He, Huaiyu Dai, Tianfu Wu
• Abstract要約: 量子化に基づく解法は、フェデレートラーニング(FL)において広く採用されている。 上記のプロパティをすべて享受する既存のメソッドはありません。 本稿では,SIGNSGDに基づく直感的かつ理論的に簡易な手法を提案し,そのギャップを埋める。
• 参考スコア（独自算出の注目度）: 49.91477656517431
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning (FL) has emerged as a prominent distributed learning paradigm. FL entails some pressing needs for developing novel parameter estimation approaches with theoretical guarantees of convergence, which are also communication efficient, differentially private and Byzantine resilient in the heterogeneous data distribution settings. Quantization-based SGD solvers have been widely adopted in FL and the recently proposed SIGNSGD with majority vote shows a promising direction. However, no existing methods enjoy all the aforementioned properties. In this paper, we propose an intuitively-simple yet theoretically-sound method based on SIGNSGD to bridge the gap. We present Stochastic-Sign SGD which utilizes novel stochastic-sign based gradient compressors enabling the aforementioned properties in a unified framework. We also present an error-feedback variant of the proposed Stochastic-Sign SGD which further improves the learning performance in FL. We test the proposed method with extensive experiments using deep neural networks on the MNIST dataset and the CIFAR-10 dataset. The experimental results corroborate the effectiveness of the proposed method.
• Abstract（参考訳）: フェデレーション学習(fl)は、分散学習パラダイムとして注目されている。 FLは、不均一なデータ分散設定において通信効率、微分プライベート、ビザンチンレジリエントである収束の理論的保証を伴う新しいパラメータ推定手法を開発するために、いくつかのプレッシャーを必要とする。 量子化ベースのSGDソルバはFLで広く採用されており、最近提案された多数決のSIGNSGDは有望な方向を示している。 しかし、上記の性質をすべて享受する既存の方法はない。 本稿では,SIGNSGDをベースとした直感的かつ理論的にシンプルな手法を提案する。 本稿では,新しい確率符号ベース勾配圧縮機を用いた確率符号SGDについて述べる。 また,提案するStochastic-Sign SGDの誤りフィードバック版を提案し,FLにおける学習性能をさらに向上させる。 提案手法は,MNISTデータセットとCIFAR-10データセットを用いたディープニューラルネットワークを用いた広範囲な実験により検証した。 実験結果は,提案手法の有効性を裏付けるものである。

関連論文リスト

• Ensemble Kalman Filtering Meets Gaussian Process SSM for Non-Mean-Field and Online Inference [47.460898983429374]
  我々は,非平均場(NMF)変動推定フレームワークにアンサンブルカルマンフィルタ(EnKF)を導入し,潜在状態の後方分布を近似する。 EnKFとGPSSMのこの新しい結婚は、変分分布の学習における広範なパラメータ化の必要性をなくすだけでなく、エビデンスの下限(ELBO)の解釈可能でクローズドな近似を可能にする。 得られたEnKF支援オンラインアルゴリズムは、データ適合精度を確保しつつ、モデル正規化を組み込んで過度適合を緩和し、目的関数を具現化する。
  論文  参考訳（メタデータ） (2023-12-10T15:22:30Z)
• Federated Neuro-Symbolic Learning [39.04545654772026]
  FL通信媒体として潜伏変数を用いたFedNSL(Federated Neuro-Symbolic Learning framework)を提案する。 FedNSLは、単純で効果的なKullback-Leibler(KL)分散制約によって規則分布を特定し、対処することができる。 合成データと実世界のデータに基づく大規模な実験は、5つの最先端手法と比較して、FedNSLの顕著な優位性を示している。
  論文  参考訳（メタデータ） (2023-08-29T14:20:17Z)
• Conformal Prediction for Federated Uncertainty Quantification Under Label Shift [57.54977668978613]
  Federated Learning(FL)は、多くのクライアントが協力してモデルをトレーニングする機械学習フレームワークである。 我々は、量子回帰に基づく新しいコンフォメーション予測法を開発し、プライバシー制約を考慮した。
  論文  参考訳（メタデータ） (2023-06-08T11:54:58Z)
• Magnitude Matters: Fixing SIGNSGD Through Magnitude-Aware Sparsification in the Presence of Data Heterogeneity [60.791736094073]
  通信オーバーヘッドは、ディープニューラルネットワークの分散トレーニングにおいて、大きなボトルネックのひとつになっています。 本稿では,SIGNSGDの非収束問題に対処する等級化方式を提案する。 提案手法は,Fashion-MNIST, CIFAR-10, CIFAR-100データセットを用いて検証した。
  論文  参考訳（メタデータ） (2023-02-19T17:42:35Z)
• Validation Diagnostics for SBI algorithms based on Normalizing Flows [55.41644538483948]
  本研究は,NFに基づく多次元条件(後)密度推定器の検証診断を容易にすることを提案する。 また、局所的な一貫性の結果に基づいた理論的保証も提供する。 この作業は、より良い特定モデルの設計を支援したり、新しいSBIアルゴリズムの開発を促進するのに役立つだろう。
  論文  参考訳（メタデータ） (2022-11-17T15:48:06Z)
• Depersonalized Federated Learning: Tackling Statistical Heterogeneity by Alternating Stochastic Gradient Descent [6.394263208820851]
  フェデレート・ラーニング(FL)は、デバイスがデータ共有なしでインテリジェントな推論のために共通の機械学習(ML)モデルをトレーニングすることを可能にする。 様々な共役者によって保持される生データは、常に不特定に分散される。 本稿では,このプロセスのデスピードにより統計的に大幅に最適化できる新しいFLを提案する。
  論文  参考訳（メタデータ） (2022-10-07T10:30:39Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• FedADC: Accelerated Federated Learning with Drift Control [6.746400031322727]
  フェデレーション学習(fl)は、プライバシーを懸念するエッジデバイス間のコラボレーション学習のためのデファクトフレームワークとなっている。 FLの大規模実装は、SGD用に設計された加速技術の分散環境への導入や、局所データセットの非均一分布によるドリフト問題の緩和など、新たな課題をもたらす。 flフレームワークに大きな変更を加えることなく、あるいは追加の計算と通信負荷を導入することなく、単一の戦略を使って両方の問題に対処することが可能であることを示す。 ドリフト制御を用いた加速FLアルゴリズムであるFedADCを提案する。
  論文  参考訳（メタデータ） (2020-12-16T17:49:37Z)
• Detached Error Feedback for Distributed SGD with Random Sparsification [98.98236187442258]
  コミュニケーションのボトルネックは、大規模なディープラーニングにおいて重要な問題である。 非効率な分散問題に対する誤りフィードバックよりも優れた収束性を示す分散誤差フィードバック(DEF)アルゴリズムを提案する。 また、DEFよりも優れた境界を示すDEFの一般化を加速するDEFAを提案する。
  論文  参考訳（メタデータ） (2020-04-11T03:50:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。