論文の概要: Byzantine-Robust Variance-Reduced Federated Learning over Distributed Non-i.i.d. Data

• arxiv url: http://arxiv.org/abs/2009.08161v2
• Date: Sat, 28 Aug 2021 11:00:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-17 08:36:00.399030
• Title: Byzantine-Robust Variance-Reduced Federated Learning over Distributed Non-i.i.d. Data
• Title（参考訳）: 分散非i.i.d.データによるビザンチン-ロバスト分散分散低減型フェデレート学習
• Authors: Jie Peng, Zhaoxian Wu, Qing Ling and Tianyi Chen
• Abstract要約: 我々は、労働者のデータが独立せず、同一に分散されていないフェデレート学習問題(すなわち、d)を考える。 不明な数のビザンツ人労働者が、悪意のあるメッセージを中央ノードに送信し、驚くべき学習エラーを引き起こす可能性がある。 Byzantine-Robust のほとんどのメソッドは、受信メッセージの集約にロバストなアグリゲーションルールを使用することでこの問題に対処している。
• 参考スコア（独自算出の注目度）: 36.99547890386817
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider the federated learning problem where data on workers are not independent and identically distributed (i.i.d.). During the learning process, an unknown number of Byzantine workers may send malicious messages to the central node, leading to remarkable learning error. Most of the Byzantine-robust methods address this issue by using robust aggregation rules to aggregate the received messages, but rely on the assumption that all the regular workers have i.i.d. data, which is not the case in many federated learning applications. In light of the significance of reducing stochastic gradient noise for mitigating the effect of Byzantine attacks, we use a resampling strategy to reduce the impact of both inner variation (that describes the sample heterogeneity on every regular worker) and outer variation (that describes the sample heterogeneity among the regular workers), along with a stochastic average gradient algorithm to gradually eliminate the inner variation. The variance-reduced messages are then aggregated with a robust geometric median operator. We prove that the proposed method reaches a neighborhood of the optimal solution at a linear convergence rate and the learning error is determined by the number of Byzantine workers. Numerical experiments corroborate the theoretical results and show that the proposed method outperforms the state-of-the-arts in the non-i.i.d. setting.
• Abstract（参考訳）: 我々は、労働者のデータが独立で、同一に分散されていない(d.d.)連邦学習問題を考える。 学習プロセス中に、未知数のビザンチン労働者が中央ノードに悪意のあるメッセージを送信し、顕著な学習エラーを引き起こす可能性がある。 byzantine-robustメソッドのほとんどは、受信したメッセージを集約するために堅牢なアグリゲーションルールを使用することでこの問題に対処しているが、すべての正規ワーカーがi.i.d.データを持っているという仮定に依存している。 ビザンチン攻撃の影響を緩和するための確率的勾配ノイズの低減の重要性を踏まえて,内部変動(正規労働者毎のサンプル異質性を示す)と外部変動(正規労働者間のサンプル異質性を表す)のインパクトを低減するための再サンプリング戦略と,内部変動を徐々に排除するための確率的平均勾配アルゴリズムを用いる。 分散削減されたメッセージは、ロバストな幾何学的中央値演算子で集約される。 提案手法は線形収束率で最適解近傍に到達し,学習誤差はビザンチン作業者の数によって決定される。 数値実験により理論結果が一致し,提案手法が非i.i.d.設定における最先端技術を上回ることを示した。

関連論文リスト

• Byzantine-Robust and Communication-Efficient Distributed Learning via Compressed Momentum Filtering [17.446431849022346]
  分散学習は、プライベートデータサイロにわたる大規模機械学習モデルをトレーニングするための標準アプローチとなっている。 堅牢性とコミュニケーションの保存に関する重要な課題に直面している。 本稿では,ビザンチン・ロバスト・コミュニケーション効率の高い分散学習手法を提案する。
  論文  参考訳（メタデータ） (2024-09-13T08:53:10Z)
• Collaborative Heterogeneous Causal Inference Beyond Meta-analysis [68.4474531911361]
  異種データを用いた因果推論のための協調的逆確率スコア推定器を提案する。 異質性の増加に伴うメタアナリシスに基づく手法に対して,本手法は有意な改善を示した。
  論文  参考訳（メタデータ） (2024-04-24T09:04:36Z)
• Byzantine Robustness and Partial Participation Can Be Achieved at Once: Just Clip Gradient Differences [61.74021364776313]
  分散学習は、大規模な機械学習モデルをトレーニングするための主要なパラダイムとして登場した。 現実のシナリオでは、参加者は信頼できないか悪意があるかもしれない。 本稿では,クライアントサンプリングとビザンチン労働者への許容性を備えた最初の分散手法を提案する。
  論文  参考訳（メタデータ） (2023-11-23T17:50:30Z)
• Byzantine-Robust Loopless Stochastic Variance-Reduced Gradient [0.0]
  ビザンチン-ロバストループレス変動低減勾配法(BR-LSVRG)を提案する。 強凸の場合、新しい方法の非漸近収束保証を導出する。
  論文  参考訳（メタデータ） (2023-03-08T13:20:49Z)
• Decentralized Local Stochastic Extra-Gradient for Variational Inequalities [125.62877849447729]
  我々は、不均一(非IID)で多くのデバイスに分散する問題データを持つ領域上での分散変分不等式(VIs)を考察する。 我々は、完全に分散化された計算の設定を網羅する計算ネットワークについて、非常に一般的な仮定を行う。 理論的には, モノトン, モノトンおよび非モノトンセッティングにおける収束速度を理論的に解析する。
  論文  参考訳（メタデータ） (2021-06-15T17:45:51Z)
• Stochastic Alternating Direction Method of Multipliers for Byzantine-Robust Distributed Learning [22.835940007753376]
  分離可能な問題構造を完全に活用する乗算器のビザンチン-ロバスト交互方向法(ADMM)を提案する。 理論的には、提案法は、穏やかな仮定の下で最適解の有界近傍に O(k) の速度で収束することが証明される。 MNISTとCVERTYPEデータセットの数値実験により,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2021-06-13T01:17:31Z)
• BROADCAST: Reducing Both Stochastic and Compression Noise to Robustify Communication-Efficient Federated Learning [24.016538592246377]
  ローカル勾配を収集するためにワーカーとマスターノード間のコミュニケーションは、大規模学習システムにおける重要なボトルネックである。 本研究では、ビザンチン労働者からの攻撃が任意に悪意を持つことができる圧縮によるビザンチン・ロバスト連合学習の問題を調査する。 そこで本研究では, 雑音と圧縮ノイズを共同で低減し, ビザンチンロバスト性を改善することを提案する。
  論文  参考訳（メタデータ） (2021-04-14T08:16:03Z)
• Learning while Respecting Privacy and Robustness to Distributional Uncertainties and Adversarial Data [66.78671826743884]
  分散ロバストな最適化フレームワークはパラメトリックモデルのトレーニングのために検討されている。 目的は、逆操作された入力データに対して頑健なトレーニングモデルを提供することである。 提案されたアルゴリズムは、オーバーヘッドがほとんどない堅牢性を提供する。
  論文  参考訳（メタデータ） (2020-07-07T18:25:25Z)
• Federated Variance-Reduced Stochastic Gradient Descent with Robustness to Byzantine Attacks [74.36161581953658]
  本稿では、悪質なビザンツ攻撃が存在する場合のネットワーク上での学習のための分散有限サム最適化について論じる。 このような攻撃に対処するため、これまでのほとんどのレジリエントなアプローチは、勾配降下(SGD)と異なる頑健な集約ルールを組み合わせている。 本研究は,ネットワーク上の有限サム最適化を含むタスクを学習するための,ビザンチン攻撃耐性分散(Byrd-)SAGAアプローチを提案する。
  論文  参考訳（メタデータ） (2019-12-29T19:46:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。