論文の概要: Federated Variance-Reduced Stochastic Gradient Descent with Robustness to Byzantine Attacks

• arxiv url: http://arxiv.org/abs/1912.12716v2
• Date: Wed, 3 Feb 2021 07:34:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-17 07:28:00.818355
• Title: Federated Variance-Reduced Stochastic Gradient Descent with Robustness to Byzantine Attacks
• Title（参考訳）: ビザンチン系攻撃に対するロバスト性を伴うフェデレート変動誘発確率勾配
• Authors: Zhaoxian Wu, Qing Ling, Tianyi Chen, and Georgios B. Giannakis
• Abstract要約: 本稿では、悪質なビザンツ攻撃が存在する場合のネットワーク上での学習のための分散有限サム最適化について論じる。 このような攻撃に対処するため、これまでのほとんどのレジリエントなアプローチは、勾配降下(SGD)と異なる頑健な集約ルールを組み合わせている。 本研究は,ネットワーク上の有限サム最適化を含むタスクを学習するための,ビザンチン攻撃耐性分散(Byrd-)SAGAアプローチを提案する。
• 参考スコア（独自算出の注目度）: 74.36161581953658
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper deals with distributed finite-sum optimization for learning over networks in the presence of malicious Byzantine attacks. To cope with such attacks, most resilient approaches so far combine stochastic gradient descent (SGD) with different robust aggregation rules. However, the sizeable SGD-induced stochastic gradient noise makes it challenging to distinguish malicious messages sent by the Byzantine attackers from noisy stochastic gradients sent by the 'honest' workers. This motivates us to reduce the variance of stochastic gradients as a means of robustifying SGD in the presence of Byzantine attacks. To this end, the present work puts forth a Byzantine attack resilient distributed (Byrd-) SAGA approach for learning tasks involving finite-sum optimization over networks. Rather than the mean employed by distributed SAGA, the novel Byrd- SAGA relies on the geometric median to aggregate the corrected stochastic gradients sent by the workers. When less than half of the workers are Byzantine attackers, the robustness of geometric median to outliers enables Byrd-SAGA to attain provably linear convergence to a neighborhood of the optimal solution, with the asymptotic learning error determined by the number of Byzantine workers. Numerical tests corroborate the robustness to various Byzantine attacks, as well as the merits of Byrd- SAGA over Byzantine attack resilient distributed SGD.
• Abstract（参考訳）: 本稿では,悪意のあるビザンチン攻撃によるネットワーク上での学習のための分散有限サム最適化について述べる。 このような攻撃に対処するため、ほとんどのレジリエントなアプローチは、確率勾配降下(SGD)と異なる頑健な凝集規則を組み合わせる。 しかし、sgdによって引き起こされる大きな確率的勾配ノイズは、ビザンチン攻撃者が送った悪意あるメッセージを「正真正銘」労働者が送った騒々しい確率的勾配と区別することが困難である。 このことは、ビザンチン攻撃の存在下でSGDを堅牢化する手段としての確率勾配の分散を減少させる動機となっている。 そこで本研究では,ネットワーク上の有限サム最適化を含むタスクを学習するために,ビザンチン攻撃耐性分散(Byrd-)SAGAアプローチを提案する。 分散SAGAで使われる平均よりも、Byrd-SAGAは、労働者が送信した補正確率勾配を集計するために幾何学的中央値に依存する。 労働者の半分以下がビザンチン攻撃者である場合、幾何学的中央値から外れ値へのロバスト性により、byrd-sagaは最適な解の近傍に確実に線形収束することができ、ビザンチン労働者の数によって漸近的な学習誤差が決定される。 数値実験は、様々なビザンツ攻撃に対するロバスト性、およびビザンツ攻撃耐性分散SGDに対するバード・サガの利点を裏付けるものである。

関連論文リスト

• Byzantine-Robust Loopless Stochastic Variance-Reduced Gradient [0.0]
  ビザンチン-ロバストループレス変動低減勾配法(BR-LSVRG)を提案する。 強凸の場合、新しい方法の非漸近収束保証を導出する。
  論文  参考訳（メタデータ） (2023-03-08T13:20:49Z)
• Byzantine-Robust Learning on Heterogeneous Data via Gradient Splitting [58.91947205027892]
  フェデレーテッド・ラーニングはビザンツの攻撃に対する脆弱性を示している。 ビザンティン攻撃者は、任意の勾配を中央サーバに送ることで、グローバルモデルの収束と性能を破壊することができる。 アグレゲーション・ルール(AGR)は、ビザンツの攻撃から守るために提案されている。
  論文  参考訳（メタデータ） (2023-02-13T03:31:50Z)
• A Robust Classification Framework for Byzantine-Resilient Stochastic Gradient Descent [3.5450828190071655]
  本稿では,分散勾配勾配におけるビザンチン耐故障性のためのロバスト勾配分類フレームワーク(RGCF)を提案する。 RGCFはワーカ数に依存しない。パフォーマンスを損なうことなく、多数のワーカを抱えるトレーニングインスタンスまでスケールアップすることができる。
  論文  参考訳（メタデータ） (2023-01-16T10:40:09Z)
• Byzantine-Robust Online and Offline Distributed Reinforcement Learning [60.970950468309056]
  本稿では,複数のエージェントが環境を探索し,その経験を中央サーバを通じて伝達する分散強化学習環境について考察する。 エージェントの$alpha$-fractionは敵対的であり、任意の偽情報を報告することができる。 我々は、これらの対立エージェントの存在下で、マルコフ決定プロセスの根底にある準最適政策を特定することを模索する。
  論文  参考訳（メタデータ） (2022-06-01T00:44:53Z)
• Discriminator-Free Generative Adversarial Attack [87.71852388383242]
  生成的ベースの敵攻撃は、この制限を取り除くことができる。 ASymmetric Saliency-based Auto-Encoder (SSAE) は摂動を生成する。 SSAEが生成した敵の例は、広く使われているモデルを崩壊させるだけでなく、優れた視覚的品質を実現する。
  論文  参考訳（メタデータ） (2021-07-20T01:55:21Z)
• Stochastic Alternating Direction Method of Multipliers for Byzantine-Robust Distributed Learning [22.835940007753376]
  分離可能な問題構造を完全に活用する乗算器のビザンチン-ロバスト交互方向法(ADMM)を提案する。 理論的には、提案法は、穏やかな仮定の下で最適解の有界近傍に O(k) の速度で収束することが証明される。 MNISTとCVERTYPEデータセットの数値実験により,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2021-06-13T01:17:31Z)
• BROADCAST: Reducing Both Stochastic and Compression Noise to Robustify Communication-Efficient Federated Learning [24.016538592246377]
  ローカル勾配を収集するためにワーカーとマスターノード間のコミュニケーションは、大規模学習システムにおける重要なボトルネックである。 本研究では、ビザンチン労働者からの攻撃が任意に悪意を持つことができる圧縮によるビザンチン・ロバスト連合学習の問題を調査する。 そこで本研究では, 雑音と圧縮ノイズを共同で低減し, ビザンチンロバスト性を改善することを提案する。
  論文  参考訳（メタデータ） (2021-04-14T08:16:03Z)
• Learning from History for Byzantine Robust Optimization [52.68913869776858]
  分散学習の重要性から,ビザンチンの堅牢性が近年注目されている。 既存のロバストアグリゲーションルールの多くは、ビザンチンの攻撃者がいなくても収束しない可能性がある。
  論文  参考訳（メタデータ） (2020-12-18T16:22:32Z)
• Byzantine-Robust Decentralized Stochastic Optimization over Static and Time-Varying Networks [25.15075119957447]
  我々は、分散化された静的および時間変化ネットワーク上で定義されたビザンチン-ロバスト最適化問題を考察する。 一部のエージェントは、データの破損、機器の故障、サイバー攻撃のために信頼できない。 ビザンツの攻撃に対処するための重要なアイデアは、ビザンツの無問題に対する全変量(TV)の正規化近似を定式化することです。 提案手法は,ビザンチンフリー最適解の近傍に到達し,ビザンチンエージェントの数とネットワークトポロジーによって地区の大きさが決定されることを示す。
  論文  参考訳（メタデータ） (2020-05-12T04:18:39Z)
• BERT-ATTACK: Adversarial Attack Against BERT Using BERT [77.82947768158132]
  離散データ(テキストなど)に対するアドリアック攻撃は、連続データ(画像など)よりも難しい。 対戦型サンプルを生成するための高品質で効果的な方法である textbfBERT-Attack を提案する。 本手法は、成功率と摂動率の両方において、最先端の攻撃戦略より優れている。
  論文  参考訳（メタデータ） (2020-04-21T13:30:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。