論文の概要: ByGARS: Byzantine SGD with Arbitrary Number of Attackers

• arxiv url: http://arxiv.org/abs/2006.13421v2
• Date: Mon, 7 Dec 2020 20:59:12 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-17 09:49:57.448749
• Title: ByGARS: Byzantine SGD with Arbitrary Number of Attackers
• Title（参考訳）: bygars: 任意の数の攻撃者とのビザンチンsgd
• Authors: Jayanth Regatti, Hao Chen and Abhishek Gupta
• Abstract要約: ビザンツの敵対者の存在下で分散機械学習のための2つの新しい計算アルゴリズムを提案する。 これらのアルゴリズムでは、評価スコアワーカはサーバの補助データセットを使用して計算される。 提案アルゴリズムは,複数種類の攻撃に対して同時に堅牢であることを示す。
• 参考スコア（独自算出の注目度）: 8.987350240289757
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose two novel stochastic gradient descent algorithms, ByGARS and ByGARS++, for distributed machine learning in the presence of any number of Byzantine adversaries. In these algorithms, reputation scores of workers are computed using an auxiliary dataset at the server. This reputation score is then used for aggregating the gradients for stochastic gradient descent. The computational complexity of ByGARS++ is the same as the usual distributed stochastic gradient descent method with only an additional inner product computation in every iteration. We show that using these reputation scores for gradient aggregation is robust to any number of multiplicative noise Byzantine adversaries and use two-timescale stochastic approximation theory to prove convergence for strongly convex loss functions. We demonstrate the effectiveness of the algorithms for non-convex learning problems using MNIST and CIFAR-10 datasets against almost all state-of-the-art Byzantine attacks. We also show that the proposed algorithms are robust to multiple different types of attacks at the same time.
• Abstract（参考訳）: そこで本研究では,分散機械学習のための確率的勾配降下アルゴリズムbygarsとbygars++を提案する。 これらのアルゴリズムでは、サーバの補助データセットを用いて労働者の評判スコアを算出する。 この評価スコアは、確率勾配降下の勾配を集約するために使用される。 ByGARS++の計算複雑性は、通常の分散確率勾配勾配法と同じであり、各イテレーションで追加の内積計算しか行わない。 これらの評価スコアを勾配集計に用いることは、乗法的雑音の何れかに対して頑健であり、強い凸損失関数の収束性を証明するために、2時間スケール確率近似理論を用いることを示す。 MNISTとCIFAR-10データセットを用いた非凸学習問題に対するアルゴリズムの有効性を示す。 また,提案アルゴリズムは複数種類の攻撃に対して同時に堅牢であることを示す。

関連論文リスト

• A Mirror Descent-Based Algorithm for Corruption-Tolerant Distributed Gradient Descent [57.64826450787237]
  本研究では, 分散勾配降下アルゴリズムの挙動を, 敵対的腐敗の有無で解析する方法を示す。 汚職耐性の分散最適化アルゴリズムを設計するために、(怠慢な)ミラー降下からアイデアをどう使うかを示す。 MNISTデータセットの線形回帰、サポートベクトル分類、ソフトマックス分類に基づく実験は、我々の理論的知見を裏付けるものである。
  論文  参考訳（メタデータ） (2024-07-19T08:29:12Z)
• AsGrad: A Sharp Unified Analysis of Asynchronous-SGD Algorithms [45.90015262911875]
  不均一な環境で分散SGDのための非同期型アルゴリズムを解析する。 また,本分析の副産物として,ランダムなきついSGDのような勾配型アルゴリズムの保証を示す。
  論文  参考訳（メタデータ） (2023-10-31T13:44:53Z)
• Byzantine-Resilient Learning Beyond Gradients: Distributing Evolutionary Search [6.461473289206789]
  本研究では、勾配のないMLアルゴリズムと古典的な分散コンセンサスアルゴリズムを組み合わせることで、勾配のないビザンチン耐性分散学習アルゴリズムを生成することを示す。 我々は,2つの特定の事例,すなわちTotal Order Broadcast と proof-of-work leader election に対して,証明と疑似コードを提供する。
  論文  参考訳（メタデータ） (2023-04-20T17:13:29Z)
• Efficient Approximate Kernel Based Spike Sequence Classification [56.2938724367661]
  SVMのような機械学習モデルは、シーケンスのペア間の距離/相似性の定義を必要とする。 厳密な手法により分類性能は向上するが、計算コストが高い。 本稿では,その予測性能を向上させるために,近似カーネルの性能を改善する一連の方法を提案する。
  論文  参考訳（メタデータ） (2022-09-11T22:44:19Z)
• A Unified Framework for Implicit Sinkhorn Differentiation [58.56866763433335]
  暗黙の微分によってシンクホーン層の解析勾配を求めるアルゴリズムを提案する。 特にGPUメモリなどのリソースが不足している場合には,計算効率が向上する。
  論文  参考訳（メタデータ） (2022-05-13T14:45:31Z)
• Escaping Saddle Points in Distributed Newton's Method with Communication efficiency and Byzantine Resilience [49.379254729853756]
  我々は、ビザンチン機械の存在下で分散フレームワークにおける非正規化損失関数(サドルポイント付き)を最適化する問題を検討する。 キューブ正規化されたニュートンアルゴリズムを堅牢化し、サドルポイントと偽のローカルミニマを効率的に回避します。 提案手法は, (サブサンプリング) と hessian を含むいくつかの近似設定で理論的に保証される。
  論文  参考訳（メタデータ） (2021-03-17T03:53:58Z)
• Byzantine-Resilient Non-Convex Stochastic Gradient Descent [61.6382287971982]
  敵対的レジリエントな分散最適化。 機械は独立して勾配を計算し 協力することができます 私達のアルゴリズムは新しい集中の技術およびサンプル複雑性に基づいています。 それは非常に実用的です:それはないときすべての前の方法の性能を改善します。 セッティングマシンがあります。
  論文  参考訳（メタデータ） (2020-12-28T17:19:32Z)
• Variance Reduction with Sparse Gradients [82.41780420431205]
  SVRGやSpiderBoostのような分散還元法では、大きなバッチ勾配と小さなバッチ勾配が混在している。 我々は、新しい空間演算子:ランダムトップk演算子を導入する。 我々のアルゴリズムは、画像分類、自然言語処理、スパース行列分解など様々なタスクにおいて、一貫してSpiderBoostより優れています。
  論文  参考訳（メタデータ） (2020-01-27T08:23:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。