論文の概要: Learning from History for Byzantine Robust Optimization

• arxiv url: http://arxiv.org/abs/2012.10333v1
• Date: Fri, 18 Dec 2020 16:22:32 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-01 18:19:50.600407
• Title: Learning from History for Byzantine Robust Optimization
• Title（参考訳）: ビザンチンロバスト最適化の歴史から学ぶ
• Authors: Sai Praneeth Karimireddy, Lie He, Martin Jaggi
• Abstract要約: 分散学習の重要性から,ビザンチンの堅牢性が近年注目されている。 既存のロバストアグリゲーションルールの多くは、ビザンチンの攻撃者がいなくても収束しない可能性がある。
• 参考スコア（独自算出の注目度）: 52.68913869776858
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Byzantine robustness has received significant attention recently given its importance for distributed and federated learning. In spite of this, we identify severe flaws in existing algorithms even when the data across the participants is assumed to be identical. First, we show that most existing robust aggregation rules may not converge even in the absence of any Byzantine attackers, because they are overly sensitive to the distribution of the noise in the stochastic gradients. Secondly, we show that even if the aggregation rules may succeed in limiting the influence of the attackers in a single round, the attackers can couple their attacks across time eventually leading to divergence. To address these issues, we present two surprisingly simple strategies: a new iterative clipping procedure, and incorporating worker momentum to overcome time-coupled attacks. This is the first provably robust method for the standard stochastic non-convex optimization setting.
• Abstract（参考訳）: ビザンチンの堅牢性は最近、分散学習と連合学習の重要性から注目されている。 それにもかかわらず,参加者間のデータ同一性が仮定された場合でも,既存のアルゴリズムの重大な欠陥を識別する。 まず、既存のロバストなアグリゲーションルールは、確率勾配における雑音の分布に過度に敏感であるため、ビザンチン攻撃者がいなくても収束しないことを示す。 第2に、たとえアグリゲーションルールが1ラウンドで攻撃者の影響力を制限することに成功しても、攻撃者は時間をかけて攻撃を衝突させ、最終的に分岐することを示す。 これらの問題に対処するために,我々は,新たな反復的クリッピング手順と,時間的結合による攻撃を克服するための作業者のモメンタムの導入という,驚くほどシンプルな2つの戦略を提示している。 これは標準確率的非凸最適化設定に対する最初の証明可能なロバストな方法である。

関連論文リスト

• FedRISE: Rating Induced Sign Election of Gradients for Byzantine Tolerant Federated Aggregation [5.011091042850546]
  We developed a robust aggregator called FedRISE for cross-silo FL。 3つのデータセットとアーキテクチャに対して6つの有害な攻撃を受ける8つのロバストアグリゲータと比較した。 以上の結果から,FedRISEは厳密な緩やかな包摂的包摂的定式化のため,少なくともいくつかの攻撃において,既存のロバストアグリゲータが崩壊することを示し,FedRISEはより堅牢性を示す。
  論文  参考訳（メタデータ） (2024-11-06T12:14:11Z)
• Byzantine-Robust and Communication-Efficient Distributed Learning via Compressed Momentum Filtering [17.446431849022346]
  分散学習は、プライベートデータサイロにわたる大規模機械学習モデルをトレーニングするための標準アプローチとなっている。 堅牢性とコミュニケーションの保存に関する重要な課題に直面している。 本稿では,ビザンチン・ロバスト・コミュニケーション効率の高い分散学習手法を提案する。
  論文  参考訳（メタデータ） (2024-09-13T08:53:10Z)
• Multi-granular Adversarial Attacks against Black-box Neural Ranking Models [111.58315434849047]
  多粒性摂動を取り入れた高品質な逆数例を作成する。 我々は,多粒体攻撃を逐次的意思決定プロセスに変換する。 本手法は,攻撃の有効性と非受容性の両方において,一般的なベースラインを超えている。
  論文  参考訳（メタデータ） (2024-04-02T02:08:29Z)
• Doubly Robust Instance-Reweighted Adversarial Training [107.40683655362285]
  本稿では,2重のインスタンス再重み付き対向フレームワークを提案する。 KL偏差正規化損失関数の最適化により重みを求める。 提案手法は, 平均ロバスト性能において, 最先端のベースライン法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-08-01T06:16:18Z)
• Robust Distributed Learning Against Both Distributional Shifts and Byzantine Attacks [29.34471516011148]
  分散学習システムでは、2つのソースから問題が発生する可能性がある。 一方、トレーニングデータとテストデータ間の分散シフトにより、モデルはサンプル外性能が劣る可能性がある。 一方、訓練されたノードの一部はビザンチン攻撃を受け、モデルが無効になる可能性がある。
  論文  参考訳（メタデータ） (2022-10-29T20:08:07Z)
• Robust Distributed Optimization With Randomly Corrupted Gradients [24.253191879453784]
  本研究では, ビザンチンの故障に頑健で, 潜在的に敵対的な挙動を示す一階分散最適化アルゴリズムを提案する。 我々のアルゴリズムは順序正規化と信頼に値する統計的誤差収束率を達成する。
  論文  参考訳（メタデータ） (2021-06-28T19:45:25Z)
• Byzantine-Resilient Non-Convex Stochastic Gradient Descent [61.6382287971982]
  敵対的レジリエントな分散最適化。 機械は独立して勾配を計算し 協力することができます 私達のアルゴリズムは新しい集中の技術およびサンプル複雑性に基づいています。 それは非常に実用的です:それはないときすべての前の方法の性能を改善します。 セッティングマシンがあります。
  論文  参考訳（メタデータ） (2020-12-28T17:19:32Z)
• Hidden Cost of Randomized Smoothing [72.93630656906599]
  本稿では、現在のランダム化平滑化による副作用を指摘する。 具体的には,1)スムーズな分類器の決定境界が小さくなり,クラスレベルでの精度の相違が生じること,2)学習過程における雑音増強の適用は,一貫性のない学習目的による縮小問題を必ずしも解決しない,という2つの主要なポイントを具体化し,証明する。
  論文  参考訳（メタデータ） (2020-03-02T23:37:42Z)
• Temporal Sparse Adversarial Attack on Sequence-based Gait Recognition [56.844587127848854]
  このような攻撃に対して,最先端の歩行認識モデルが脆弱であることを示す。 生成した対向ネットワークに基づくアーキテクチャを用いて、対向的な高品質な歩行シルエットやビデオフレームを意味的に生成する。 実験結果から, フレームの1分の1しか攻撃されない場合, 対象モデルの精度は劇的に低下することがわかった。
  論文  参考訳（メタデータ） (2020-02-22T10:08:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。