論文の概要: Robust Distributed Learning Against Both Distributional Shifts and Byzantine Attacks

• arxiv url: http://arxiv.org/abs/2210.16682v1
• Date: Sat, 29 Oct 2022 20:08:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-01 19:22:32.015851
• Title: Robust Distributed Learning Against Both Distributional Shifts and Byzantine Attacks
• Title（参考訳）: 分布シフトとビザンチン攻撃に対するロバスト分散学習
• Authors: Guanqiang Zhou and Ping Xu and Yue Wang and Zhi Tian
• Abstract要約: 分散学習システムでは、2つのソースから問題が発生する可能性がある。 一方、トレーニングデータとテストデータ間の分散シフトにより、モデルはサンプル外性能が劣る可能性がある。 一方、訓練されたノードの一部はビザンチン攻撃を受け、モデルが無効になる可能性がある。
• 参考スコア（独自算出の注目度）: 29.34471516011148
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In distributed learning systems, robustness issues may arise from two sources. On one hand, due to distributional shifts between training data and test data, the trained model could exhibit poor out-of-sample performance. On the other hand, a portion of working nodes might be subject to byzantine attacks which could invalidate the learning result. Existing works mostly deal with these two issues separately. In this paper, we propose a new algorithm that equips distributed learning with robustness measures against both distributional shifts and byzantine attacks. Our algorithm is built on recent advances in distributionally robust optimization as well as norm-based screening (NBS), a robust aggregation scheme against byzantine attacks. We provide convergence proofs in three cases of the learning model being nonconvex, convex, and strongly convex for the proposed algorithm, shedding light on its convergence behaviors and endurability against byzantine attacks. In particular, we deduce that any algorithm employing NBS (including ours) cannot converge when the percentage of byzantine nodes is 1/3 or higher, instead of 1/2, which is the common belief in current literature. The experimental results demonstrate the effectiveness of our algorithm against both robustness issues. To the best of our knowledge, this is the first work to address distributional shifts and byzantine attacks simultaneously.
• Abstract（参考訳）: 分散学習システムでは、2つのソースから堅牢性の問題が発生する可能性がある。 一方、トレーニングデータとテストデータ間の分散シフトにより、トレーニングされたモデルはサンプル外性能が劣る可能性がある。 一方、作業ノードの一部は、学習結果を無効にできるビザンチン攻撃を受ける可能性がある。 既存の作業は、主にこれら2つの問題を別々に扱う。 本稿では,分布シフトとビザンチン攻撃の両方に対するロバスト性尺度を分散学習に適用する新しいアルゴリズムを提案する。 我々のアルゴリズムは,近年の分散的ロバストな最適化と,ビザンチン攻撃に対するロバストなアグリゲーション手法であるノルムベーススクリーニング(NBS)に基づいて構築されている。 提案手法では,非凸,凸,強凸の3つの学習モデルの収束証明を提供し,その収束挙動とビザンチン攻撃に対する耐久性に光を当てる。 特に、NBSを用いたアルゴリズムは、現在の文献における一般的な信念である1/2ではなく、バイザンチンノードのパーセンテージが1/3以上であれば収束できないと推定する。 実験の結果,両頑健性問題に対するアルゴリズムの有効性が示された。 私たちの知る限りでは、これは分散シフトとビザンチン攻撃を同時に対処する最初の試みである。

関連論文リスト

• Probabilistic Contrastive Learning for Long-Tailed Visual Recognition [78.70453964041718]
  細長い分布は、少数の少数派が限られた数のサンプルを含む実世界のデータにしばしば現れる。 近年の研究では、教師付きコントラスト学習がデータ不均衡を緩和する有望な可能性を示していることが明らかになっている。 本稿では,特徴空間の各クラスからのサンプルデータ分布を推定する確率論的コントラスト学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-03-11T13:44:49Z)
• Detection and Mitigation of Byzantine Attacks in Distributed Training [24.951227624475443]
  ワーカノードの異常なビザンチン挙動は、トレーニングを脱線させ、推論の品質を損なう可能性がある。 最近の研究は、幅広い攻撃モデルを検討し、歪んだ勾配を補正するために頑健な集約と/または計算冗長性を探究している。 本研究では、強力な攻撃モデルについて検討する:$q$ omniscient adversaries with full knowledge of the defense protocol that can change from iteration to iteration to weak one: $q$ randomly selected adversaries with limited collusion abilities。
  論文  参考訳（メタデータ） (2022-08-17T05:49:52Z)
• Bridging Differential Privacy and Byzantine-Robustness via Model Aggregation [27.518542543750367]
  本稿では,差分プライバシーとビザンチネロバストネスという,連邦学習における対立する問題に対処することを目的とする。 標準メカニズムは送信DP、エンベロップスエンベロップスエンベロップスエンベロープ(エンベロップスエンベロープ、エンベロープエンベロープアグリゲーション)を追加し、ビザンツ攻撃を防御する。 提案手法の影響は, その頑健なモデルアグリゲーションによって抑制されていることを示す。
  論文  参考訳（メタデータ） (2022-04-29T23:37:46Z)
• Tolerating Adversarial Attacks and Byzantine Faults in Distributed Machine Learning [12.464625883462515]
  敵対的攻撃は、人工知能と機械学習モデルのトレーニング、再訓練、活用を妨害しようとする。 本稿では,敵対的攻撃を防御し,ビザンチン断層を許容する分散学習アルゴリズムParSGDを提案する。 以上の結果から,ParSGDを用いたMLモデルでは,攻撃を受けていないか,ノードのほぼ半数が障害を受けたか,あるいは障害が発生していないか,というような正確な予測が可能であることがわかった。
  論文  参考訳（メタデータ） (2021-09-05T07:55:02Z)
• Secure Distributed Training at Scale [65.7538150168154]
  ピアの存在下でのトレーニングには、ビザンティン寛容な特殊な分散トレーニングアルゴリズムが必要である。 本稿では,コミュニケーション効率を重視したセキュアな(ビザンチン耐性)分散トレーニングのための新しいプロトコルを提案する。
  論文  参考訳（メタデータ） (2021-06-21T17:00:42Z)
• Learning from History for Byzantine Robust Optimization [52.68913869776858]
  分散学習の重要性から,ビザンチンの堅牢性が近年注目されている。 既存のロバストアグリゲーションルールの多くは、ビザンチンの攻撃者がいなくても収束しない可能性がある。
  論文  参考訳（メタデータ） (2020-12-18T16:22:32Z)
• Learning while Respecting Privacy and Robustness to Distributional Uncertainties and Adversarial Data [66.78671826743884]
  分散ロバストな最適化フレームワークはパラメトリックモデルのトレーニングのために検討されている。 目的は、逆操作された入力データに対して頑健なトレーニングモデルを提供することである。 提案されたアルゴリズムは、オーバーヘッドがほとんどない堅牢性を提供する。
  論文  参考訳（メタデータ） (2020-07-07T18:25:25Z)
• Byzantine-Robust Learning on Heterogeneous Datasets via Bucketing [55.012801269326594]
  ビザンチンの堅牢な分散学習では、中央サーバは、複数のワーカーに分散したデータよりも、機械学習モデルを訓練したい。 これらの労働者のごく一部は、所定のアルゴリズムから逸脱し、任意のメッセージを送ることができる。 本稿では,既存のロバストなアルゴリズムを無視可能な計算コストでヘテロジニアスなデータセットに適応させる,シンプルなバケット方式を提案する。
  論文  参考訳（メタデータ） (2020-06-16T17:58:53Z)
• Byzantine-resilient Decentralized Stochastic Gradient Descent [85.15773446094576]
  分散学習システムのビザンチンレジリエンスに関する詳細な研究について述べる。 ビザンチンフォールトトレランスを用いた分散学習を支援する新しいアルゴリズムUBARを提案する。
  論文  参考訳（メタデータ） (2020-02-20T05:11:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。