論文の概要: Generalization under Byzantine & Poisoning Attacks: Tight Stability Bounds in Robust Distributed Learning

• arxiv url: http://arxiv.org/abs/2506.18020v1
• Date: Sun, 22 Jun 2025 12:59:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-24 19:06:36.70095
• Title: Generalization under Byzantine & Poisoning Attacks: Tight Stability Bounds in Robust Distributed Learning
• Title（参考訳）: ビザンチン・ポジショニング攻撃による一般化:ロバスト分散学習における厳密な安定性境界
• Authors: Thomas Boudou, Batiste Le Bars, Nirupam Gupta, Aurélien Bellet,
• Abstract要約: 2つの主要な脅威モデルが研究されており、ビザンチン攻撃とデータ中毒攻撃である。 我々は、ビザンツの攻撃がデータ中毒よりも、本質的には一般化に有害であることを示した。
• 参考スコア（独自算出の注目度）: 11.915183759106412
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Robust distributed learning algorithms aim to maintain good performance in distributed and federated settings, even in the presence of misbehaving workers. Two primary threat models have been studied: Byzantine attacks, where misbehaving workers can send arbitrarily corrupted updates, and data poisoning attacks, where misbehavior is limited to manipulation of local training data. While prior work has shown comparable optimization error under both threat models, a fundamental question remains open: How do these threat models impact generalization? Empirical evidence suggests a gap between the two threat models, yet it remains unclear whether it is fundamental or merely an artifact of suboptimal attacks. In this work, we present the first theoretical investigation into this problem, formally showing that Byzantine attacks are intrinsically more harmful to generalization than data poisoning. Specifically, we prove that: (i) under data poisoning, the uniform algorithmic stability of a robust distributed learning algorithm, with optimal optimization error, degrades by an additive factor of $\varTheta ( \frac{f}{n-f} )$, with $f$ the number of misbehaving workers out of $n$; and (ii) In contrast, under Byzantine attacks, the degradation is in $\mathcal{O} \big( \sqrt{ \frac{f}{n-2f}} \big)$.This difference in stability leads to a generalization error gap that is especially significant as $f$ approaches its maximum value $\frac{n}{2}$.
• Abstract（参考訳）: ロバストな分散学習アルゴリズムは、労働者が誤動作している場合でも、分散およびフェデレーションされた環境で優れたパフォーマンスを維持することを目的としている。 2つの主要な脅威モデルが研究されている: 不正行為の労働者が任意に破損した更新を送信できるビザンティン攻撃と、不正行為が地元の訓練データ操作に限られるデータ中毒攻撃である。 以前の研究では、両方の脅威モデルの下で同等の最適化エラーが示されていたが、根本的な疑問は依然として未解決のままである。 実証的な証拠は、2つの脅威モデルの間にギャップがあることを示唆しているが、それが基本的なものなのか、あるいは単なる準最適攻撃の人工物なのかは定かではない。 本研究は,ビザンツの攻撃がデータ中毒よりも本質的に一般化に有害であることを示す最初の理論的研究である。 具体的には、それを証明します。 (i)データ中毒下では、最適な最適化誤差のある頑健な分散学習アルゴリズムの均一なアルゴリズム安定性は、$\varTheta ( \frac{f}{n-f} )$の加算係数によって劣化する。 対照的に、ビザンチン攻撃では、分解は$\mathcal{O} \big( \sqrt{ \frac{f}{n-2f}} \big)$である。 この安定性の違いは、f$が最大値 $\frac{n}{2}$ に近づくと特に重要な一般化誤差ギャップにつながる。

関連論文リスト

• Towards Model Resistant to Transferable Adversarial Examples via Trigger Activation [95.3977252782181]
  知覚不能な摂動によって特徴づけられる敵対的な例は、彼らの予測を誤解させることで、ディープニューラルネットワークに重大な脅威をもたらす。 本稿では,移動可能な敵例(TAE)に対して,より効率的かつ効果的に堅牢性を高めることを目的とした,新たなトレーニングパラダイムを提案する。
  論文  参考訳（メタデータ） (2025-04-20T09:07:10Z)
• $k$-Submodular Interdiction Problems under Distributional Risk-Receptiveness and Robustness: Application to Machine Learning [0.8233493213841317]
  本稿では,特徴選択などの機械学習問題に適用可能な,逆向き文脈における部分モジュラ最適化について検討する。 我々は、攻撃者(またはインターディクタ)とディフェンダーの間のStackelbergゲームに焦点を当て、攻撃者は$k$-submodular関数を最大化するディフェンダーの目的を最小化することを目的としている。 本稿では、分散ロバスト$k$-SIPと分散リスク-受容$k$-SIPと、それを解くための有限収束正確なアルゴリズムを紹介する。
  論文  参考訳（メタデータ） (2024-06-18T19:30:46Z)
• Advancing Generalized Transfer Attack with Initialization Derived Bilevel Optimization and Dynamic Sequence Truncation [49.480978190805125]
  転送攻撃はブラックボックスアプリケーションに大きな関心を惹きつける。 既存の作業は、本質的に単一のレベルの目的 w.r.t. シュロゲートモデルを直接最適化する。 本稿では,上位レベル(UL)と下位レベル(LL)のサロゲート攻撃とのネスト関係を明示的に再構築する2レベル最適化手法を提案する。
  論文  参考訳（メタデータ） (2024-06-04T07:45:27Z)
• Towards Variable-Length Textual Adversarial Attacks [68.27995111870712]
  データの離散性のため、自然言語処理タスクに対してテキストによる敵意攻撃を行うことは非自明である。 本稿では,可変長テキスト対比攻撃(VL-Attack)を提案する。 本手法は、iwslt14ドイツ語英訳で3,18$ bleuスコアを達成でき、ベースラインモデルより1.47$改善できる。
  論文  参考訳（メタデータ） (2021-04-16T14:37:27Z)
• Online Adversarial Attacks [57.448101834579624]
  我々は、実世界のユースケースで見られる2つの重要な要素を強調し、オンライン敵攻撃問題を定式化する。 まず、オンライン脅威モデルの決定論的変種を厳格に分析する。 このアルゴリズムは、現在の最良の単一しきい値アルゴリズムよりも、$k=2$の競争率を確実に向上させる。
  論文  参考訳（メタデータ） (2021-03-02T20:36:04Z)
• Byzantine-Robust Learning on Heterogeneous Datasets via Bucketing [55.012801269326594]
  ビザンチンの堅牢な分散学習では、中央サーバは、複数のワーカーに分散したデータよりも、機械学習モデルを訓練したい。 これらの労働者のごく一部は、所定のアルゴリズムから逸脱し、任意のメッセージを送ることができる。 本稿では,既存のロバストなアルゴリズムを無視可能な計算コストでヘテロジニアスなデータセットに適応させる,シンプルなバケット方式を提案する。
  論文  参考訳（メタデータ） (2020-06-16T17:58:53Z)
• Estimating Principal Components under Adversarial Perturbations [25.778123431786653]
  本研究では,高次元統計的推定問題に対するロバストネスの自然なモデルについて検討する。 我々のモデルは、低精度機械学習や対人訓練といった新しいパラダイムによって動機付けられている。
  論文  参考訳（メタデータ） (2020-05-31T20:27:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。