論文の概要: Byzantine Failures Harm the Generalization of Robust Distributed Learning Algorithms More Than Data Poisoning

• arxiv url: http://arxiv.org/abs/2506.18020v2
• Date: Thu, 16 Oct 2025 16:05:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-17 16:37:10.413191
• Title: Byzantine Failures Harm the Generalization of Robust Distributed Learning Algorithms More Than Data Poisoning
• Title（参考訳）: Byzantine、ロバストな分散学習アルゴリズムの一般化に失敗
• Authors: Thomas Boudou, Batiste Le Bars, Nirupam Gupta, Aurélien Bellet,
• Abstract要約: 頑健な分散学習アルゴリズムは、労働者の不在にもかかわらず信頼性の高い性能を維持することを目的としている。 このような誤動作は、通常、$textitByzantine failures$としてモデル化され、任意に破損した通信を可能にするか、あるいはローカルなトレーニングデータに制限された、より弱い形式の汚職である$textitdata poisoning$としてモデル化される。 ビザンチンの失敗は、データ中毒で達成可能なものよりも、はるかに悪い速度で発生します。
• 参考スコア（独自算出の注目度）: 19.624245500772027
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Robust distributed learning algorithms aim to maintain reliable performance despite the presence of misbehaving workers. Such misbehaviors are commonly modeled as $\textit{Byzantine failures}$, allowing arbitrarily corrupted communication, or as $\textit{data poisoning}$, a weaker form of corruption restricted to local training data. While prior work shows similar optimization guarantees for both models, an important question remains: $\textit{How do these threat models impact generalization?}$ Empirical evidence suggests a gap, yet it remains unclear whether it is unavoidable or merely an artifact of suboptimal attacks. We show, for the first time, a fundamental gap in generalization guarantees between the two threat models: Byzantine failures yield strictly worse rates than those achievable under data poisoning. Our findings leverage a tight algorithmic stability analysis of robust distributed learning. Specifically, we prove that: $\textit{(i)}$ under data poisoning, the uniform algorithmic stability of an algorithm with optimal optimization guarantees degrades by an additive factor of $\varTheta ( \frac{f}{n-f} )$, with $f$ out of $n$ workers misbehaving; whereas $\textit{(ii)}$ under Byzantine failures, the degradation is in $\Omega \big( \sqrt{ \frac{f}{n-2f}} \big)$.
• Abstract（参考訳）: ロバストな分散学習アルゴリズムは、労働者の不在にもかかわらず信頼性の高い性能を維持することを目的としている。 そのような誤動作は、一般に$\textit{Byzantine failures}$としてモデル化され、任意に破損した通信、または$\textit{data poisoning}$としてモデル化される。 以前の作業では、両方のモデルで同様の最適化の保証が示されていたが、重要な疑問が残る。 実験的な証拠はギャップを示唆しているが、それが避けられないのか、それとも単なる準最適攻撃の人工物なのかは不明だ。 ビザンチンの失敗は、データ中毒で達成可能なものよりも、厳格に悪化する。 本研究は,頑健な分散学習のアルゴリズム的安定性解析を活用する。 具体的には、次のように証明する。 (i)}$の場合、アルゴリズムのアルゴリズム的安定性と最適化の最適化により、$\varTheta ( \frac{f}{n-f} )$, with $f$ of $n$ workers misbehaving; $\textit{ (ii)$ ビザンティンの失敗の下では、分解は$\Omega \big( \sqrt{ \frac{f}{n-2f}} \big)$ である。

関連論文リスト

• Towards Model Resistant to Transferable Adversarial Examples via Trigger Activation [95.3977252782181]
  知覚不能な摂動によって特徴づけられる敵対的な例は、彼らの予測を誤解させることで、ディープニューラルネットワークに重大な脅威をもたらす。 本稿では,移動可能な敵例(TAE)に対して,より効率的かつ効果的に堅牢性を高めることを目的とした,新たなトレーニングパラダイムを提案する。
  論文  参考訳（メタデータ） (2025-04-20T09:07:10Z)
• $k$-Submodular Interdiction Problems under Distributional Risk-Receptiveness and Robustness: Application to Machine Learning [0.8233493213841317]
  本稿では,特徴選択などの機械学習問題に適用可能な,逆向き文脈における部分モジュラ最適化について検討する。 我々は、攻撃者(またはインターディクタ)とディフェンダーの間のStackelbergゲームに焦点を当て、攻撃者は$k$-submodular関数を最大化するディフェンダーの目的を最小化することを目的としている。 本稿では、分散ロバスト$k$-SIPと分散リスク-受容$k$-SIPと、それを解くための有限収束正確なアルゴリズムを紹介する。
  論文  参考訳（メタデータ） (2024-06-18T19:30:46Z)
• Advancing Generalized Transfer Attack with Initialization Derived Bilevel Optimization and Dynamic Sequence Truncation [49.480978190805125]
  転送攻撃はブラックボックスアプリケーションに大きな関心を惹きつける。 既存の作業は、本質的に単一のレベルの目的 w.r.t. シュロゲートモデルを直接最適化する。 本稿では,上位レベル(UL)と下位レベル(LL)のサロゲート攻撃とのネスト関係を明示的に再構築する2レベル最適化手法を提案する。
  論文  参考訳（メタデータ） (2024-06-04T07:45:27Z)
• Towards Variable-Length Textual Adversarial Attacks [68.27995111870712]
  データの離散性のため、自然言語処理タスクに対してテキストによる敵意攻撃を行うことは非自明である。 本稿では,可変長テキスト対比攻撃(VL-Attack)を提案する。 本手法は、iwslt14ドイツ語英訳で3,18$ bleuスコアを達成でき、ベースラインモデルより1.47$改善できる。
  論文  参考訳（メタデータ） (2021-04-16T14:37:27Z)
• Online Adversarial Attacks [57.448101834579624]
  我々は、実世界のユースケースで見られる2つの重要な要素を強調し、オンライン敵攻撃問題を定式化する。 まず、オンライン脅威モデルの決定論的変種を厳格に分析する。 このアルゴリズムは、現在の最良の単一しきい値アルゴリズムよりも、$k=2$の競争率を確実に向上させる。
  論文  参考訳（メタデータ） (2021-03-02T20:36:04Z)
• Byzantine-Robust Learning on Heterogeneous Datasets via Bucketing [55.012801269326594]
  ビザンチンの堅牢な分散学習では、中央サーバは、複数のワーカーに分散したデータよりも、機械学習モデルを訓練したい。 これらの労働者のごく一部は、所定のアルゴリズムから逸脱し、任意のメッセージを送ることができる。 本稿では,既存のロバストなアルゴリズムを無視可能な計算コストでヘテロジニアスなデータセットに適応させる,シンプルなバケット方式を提案する。
  論文  参考訳（メタデータ） (2020-06-16T17:58:53Z)
• Estimating Principal Components under Adversarial Perturbations [25.778123431786653]
  本研究では,高次元統計的推定問題に対するロバストネスの自然なモデルについて検討する。 我々のモデルは、低精度機械学習や対人訓練といった新しいパラダイムによって動機付けられている。
  論文  参考訳（メタデータ） (2020-05-31T20:27:19Z)
• Toward Adversarial Robustness via Semi-supervised Robust Training [93.36310070269643]
  アドリラルな例は、ディープニューラルネットワーク(DNN)に対する深刻な脅威であることが示されている。 R_stand$ と $R_rob$ の2つの異なるリスクを共同で最小化することで、新しい防御手法であるロバストトレーニング(RT)を提案する。
  論文  参考訳（メタデータ） (2020-03-16T02:14:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。