論文の概要: Byzantine Failures Harm the Generalization of Robust Distributed Learning Algorithms More Than Data Poisoning

• arxiv url: http://arxiv.org/abs/2506.18020v2
• Date: Thu, 16 Oct 2025 16:05:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-17 16:37:10.413191
• Title: Byzantine Failures Harm the Generalization of Robust Distributed Learning Algorithms More Than Data Poisoning
• Title（参考訳）: Byzantine、ロバストな分散学習アルゴリズムの一般化に失敗
• Authors: Thomas Boudou, Batiste Le Bars, Nirupam Gupta, Aurélien Bellet,
• Abstract要約: 頑健な分散学習アルゴリズムは、労働者の不在にもかかわらず信頼性の高い性能を維持することを目的としている。 このような誤動作は、通常、$textitByzantine failures$としてモデル化され、任意に破損した通信を可能にするか、あるいはローカルなトレーニングデータに制限された、より弱い形式の汚職である$textitdata poisoning$としてモデル化される。 ビザンチンの失敗は、データ中毒で達成可能なものよりも、はるかに悪い速度で発生します。
• 参考スコア（独自算出の注目度）: 19.624245500772027
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Robust distributed learning algorithms aim to maintain reliable performance despite the presence of misbehaving workers. Such misbehaviors are commonly modeled as $\textit{Byzantine failures}$, allowing arbitrarily corrupted communication, or as $\textit{data poisoning}$, a weaker form of corruption restricted to local training data. While prior work shows similar optimization guarantees for both models, an important question remains: $\textit{How do these threat models impact generalization?}$ Empirical evidence suggests a gap, yet it remains unclear whether it is unavoidable or merely an artifact of suboptimal attacks. We show, for the first time, a fundamental gap in generalization guarantees between the two threat models: Byzantine failures yield strictly worse rates than those achievable under data poisoning. Our findings leverage a tight algorithmic stability analysis of robust distributed learning. Specifically, we prove that: $\textit{(i)}$ under data poisoning, the uniform algorithmic stability of an algorithm with optimal optimization guarantees degrades by an additive factor of $\varTheta ( \frac{f}{n-f} )$, with $f$ out of $n$ workers misbehaving; whereas $\textit{(ii)}$ under Byzantine failures, the degradation is in $\Omega \big( \sqrt{ \frac{f}{n-2f}} \big)$.
• Abstract（参考訳）: ロバストな分散学習アルゴリズムは、労働者の不在にもかかわらず信頼性の高い性能を維持することを目的としている。 そのような誤動作は、一般に$\textit{Byzantine failures}$としてモデル化され、任意に破損した通信、または$\textit{data poisoning}$としてモデル化される。 以前の作業では、両方のモデルで同様の最適化の保証が示されていたが、重要な疑問が残る。 実験的な証拠はギャップを示唆しているが、それが避けられないのか、それとも単なる準最適攻撃の人工物なのかは不明だ。 ビザンチンの失敗は、データ中毒で達成可能なものよりも、厳格に悪化する。 本研究は,頑健な分散学習のアルゴリズム的安定性解析を活用する。 具体的には、次のように証明する。 (i)}$の場合、アルゴリズムのアルゴリズム的安定性と最適化の最適化により、$\varTheta ( \frac{f}{n-f} )$, with $f$ of $n$ workers misbehaving; $\textit{ (ii)$ ビザンティンの失敗の下では、分解は$\Omega \big( \sqrt{ \frac{f}{n-2f}} \big)$ である。

関連論文リスト

• High-Dimensional Robust Mean Estimation with Untrusted Batches [38.14592862692954]
  本研究では,N$ユーザによるデータのコントリビューションを行う協調環境での高次元平均推定について検討した。 例えば、$varepsilon$-fraction of users is completely adversarial, and the more good' users provide data from distributions that related to $P$ but deviate by a near parameter $$. 我々のアルゴリズムは、最小最大誤差率$O(sqrtvarepsilon/n + sqrtd/nN + sを達成する。
  論文  参考訳（メタデータ） (2026-02-24T08:59:37Z)
• Trade-off in Estimating the Number of Byzantine Clients in Federated Learning [51.015234193544636]
  フェデレート学習は、誤ったシグナルを送信できるビザンティンのクライアントにとって脆弱である。 我々は、過小評価(hatfge f$)が、アグリゲータとフェデレーションドラーニングの両方において、任意に貧弱なパフォーマンスをもたらすことを示した。 これらの最適境界はすべて$hatf/(n-f-hatf)$と$n$クライアントに比例し、より大きい$hatf$で単調に増加する。
  論文  参考訳（メタデータ） (2025-10-06T02:01:56Z)
• Distributionally Robust Optimization with Adversarial Data Contamination [49.89480853499918]
  凸リプシッツ損失関数を持つ一般化線形モデルに対するワッサーシュタイン-1 DRO 目標の最適化に焦点をあてる。 私たちの主な貢献は、データ汚染のトレーニングに対するロバストネスと分散シフトに対するロバストネスを統合した、新しいモデリングフレームワークです。 この研究は、データ汚染と分散シフトという2つの課題の下で学習するために、効率的な計算によって支援される最初の厳密な保証を確立する。
  論文  参考訳（メタデータ） (2025-07-14T18:34:10Z)
• Towards Model Resistant to Transferable Adversarial Examples via Trigger Activation [95.3977252782181]
  知覚不能な摂動によって特徴づけられる敵対的な例は、彼らの予測を誤解させることで、ディープニューラルネットワークに重大な脅威をもたらす。 本稿では,移動可能な敵例(TAE)に対して,より効率的かつ効果的に堅牢性を高めることを目的とした,新たなトレーニングパラダイムを提案する。
  論文  参考訳（メタデータ） (2025-04-20T09:07:10Z)
• Efficient Federated Learning against Byzantine Attacks and Data Heterogeneity via Aggregating Normalized Gradients [27.433334322019675]
  Federated Learning (FL)は、クライアントが生データを共有せずに、協力的にモデルをトレーニングすることを可能にする。 FLはByzantine攻撃やデータ不均一性の反復に弱いため、パフォーマンスが著しく低下する可能性がある。 フェデレート正規化勾配アルゴリズム (Federated Normalized Gradients Algorithm, NGA) を提案する。 既存手法に対するベンチマーク収束の実験結果
  論文  参考訳（メタデータ） (2024-08-18T16:50:39Z)
• $k$-Submodular Interdiction Problems under Distributional Risk-Receptiveness and Robustness: Application to Machine Learning [0.8233493213841317]
  本稿では,特徴選択などの機械学習問題に適用可能な,逆向き文脈における部分モジュラ最適化について検討する。 我々は、攻撃者(またはインターディクタ)とディフェンダーの間のStackelbergゲームに焦点を当て、攻撃者は$k$-submodular関数を最大化するディフェンダーの目的を最小化することを目的としている。 本稿では、分散ロバスト$k$-SIPと分散リスク-受容$k$-SIPと、それを解くための有限収束正確なアルゴリズムを紹介する。
  論文  参考訳（メタデータ） (2024-06-18T19:30:46Z)
• Advancing Generalized Transfer Attack with Initialization Derived Bilevel Optimization and Dynamic Sequence Truncation [49.480978190805125]
  転送攻撃はブラックボックスアプリケーションに大きな関心を惹きつける。 既存の作業は、本質的に単一のレベルの目的 w.r.t. シュロゲートモデルを直接最適化する。 本稿では,上位レベル(UL)と下位レベル(LL)のサロゲート攻撃とのネスト関係を明示的に再構築する2レベル最適化手法を提案する。
  論文  参考訳（メタデータ） (2024-06-04T07:45:27Z)
• Federated Learning Resilient to Byzantine Attacks and Data Heterogeneity [59.17297282373628]
  本稿では、データに対する悪意ある攻撃の文脈におけるグラディエント学習(FL)について述べる。 本稿では,収束解析と損失関数の中央値を用いた新しい平均ロバストアルゴリズム(RAGA)を提案する。
  論文  参考訳（メタデータ） (2024-03-20T08:15:08Z)
• Corruption-Robust Offline Reinforcement Learning with General Function Approximation [60.91257031278004]
  一般関数近似を用いたオフライン強化学習(RL)における劣化問題について検討する。 我々のゴールは、崩壊しないマルコフ決定プロセス(MDP)の最適方針に関して、このような腐敗に対して堅牢で、最適でないギャップを最小限に抑える政策を見つけることである。
  論文  参考訳（メタデータ） (2023-10-23T04:07:26Z)
• An Improved Analysis of Gradient Tracking for Decentralized Machine Learning [34.144764431505486]
  トレーニングデータが$n$エージェントに分散されるネットワーク上での分散機械学習を検討する。 エージェントの共通の目標は、すべての局所損失関数の平均を最小化するモデルを見つけることである。 ノイズのない場合、$p$を$mathcalO(p-1)$から$mathcalO(p-1)$に改善します。
  論文  参考訳（メタデータ） (2022-02-08T12:58:14Z)
• Towards Variable-Length Textual Adversarial Attacks [68.27995111870712]
  データの離散性のため、自然言語処理タスクに対してテキストによる敵意攻撃を行うことは非自明である。 本稿では,可変長テキスト対比攻撃(VL-Attack)を提案する。 本手法は、iwslt14ドイツ語英訳で3,18$ bleuスコアを達成でき、ベースラインモデルより1.47$改善できる。
  論文  参考訳（メタデータ） (2021-04-16T14:37:27Z)
• Online Adversarial Attacks [57.448101834579624]
  我々は、実世界のユースケースで見られる2つの重要な要素を強調し、オンライン敵攻撃問題を定式化する。 まず、オンライン脅威モデルの決定論的変種を厳格に分析する。 このアルゴリズムは、現在の最良の単一しきい値アルゴリズムよりも、$k=2$の競争率を確実に向上させる。
  論文  参考訳（メタデータ） (2021-03-02T20:36:04Z)
• Byzantine-Resilient Non-Convex Stochastic Gradient Descent [61.6382287971982]
  敵対的レジリエントな分散最適化。 機械は独立して勾配を計算し 協力することができます 私達のアルゴリズムは新しい集中の技術およびサンプル複雑性に基づいています。 それは非常に実用的です:それはないときすべての前の方法の性能を改善します。 セッティングマシンがあります。
  論文  参考訳（メタデータ） (2020-12-28T17:19:32Z)
• Byzantine-Robust Learning on Heterogeneous Datasets via Bucketing [55.012801269326594]
  ビザンチンの堅牢な分散学習では、中央サーバは、複数のワーカーに分散したデータよりも、機械学習モデルを訓練したい。 これらの労働者のごく一部は、所定のアルゴリズムから逸脱し、任意のメッセージを送ることができる。 本稿では,既存のロバストなアルゴリズムを無視可能な計算コストでヘテロジニアスなデータセットに適応させる,シンプルなバケット方式を提案する。
  論文  参考訳（メタデータ） (2020-06-16T17:58:53Z)
• Estimating Principal Components under Adversarial Perturbations [25.778123431786653]
  本研究では,高次元統計的推定問題に対するロバストネスの自然なモデルについて検討する。 我々のモデルは、低精度機械学習や対人訓練といった新しいパラダイムによって動機付けられている。
  論文  参考訳（メタデータ） (2020-05-31T20:27:19Z)
• Toward Adversarial Robustness via Semi-supervised Robust Training [93.36310070269643]
  アドリラルな例は、ディープニューラルネットワーク(DNN)に対する深刻な脅威であることが示されている。 R_stand$ と $R_rob$ の2つの異なるリスクを共同で最小化することで、新しい防御手法であるロバストトレーニング(RT)を提案する。
  論文  参考訳（メタデータ） (2020-03-16T02:14:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。