論文の概要: Coded Robust Aggregation for Distributed Learning under Byzantine Attacks

• arxiv url: http://arxiv.org/abs/2506.01989v1
• Date: Sat, 17 May 2025 12:06:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-08 12:40:08.664876
• Title: Coded Robust Aggregation for Distributed Learning under Byzantine Attacks
• Title（参考訳）: ビザンチン攻撃による分散型学習のための符号化ロバスト集約
• Authors: Chengxi Li, Ming Xiao, Mikael Skoglund,
• Abstract要約: 符号化ロバストアグリゲーション(CRA-DL)に基づくビザンチン攻撃に対処する新しいDL法を提案する。 CRA-DLは、正直な装置によって送信される符号化された勾配が互いに近いという事実により改善される。
• 参考スコア（独自算出の注目度）: 33.56146654796337
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we investigate the problem of distributed learning (DL) in the presence of Byzantine attacks. For this problem, various robust bounded aggregation (RBA) rules have been proposed at the central server to mitigate the impact of Byzantine attacks. However, current DL methods apply RBA rules for the local gradients from the honest devices and the disruptive information from Byzantine devices, and the learning performance degrades significantly when the local gradients of different devices vary considerably from each other. To overcome this limitation, we propose a new DL method to cope with Byzantine attacks based on coded robust aggregation (CRA-DL). Before training begins, the training data are allocated to the devices redundantly. During training, in each iteration, the honest devices transmit coded gradients to the server computed from the allocated training data, and the server then aggregates the information received from both honest and Byzantine devices using RBA rules. In this way, the global gradient can be approximately recovered at the server to update the global model. Compared with current DL methods applying RBA rules, the improvement of CRA-DL is attributed to the fact that the coded gradients sent by the honest devices are closer to each other. This closeness enhances the robustness of the aggregation against Byzantine attacks, since Byzantine messages tend to be significantly different from those of honest devices in this case. We theoretically analyze the convergence performance of CRA-DL. Finally, we present numerical results to verify the superiority of the proposed method over existing baselines, showing its enhanced learning performance under Byzantine attacks.
• Abstract（参考訳）: 本稿では,ビザンツ攻撃発生時における分散学習(DL)の問題について検討する。 この問題に対して、ビザンティン攻撃の影響を軽減するために、中央サーバで様々な堅牢な境界集約(RBA)ルールが提案されている。 しかし、現在のDL法では、正直な装置からの局所勾配とビザンチン装置からの破壊的な情報に対して RBA ルールを適用しており、異なる機器の局所勾配が互いに大きく異なる場合、学習性能は著しく低下する。 この制限を克服するために,コーデット・ロバスト・アグリゲーション(CRA-DL)に基づくビザンチン攻撃に対処する新しいDL手法を提案する。 トレーニングを開始する前に、トレーニングデータはデバイスに冗長に割り当てられる。 トレーニング中、各イテレーションにおいて、正直なデバイスは割り当てられたトレーニングデータから計算されたサーバに符号化された勾配を送信し、その後、サーバーはRBAルールを使用して、正直なデバイスとビザンツのデバイスから受信した情報を集約する。 このようにして、グローバルな勾配をサーバでおよそ回復して、グローバルモデルを更新することができる。 RBA規則を適用した現在のDL法と比較して、CRA-DLの改良は、正直な装置によって送信される符号化勾配が互いに近いという事実に起因する。 この密接性は、ビザンツの攻撃に対するアグリゲーションの堅牢性を高め、ビザンツのメッセージは、この場合の正直な装置とは大きく異なる傾向がある。 CRA-DLの収束性能を理論的に解析する。 最後に,提案手法が既存のベースラインよりも優れていることを検証する数値的な結果を示し,ビザンチン攻撃による学習性能の向上を示す。

関連論文リスト

• Improving LLM Safety Alignment with Dual-Objective Optimization [65.41451412400609]
  大規模言語モデル(LLM)の既存のトレーニング時間安全アライメント技術は、ジェイルブレイク攻撃に対して脆弱なままである。 本研究では,DPOの目的を2つの構成要素にまとめる安全アライメントの改善について提案する。(1) 安全でない世代が部分的に発生しても拒否を促す頑健な拒絶訓練,(2) 有害な知識の未学習。
  論文  参考訳（メタデータ） (2025-03-05T18:01:05Z)
• Adversarial Training for Defense Against Label Poisoning Attacks [53.893792844055106]
  ラベル中毒攻撃は機械学習モデルに重大なリスクをもたらす。 本稿では,これらの脅威に対処するために,サポートベクトルマシン(SVM)に基づく新たな対角的防御戦略を提案する。 提案手法は, 様々なモデルアーキテクチャに対応し, カーネルSVMを用いた予測勾配降下アルゴリズムを用いて, 対向学習を行う。
  論文  参考訳（メタデータ） (2025-02-24T13:03:19Z)
• Privacy-Preserving Aggregation for Decentralized Learning with Byzantine-Robustness [5.735144760031169]
  Byzantineクライアントは、任意のモデル更新を他のクライアントにブロードキャストすることで、学習プロセスを意図的に破壊する。 本稿では,ビザンチンの脅威に対するDLのセキュリティとプライバシを高めるために設計された,新しいDLプロトコルであるSecureDLを紹介する。 実験の結果,悪意者による攻撃においてもSecureDLは有効であることがわかった。
  論文  参考訳（メタデータ） (2024-04-27T18:17:36Z)
• Dynamic Byzantine-Robust Learning: Adapting to Switching Byzantine Workers [10.632248569865236]
  Byzantine-robust学習は、フォールトトレラントな分散機械学習フレームワークとして注目されている。 我々はダイナブロ(DynaBRO)という,ラウンドごとのサブ線形数の変化に耐えられる新しい手法を提案する。 本手法では,マルチレベルモンテカルロ勾配法をサーバに適用し,ワーカー更新を頑健に集約する。
  論文  参考訳（メタデータ） (2024-02-05T12:26:01Z)
• Byzantine-Robust Learning on Heterogeneous Data via Gradient Splitting [58.91947205027892]
  フェデレーテッド・ラーニングはビザンツの攻撃に対する脆弱性を示している。 ビザンティン攻撃者は、任意の勾配を中央サーバに送ることで、グローバルモデルの収束と性能を破壊することができる。 アグレゲーション・ルール(AGR)は、ビザンツの攻撃から守るために提案されている。
  論文  参考訳（メタデータ） (2023-02-13T03:31:50Z)
• Security-Preserving Federated Learning via Byzantine-Sensitive Triplet Distance [10.658882342481542]
  フェデレートラーニング(FL)は一般的に、敵のエッジデバイスからのビザンチン攻撃に対して脆弱である。 そこで我々は, ダミーコントラストアグリゲーションという, 効果的なビザンチン・ロバストFLフレームワークを提案する。 最新技術であるビザンチン-レジリエントアグリゲーション法と比較して,性能が向上した。
  論文  参考訳（メタデータ） (2022-10-29T07:20:02Z)
• Linear Scalarization for Byzantine-robust learning on non-IID data [3.098066034546503]
  クライアント間のデータが異種である場合,ビザンチン・ロバスト学習の問題点について検討する。 本研究では,非IID環境でのビザンチン攻撃を回避するため,線形スカラー化(LS)を有効活用する手法を提案する。
  論文  参考訳（メタデータ） (2022-10-15T13:24:00Z)
• Learning from History for Byzantine Robust Optimization [52.68913869776858]
  分散学習の重要性から,ビザンチンの堅牢性が近年注目されている。 既存のロバストアグリゲーションルールの多くは、ビザンチンの攻撃者がいなくても収束しない可能性がある。
  論文  参考訳（メタデータ） (2020-12-18T16:22:32Z)
• Federated Variance-Reduced Stochastic Gradient Descent with Robustness to Byzantine Attacks [74.36161581953658]
  本稿では、悪質なビザンツ攻撃が存在する場合のネットワーク上での学習のための分散有限サム最適化について論じる。 このような攻撃に対処するため、これまでのほとんどのレジリエントなアプローチは、勾配降下(SGD)と異なる頑健な集約ルールを組み合わせている。 本研究は,ネットワーク上の有限サム最適化を含むタスクを学習するための,ビザンチン攻撃耐性分散(Byrd-)SAGAアプローチを提案する。
  論文  参考訳（メタデータ） (2019-12-29T19:46:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。