論文の概要: Privacy-Preserving Aggregation for Decentralized Learning with Byzantine-Robustness
- arxiv url: http://arxiv.org/abs/2404.17970v1
- Date: Sat, 27 Apr 2024 18:17:36 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-30 18:22:24.242279
- Title: Privacy-Preserving Aggregation for Decentralized Learning with Byzantine-Robustness
- Title（参考訳）: ビザンチン・ロバスト性を考慮した分散学習のためのプライバシー保護集団化
- Authors: Ali Reza Ghavamipour, Benjamin Zi Hao Zhao, Oguzhan Ersoy, Fatih Turkmen,
- Abstract要約: Byzantineクライアントは、任意のモデル更新を他のクライアントにブロードキャストすることで、学習プロセスを意図的に破壊する。
本稿では,ビザンチンの脅威に対するDLのセキュリティとプライバシを高めるために設計された,新しいDLプロトコルであるSecureDLを紹介する。
実験の結果,悪意者による攻撃においてもSecureDLは有効であることがわかった。
- 参考スコア（独自算出の注目度）: 5.735144760031169
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Decentralized machine learning (DL) has been receiving an increasing interest recently due to the elimination of a single point of failure, present in Federated learning setting. Yet, it is threatened by the looming threat of Byzantine clients who intentionally disrupt the learning process by broadcasting arbitrary model updates to other clients, seeking to degrade the performance of the global model. In response, robust aggregation schemes have emerged as promising solutions to defend against such Byzantine clients, thereby enhancing the robustness of Decentralized Learning. Defenses against Byzantine adversaries, however, typically require access to the updates of other clients, a counterproductive privacy trade-off that in turn increases the risk of inference attacks on those same model updates. In this paper, we introduce SecureDL, a novel DL protocol designed to enhance the security and privacy of DL against Byzantine threats. SecureDL~facilitates a collaborative defense, while protecting the privacy of clients' model updates through secure multiparty computation. The protocol employs efficient computation of cosine similarity and normalization of updates to robustly detect and exclude model updates detrimental to model convergence. By using MNIST, Fashion-MNIST, SVHN and CIFAR-10 datasets, we evaluated SecureDL against various Byzantine attacks and compared its effectiveness with four existing defense mechanisms. Our experiments show that SecureDL is effective even in the case of attacks by the malicious majority (e.g., 80% Byzantine clients) while preserving high training accuracy.
- Abstract（参考訳）: 分散機械学習(DL)は、フェデレーテッド・ラーニング・セッティングに存在する単一障害点の排除により、最近ますます関心を集めている。
しかし、他のクライアントに任意のモデル更新をブロードキャストすることで学習プロセスを意図的に破壊し、グローバルモデルの性能を低下させようとするビザンツのクライアントの脅威に脅かされている。
これに応えて、ロバストなアグリゲーションスキームがビザンツのクライアントを擁護する有望なソリューションとして登場し、分散学習の堅牢性を高めている。
しかし、ビザンツの敵に対する防衛は、通常、他のクライアントの更新にアクセスする必要がある。
本稿では,ビザンチンの脅威に対するDLのセキュリティとプライバシを高めるために設計された,新しいDLプロトコルであるSecureDLを紹介する。
SecureDL~は、クライアントのモデル更新のプライバシをセキュアなマルチパーティ計算によって保護しながら、協調的な防御を実現する。
このプロトコルはコサイン類似性の効率的な計算と更新の正規化を利用して、モデル収束に有害なモデル更新を堅牢に検出し排除する。
MNIST, Fashion-MNIST, SVHN, CIFAR-10 を用いて, SecureDL を様々なビザンチン攻撃に対して評価し, その効果を既存の4つの防御機構と比較した。
実験の結果,SecureDLは悪意のある大多数(例えば,80%のビザンツ人クライアント)による攻撃においても,高いトレーニング精度を維持しながら有効であることがわかった。
関連論文リスト
- FedCAP: Robust Federated Learning via Customized Aggregation and Personalization [13.17735010891312]
フェデレートラーニング(FL)は、様々なプライバシー保護シナリオに適用されている。
我々はデータ不均一性とビザンチン攻撃に対する堅牢なFLフレームワークであるFedCAPを提案する。
我々は,FedCAPがいくつかの非IID環境において良好に機能し,連続的な毒殺攻撃下で強い堅牢性を示すことを示す。
論文 参考訳（メタデータ） (2024-10-16T23:01:22Z) - PriRoAgg: Achieving Robust Model Aggregation with Minimum Privacy Leakage for Federated Learning [49.916365792036636]
フェデレートラーニング(FL)は、大規模分散ユーザデータを活用する可能性から、最近大きな勢いを増している。
送信されたモデル更新は、センシティブなユーザ情報をリークする可能性があり、ローカルなトレーニングプロセスの集中的な制御の欠如は、モデル更新に対する悪意のある操作の影響を受けやすいグローバルモデルを残します。
我々は、Lagrange符号化計算と分散ゼロ知識証明を利用した汎用フレームワークPriRoAggを開発し、集約されたプライバシを満たすとともに、幅広いロバストな集約アルゴリズムを実行する。
論文 参考訳（メタデータ） (2024-07-12T03:18:08Z) - Here's a Free Lunch: Sanitizing Backdoored Models with Model Merge [17.3048898399324]
オープンソースイニシアチブによる事前訓練された言語モデルの民主化は、急速に革新と最先端技術へのアクセスを拡大している。
特定の入力によって隠れた悪意のある振る舞いが引き起こされ、自然言語処理(NLP)システムの完全性と信頼性を損なうバックドア攻撃。
本稿では,バックドアモデルと他の同質モデルとを組み合わせることで,バックドアの脆弱性を著しく改善することができることを示唆する。
論文 参考訳（メタデータ） (2024-02-29T16:37:08Z) - Byzantine-Robust Federated Learning with Variance Reduction and
Differential Privacy [6.343100139647636]
フェデレートラーニング(FL)は、モデルトレーニング中にデータのプライバシを保存するように設計されている。
FLはプライバシー攻撃やビザンツ攻撃に弱い。
本稿では,厳格なプライバシを保証するとともに,ビザンチン攻撃に対するシステムの堅牢性を同時に向上する新しいFLスキームを提案する。
論文 参考訳（メタデータ） (2023-09-07T01:39:02Z) - FedDefender: Client-Side Attack-Tolerant Federated Learning [60.576073964874]
フェデレーション学習は、プライバシを損なうことなく、分散化されたデータソースからの学習を可能にする。
悪意のあるクライアントがトレーニングプロセスに干渉する、毒殺攻撃のモデル化には脆弱である。
我々はFedDefenderと呼ばれるクライアントサイドに焦点を当てた新しい防御機構を提案し、クライアントの堅牢なローカルモデルのトレーニングを支援する。
論文 参考訳（メタデータ） (2023-07-18T08:00:41Z) - Robust Quantity-Aware Aggregation for Federated Learning [72.59915691824624]
悪意のあるクライアントは、モデル更新を害し、モデルアグリゲーションにおけるモデル更新の影響を増幅するために大量の要求を行う。
FLの既存の防御メソッドは、悪意のあるモデル更新を処理する一方で、すべての量の良性を扱うか、単にすべてのクライアントの量を無視/停止するだけである。
本稿では,フェデレーション学習のためのロバストな量認識アグリゲーションアルゴリズムであるFedRAを提案し,局所的なデータ量を認識してアグリゲーションを行う。
論文 参考訳（メタデータ） (2022-05-22T15:13:23Z) - PRECAD: Privacy-Preserving and Robust Federated Learning via
Crypto-Aided Differential Privacy [14.678119872268198]
フェデレートラーニング(FL)は、複数の参加するクライアントがデータセットをローカルに保持し、モデル更新のみを交換することで、機械学習モデルを協調的にトレーニングすることを可能にする。
既存のFLプロトコルの設計は、データのプライバシやモデルの堅牢性を損なうような攻撃に対して脆弱であることが示されている。
我々はPreCADと呼ばれるフレームワークを開発し、同時に差分プライバシー(DP)を実現し、暗号の助けを借りてモデル中毒攻撃に対する堅牢性を高める。
論文 参考訳（メタデータ） (2021-10-22T04:08:42Z) - Secure Byzantine-Robust Distributed Learning via Clustering [16.85310886805588]
ビザンチンの堅牢性とプライバシを共同で保護するフェデレーション学習システムは、依然としてオープンな問題である。
本研究では,クライアントのプライバシーとロバスト性を同時に保持する分散学習フレームワークであるSHAREを提案する。
論文 参考訳（メタデータ） (2021-10-06T17:40:26Z) - RoFL: Attestable Robustness for Secure Federated Learning [59.63865074749391]
フェデレートラーニング(Federated Learning)により、多数のクライアントが、プライベートデータを共有することなく、ジョイントモデルをトレーニングできる。
クライアントのアップデートの機密性を保証するため、フェデレートラーニングシステムはセキュアなアグリゲーションを採用している。
悪意のあるクライアントに対する堅牢性を向上させるセキュアなフェデレート学習システムであるRoFLを提案する。
論文 参考訳（メタデータ） (2021-07-07T15:42:49Z) - Towards Bidirectional Protection in Federated Learning [70.36925233356335]
F2ED-LEARNINGは、悪意のある集中型サーバとビザンティンの悪意のあるクライアントに対して双方向の防御を提供する。
F2ED-LEARNINGは各シャードの更新を安全に集約し、異なるシャードからの更新に対してFilterL2を起動する。
評価の結果,F2ED-LEARNing は最適あるいは最適に近い性能が得られることがわかった。
論文 参考訳（メタデータ） (2020-10-02T19:37:02Z) - Byzantine-resilient Decentralized Stochastic Gradient Descent [85.15773446094576]
分散学習システムのビザンチンレジリエンスに関する詳細な研究について述べる。
ビザンチンフォールトトレランスを用いた分散学習を支援する新しいアルゴリズムUBARを提案する。
論文 参考訳（メタデータ） (2020-02-20T05:11:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。