論文の概要: DP-BREM: Differentially-Private and Byzantine-Robust Federated Learning with Client Momentum

• arxiv url: http://arxiv.org/abs/2306.12608v3
• Date: Sun, 8 Sep 2024 21:11:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-11 04:13:49.984009
• Title: DP-BREM: Differentially-Private and Byzantine-Robust Federated Learning with Client Momentum
• Title（参考訳）: DP-BREM:クライアントモメンタムを用いた差分学習とビザンチン・ロバスト・フェデレーション学習
• Authors: Xiaolan Gu, Ming Li, Li Xiong,
• Abstract要約: フェデレートラーニング(FL)は、複数の参加するクライアントが機械学習モデルを協調的にトレーニングすることを可能にする。 既存のFLプロトコルは、データのプライバシやモデルの堅牢性を損なうような攻撃に対して脆弱である。 我々は,クロスサイロFLにおける差分プライバシ(DP)とビザンチンの堅牢性を同時に達成することに注力する。
• 参考スコア（独自算出の注目度）: 11.68347496182345
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated Learning (FL) allows multiple participating clients to train machine learning models collaboratively while keeping their datasets local and only exchanging the gradient or model updates with a coordinating server. Existing FL protocols are vulnerable to attacks that aim to compromise data privacy and/or model robustness. Recently proposed defenses focused on ensuring either privacy or robustness, but not both. In this paper, we focus on simultaneously achieving differential privacy (DP) and Byzantine robustness for cross-silo FL, based on the idea of learning from history. The robustness is achieved via client momentum, which averages the updates of each client over time, thus reducing the variance of the honest clients and exposing the small malicious perturbations of Byzantine clients that are undetectable in a single round but accumulate over time. In our initial solution DP-BREM, DP is achieved by adding noise to the aggregated momentum, and we account for the privacy cost from the momentum, which is different from the conventional DP-SGD that accounts for the privacy cost from the gradient. Since DP-BREM assumes a trusted server (who can obtain clients' local models or updates), we further develop the final solution called DP-BREM+, which achieves the same DP and robustness properties as DP-BREM without a trusted server by utilizing secure aggregation techniques, where DP noise is securely and jointly generated by the clients. Both theoretical analysis and experimental results demonstrate that our proposed protocols achieve better privacy-utility tradeoff and stronger Byzantine robustness than several baseline methods, under different DP budgets and attack settings.
• Abstract（参考訳）: フェデレートラーニング(FL)は、複数の参加するクライアントがデータセットをローカルに保ちながら、機械学習モデルを協調的にトレーニングすることを可能にする。 既存のFLプロトコルは、データのプライバシやモデルの堅牢性を損なうような攻撃に対して脆弱である。 最近提案された防衛策は、プライバシとロバスト性の両方を保証することに焦点を当てたが、両方ではない。 本稿では,歴史から学ぶという考え方に基づいて,差分プライバシ(DP)とビザンチン頑健性(Byzantine robustness)を同時に達成することに焦点を当てる。 この堅牢性はクライアントのモーメントによって達成され、これは各クライアントの更新時間の平均化によって、誠実なクライアントの分散を減らし、単一のラウンドでは検出できないが時間とともに蓄積するビザンティンクライアントの小さな悪意のある摂動を露呈する。 最初のソリューションであるDP-BREMでは、集約されたモーメントにノイズを加えることでDPを実現し、このモーメントからプライバシコストを考慮し、この勾配からプライバシコストを考慮に入れた従来のDP-SGDとは異なる。 DP-BREMは信頼性の高いサーバ(クライアントのローカルモデルや更新を入手できる)を仮定するため,クライアントがDPノイズを安全かつ共同生成するセキュアアグリゲーション技術を利用することで,DP-BREMとDP-BREMと同じDPとロバスト性を実現するDP-BREM+と呼ばれる最終ソリューションをさらに発展させる。 理論的解析および実験結果から,提案プロトコルは,DP予算や攻撃条件の異なる複数の基本手法よりも,より優れたプライバシ・ユーティリティ・トレードオフと強力なビザンチンロバスト性を達成できることが示されている。

関連論文リスト

• DMM: Distributed Matrix Mechanism for Differentially-Private Federated Learning using Packed Secret Sharing [51.336015600778396]
  フェデレーテッド・ラーニング(FL)は最近、産業とアカデミックの両方で多くの注目を集めています。 FLでは、機械学習モデルは、複数のラウンドにまたがって委員会に配置されたさまざまなエンドユーザのデータを使用して訓練される。 このようなデータは、しばしばセンシティブであるため、FLの主な課題は、モデルの実用性を維持しながらプライバシを提供することである。
  論文  参考訳（メタデータ） (2024-10-21T16:25:14Z)
• PriRoAgg: Achieving Robust Model Aggregation with Minimum Privacy Leakage for Federated Learning [49.916365792036636]
  フェデレートラーニング(FL)は、大規模分散ユーザデータを活用する可能性から、最近大きな勢いを増している。 送信されたモデル更新は、センシティブなユーザ情報をリークする可能性があり、ローカルなトレーニングプロセスの集中的な制御の欠如は、モデル更新に対する悪意のある操作の影響を受けやすいグローバルモデルを残します。 我々は、Lagrange符号化計算と分散ゼロ知識証明を利用した汎用フレームワークPriRoAggを開発し、集約されたプライバシを満たすとともに、幅広いロバストな集約アルゴリズムを実行する。
  論文  参考訳（メタデータ） (2024-07-12T03:18:08Z)
• Noise-Aware Algorithm for Heterogeneous Differentially Private Federated Learning [21.27813247914949]
  本稿では,クライアントモデル更新における真のノイズレベルを効率的に推定するRobust-HDPを提案する。 ユーティリティと収束速度を改善し、不正なプライバシパラメータをサーバに送信する可能性のあるクライアントに対して安全である。
  論文  参考訳（メタデータ） (2024-06-05T17:41:42Z)
• Byzantine-Robust Federated Learning with Variance Reduction and Differential Privacy [6.343100139647636]
  フェデレートラーニング(FL)は、モデルトレーニング中にデータのプライバシを保存するように設計されている。 FLはプライバシー攻撃やビザンツ攻撃に弱い。 本稿では,厳格なプライバシを保証するとともに,ビザンチン攻撃に対するシステムの堅牢性を同時に向上する新しいFLスキームを提案する。
  論文  参考訳（メタデータ） (2023-09-07T01:39:02Z)
• Mitigating Cross-client GANs-based Attack in Federated Learning [78.06700142712353]
  マルチ分散マルチメディアクライアントは、グローバル共有モデルの共同学習のために、フェデレートラーニング(FL)を利用することができる。 FLは、GAN(C-GANs)をベースとしたクロスクライアント・ジェネレーティブ・敵ネットワーク(GANs)攻撃に苦しむ。 C-GAN攻撃に抵抗する現在のFLスキームを改善するためのFed-EDKD手法を提案する。
  論文  参考訳（メタデータ） (2023-07-25T08:15:55Z)
• Blockchain-based Optimized Client Selection and Privacy Preserved Framework for Federated Learning [2.4201849657206496]
  フェデレートラーニング(Federated Learning)は、大規模ニューラルネットワークモデルをトレーニングする分散メカニズムで、複数のクライアントが参加する。 この機能により、フェデレーション学習はデータのプライバシー問題に対するセキュアなソリューションとみなされる。 ブロックチェーンベースの最適化クライアント選択とプライバシ保護フレームワークを提案しました。
  論文  参考訳（メタデータ） (2023-07-25T01:35:51Z)
• Robust Quantity-Aware Aggregation for Federated Learning [72.59915691824624]
  悪意のあるクライアントは、モデル更新を害し、モデルアグリゲーションにおけるモデル更新の影響を増幅するために大量の要求を行う。 FLの既存の防御メソッドは、悪意のあるモデル更新を処理する一方で、すべての量の良性を扱うか、単にすべてのクライアントの量を無視/停止するだけである。 本稿では,フェデレーション学習のためのロバストな量認識アグリゲーションアルゴリズムであるFedRAを提案し,局所的なデータ量を認識してアグリゲーションを行う。
  論文  参考訳（メタデータ） (2022-05-22T15:13:23Z)
• PRECAD: Privacy-Preserving and Robust Federated Learning via Crypto-Aided Differential Privacy [14.678119872268198]
  フェデレートラーニング(FL)は、複数の参加するクライアントがデータセットをローカルに保持し、モデル更新のみを交換することで、機械学習モデルを協調的にトレーニングすることを可能にする。 既存のFLプロトコルの設計は、データのプライバシやモデルの堅牢性を損なうような攻撃に対して脆弱であることが示されている。 我々はPreCADと呼ばれるフレームワークを開発し、同時に差分プライバシー(DP)を実現し、暗号の助けを借りてモデル中毒攻撃に対する堅牢性を高める。
  論文  参考訳（メタデータ） (2021-10-22T04:08:42Z)
• Understanding Clipping for Federated Learning: Convergence and Client-Level Differential Privacy [67.4471689755097]
  本稿では, 切断したFedAvgが, 実質的なデータ均一性でも驚くほど良好に動作できることを実証的に示す。 本稿では,差分プライベート(DP)FedAvgアルゴリズムの収束解析を行い,クリッピングバイアスとクライアント更新の分布との関係を明らかにする。
  論文  参考訳（メタデータ） (2021-06-25T14:47:19Z)
• Low-Latency Federated Learning over Wireless Channels with Differential Privacy [142.5983499872664]
  フェデレートラーニング(FL)では、モデルトレーニングはクライアントに分散し、ローカルモデルは中央サーバによって集約される。 本稿では,各クライアントの差分プライバシ(DP)要件だけでなく,全体としてのトレーニング性能に制約された無線チャネル上でのFLトレーニング遅延を最小限に抑えることを目的とする。
  論文  参考訳（メタデータ） (2021-06-20T13:51:18Z)
• Federated Learning with Sparsification-Amplified Privacy and Adaptive Optimization [27.243322019117144]
  フェデレートラーニング(FL)により、分散エージェントは、生データを互いに共有することなく、集中型モデルを共同で学習することができる。 スパーシフィケーションを増幅した新しいFLフレームワークを提案する。 提案手法では,ランダムなスペーシフィケーションと各エージェントの勾配摂動を統合し,プライバシー保証を増幅する。
  論文  参考訳（メタデータ） (2020-08-01T20:22:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。