論文の概要: Understanding Clipping for Federated Learning: Convergence and Client-Level Differential Privacy

• arxiv url: http://arxiv.org/abs/2106.13673v1
• Date: Fri, 25 Jun 2021 14:47:19 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-28 16:20:09.484135
• Title: Understanding Clipping for Federated Learning: Convergence and Client-Level Differential Privacy
• Title（参考訳）: フェデレーション学習のためのクリッピングの理解:収束とクライアントレベルの差分プライバシー
• Authors: Xinwei Zhang, Xiangyi Chen, Mingyi Hong, Zhiwei Steven Wu and Jinfeng Yi
• Abstract要約: 本稿では, 切断したFedAvgが, 実質的なデータ均一性でも驚くほど良好に動作できることを実証的に示す。 本稿では,差分プライベート(DP)FedAvgアルゴリズムの収束解析を行い,クリッピングバイアスとクライアント更新の分布との関係を明らかにする。
• 参考スコア（独自算出の注目度）: 67.4471689755097
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Providing privacy protection has been one of the primary motivations of Federated Learning (FL). Recently, there has been a line of work on incorporating the formal privacy notion of differential privacy with FL. To guarantee the client-level differential privacy in FL algorithms, the clients' transmitted model updates have to be clipped before adding privacy noise. Such clipping operation is substantially different from its counterpart of gradient clipping in the centralized differentially private SGD and has not been well-understood. In this paper, we first empirically demonstrate that the clipped FedAvg can perform surprisingly well even with substantial data heterogeneity when training neural networks, which is partly because the clients' updates become similar for several popular deep architectures. Based on this key observation, we provide the convergence analysis of a differential private (DP) FedAvg algorithm and highlight the relationship between clipping bias and the distribution of the clients' updates. To the best of our knowledge, this is the first work that rigorously investigates theoretical and empirical issues regarding the clipping operation in FL algorithms.
• Abstract（参考訳）: プライバシ保護の提供は、フェデレートラーニング(FL)の主要な動機の1つだ。 近年、差分プライバシーという形式的なプライバシー概念をFLに組み込むことに取り組んできた。 flアルゴリズムにおけるクライアントレベルのディファレンシャルプライバシを保証するためには、プライバシノイズを追加する前に、クライアントのモデル更新をクリップする必要がある。 このようなクリッピング操作は、偏微分プライベートSGDにおける勾配クリッピングとは大きく異なり、十分に理解されていない。 本稿では,ニューラルネットワークのトレーニングにおいて,有意なデータ不均一性を伴っても,カットしたFedAvgが驚くほど良好に動作可能であることを実証的に実証する。 このキーとなる観測に基づいて、差分プライベート(DP)のFedAvgアルゴリズムの収束解析を行い、クリッピングバイアスとクライアント更新の分布との関係を明らかにする。 私たちの知る限りでは、flアルゴリズムのクリッピング操作に関する理論的および経験的問題を厳格に調査するのはこれが初めてです。

関連論文リスト

• Accuracy-Privacy Trade-off in the Mitigation of Membership Inference Attack in Federated Learning [4.152322723065285]
  フェデレーション・ラーニング(FL)は、機械学習において顕著な方法として現れ、複数のクライアントがトレーニングデータをプライベートに保ちながら、協力してモデルを構築することを可能にすることで、プライバシ保護を強調している。 プライバシに重点を置いているにもかかわらず、FLモデルは、メンバーシップ推論攻撃(MIA)など、様々な攻撃を受けやすい。
  論文  参考訳（メタデータ） (2024-07-26T22:44:41Z)
• Provable Privacy Advantages of Decentralized Federated Learning via Distributed Optimization [16.418338197742287]
  フェデレートラーニング(FL)は、データのソースへの配置を可能にすることによって、データのプライバシを改善するために設計されたパラダイムとして登場した。 最近の知見は、分散FLは、集中型モデルよりも追加のプライバシやセキュリティ上のメリットを経験的に提供していないことを示唆している。 分散最適化をデプロイする際の分散FLは、プライバシー保護の強化を実証する。
  論文  参考訳（メタデータ） (2024-07-12T15:01:09Z)
• Initialization Matters: Privacy-Utility Analysis of Overparameterized Neural Networks [72.51255282371805]
  我々は、最悪の近傍データセット上でのモデル分布間のKLばらつきのプライバシー境界を証明した。 このKLプライバシー境界は、トレーニング中にモデルパラメータに対して期待される2乗勾配ノルムによって決定される。
  論文  参考訳（メタデータ） (2023-10-31T16:13:22Z)
• Privacy-preserving Federated Primal-dual Learning for Non-convex and Non-smooth Problems with Model Sparsification [51.04894019092156]
  FL(Federated Learning)は,FLオーケストレーション(PS)の下でクライアント上でモデルをトレーニングする,急速に成長する領域として認識されている。 本稿では,非滑らかなFL問題に対して,新しい一次分離アルゴリズムを提案し,保証する。 その独特な洞察力のある性質とその分析も提示される。
  論文  参考訳（メタデータ） (2023-10-30T14:15:47Z)
• FedPerm: Private and Robust Federated Learning by Parameter Permutation [2.406359246841227]
  Federated Learning(FL)は、相互に信頼できないクライアントが共通の機械学習モデルを共同でトレーニングできるようにする分散学習パラダイムである。 クライアントデータのプライバシはFLで最重要である。同時に、モデルが敵のクライアントからの攻撃から保護されなければならない。 我々は、データプライバシを増幅する新しいモデル内パラメータシャッフル技術と、クライアントのモデル更新の暗号化集約を可能にするPrivate Information Retrieval(PIR)ベースの技術を組み合わせることで、これらの問題に対処する新しいFLアルゴリズムであるFedPermを提案する。
  論文  参考訳（メタデータ） (2022-08-16T19:40:28Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• Do Gradient Inversion Attacks Make Federated Learning Unsafe? [70.0231254112197]
  フェデレートラーニング(FL)は、生データを共有することなく、AIモデルの協調トレーニングを可能にする。 モデル勾配からのディープニューラルネットワークの反転に関する最近の研究は、トレーニングデータの漏洩を防止するためのFLの安全性に関する懸念を提起した。 本研究では,本論文で提示されたこれらの攻撃が実際のFLユースケースでは実行不可能であることを示し,新たなベースライン攻撃を提供する。
  論文  参考訳（メタデータ） (2022-02-14T18:33:12Z)
• Stochastic Coded Federated Learning with Convergence and Privacy Guarantees [8.2189389638822]
  フェデレートラーニング(FL)は、プライバシを保存する分散機械学習フレームワークとして多くの注目を集めている。 本稿では、トラグラー問題を緩和するために、SCFL(Coded Federated Learning)というコード付きフェデレーション学習フレームワークを提案する。 我々は、相互情報差分プライバシー(MI-DP)によるプライバシー保証を特徴付け、連合学習における収束性能を分析する。
  論文  参考訳（メタデータ） (2022-01-25T04:43:29Z)
• Federated Deep Learning with Bayesian Privacy [28.99404058773532]
  フェデレートラーニング(FL)は、ユーザ間でプライベートデータを共有せずにモデルを協調的に学習することで、データのプライバシを保護することを目的としている。 ホモモルフィック暗号化(HE)ベースの手法は、セキュアなプライバシ保護を提供するが、非常に高い計算と通信のオーバーヘッドに悩まされる。 差分プライバシ(DP)を用いたディープラーニングは,複雑な管理コストで実践的な学習アルゴリズムとして実装された。
  論文  参考訳（メタデータ） (2021-09-27T12:48:40Z)
• Privacy-preserving Traffic Flow Prediction: A Federated Learning Approach [61.64006416975458]
  本稿では,フェデレート学習に基づくGated Recurrent Unit Neural Network Algorithm (FedGRU) というプライバシ保護機械学習手法を提案する。 FedGRUは、現在の集中学習方法と異なり、安全なパラメータアグリゲーション機構を通じて、普遍的な学習モデルを更新する。 FedGRUの予測精度は、先進的なディープラーニングモデルよりも90.96%高い。
  論文  参考訳（メタデータ） (2020-03-19T13:07:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。