論文の概要: Fed-GLOSS-DP: Federated, Global Learning using Synthetic Sets with Record Level Differential Privacy

• arxiv url: http://arxiv.org/abs/2302.01068v2
• Date: Thu, 1 Jun 2023 10:27:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-03 00:34:54.088276
• Title: Fed-GLOSS-DP: Federated, Global Learning using Synthetic Sets with Record Level Differential Privacy
• Title（参考訳）: Fed-GLOSS-DP: 最高レベルの差分プライバシーを持つ合成集合を用いたグローバル学習
• Authors: Hui-Po Wang, Dingfan Chen, Raouf Kerkouche, Mario Fritz
• Abstract要約: Fed-GLOSS-DPは、フェデレーション学習のための新しいプライバシー保護アプローチである。 我々の定式化は、クライアントから受信した合成サンプルを活用することで、グローバルな最適化を可能にします。 プライバシーの懸念が高まりつつある中で、私たちのアプローチがレコードレベルの差分プライバシーとシームレスに機能することを実証しています。
• 参考スコア（独自算出の注目度）: 62.45153213451055
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This work proposes Fed-GLOSS-DP, a novel privacy-preserving approach for federated learning. Unlike previous linear point-wise gradient-sharing schemes, such as FedAvg, our formulation enables a type of global optimization by leveraging synthetic samples received from clients. These synthetic samples, serving as loss surrogates, approximate local loss landscapes by simulating the utility of real images within a local region. We additionally introduce an approach to measure effective approximation regions reflecting the quality of the approximation. Therefore, the server can recover the global loss landscape and comprehensively optimize the model. Moreover, motivated by the emerging privacy concerns, we demonstrate that our approach seamlessly works with record-level differential privacy (DP), granting theoretical privacy guarantees for every data record on the clients. Extensive results validate the efficacy of our formulation on various datasets with highly skewed distributions. Our method consistently improves over the baselines, especially considering highly skewed distributions and noisy gradients due to DP. The source code will be released upon publication.
• Abstract（参考訳）: 本研究は,フェデレーション学習のための新しいプライバシ保護手法であるFed-GLOSS-DPを提案する。 fedavg のような従来の線形点方向勾配共有方式とは異なり、クライアントから受信した合成サンプルを活用し、大域的な最適化を実現する。 これらの合成サンプルは、損失サーロゲートとして機能し、局所領域内の実画像の有用性をシミュレートして、局所的損失景観を近似する。 また,近似の質を反映した効果的な近似領域の測定手法を提案する。 したがって、サーバはグローバルな損失状況を回復し、モデルを総合的に最適化することができる。 さらに,新たなプライバシの懸念に動機づけられて,当社のアプローチが記録レベルの差分プライバシ(dp)とシームレスに連携し,クライアント上のデータレコード毎に理論的プライバシ保証を付与できることを実証した。 その結果,高度に歪んだ分布を持つ各種データセットに対する定式化の有効性が検証された。 特にDPによる高歪分布と雑音勾配を考慮すると,本手法はベースラインを常に改善する。 ソースコードは公開時に公開される。

関連論文リスト

• DP$^2$-FedSAM: Enhancing Differentially Private Federated Learning Through Personalized Sharpness-Aware Minimization [8.022417295372492]
  Federated Learning(FL)は、複数のクライアントが生データを共有せずに、協調的にモデルをトレーニングできる分散機械学習アプローチである。 FLで共有されるモデル更新によって、センシティブな情報が推測されるのを防ぐために、差分プライベート・フェデレーション・ラーニング(DPFL)が提案されている。 DPFLは、共有モデル更新にランダムノイズを加えて、FLの形式的かつ厳格なプライバシ保護を保証する。 DP$2$-FedSAM: シャープネスを意識した個人化フェデレート学習を提案する。
  論文  参考訳（メタデータ） (2024-09-20T16:49:01Z)
• Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
  フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。 その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。 我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
  論文  参考訳（メタデータ） (2023-08-20T04:41:01Z)
• GIFD: A Generative Gradient Inversion Method with Feature Domain Optimization [52.55628139825667]
  Federated Learning(FL)は、クライアントのプライバシを保護するための有望な分散機械学習フレームワークとして登場した。 近年の研究では、事前学習された生成逆ネットワーク(GAN)を事前知識として活用することにより、攻撃者が共有勾配を逆転し、FLシステムに対する機密データを回復できることが示されている。 textbfGradient textbfInversion over textbfFeature textbfDomains (GIFD)を提案する。
  論文  参考訳（メタデータ） (2023-08-09T04:34:21Z)
• PS-FedGAN: An Efficient Federated Learning Framework Based on Partially Shared Generative Adversarial Networks For Data Privacy [56.347786940414935]
  分散計算のための効果的な学習パラダイムとして、フェデレートラーニング(FL)が登場した。 本研究は,部分的なGANモデル共有のみを必要とする新しいFLフレームワークを提案する。 PS-FedGANと名付けられたこの新しいフレームワークは、異種データ分散に対処するためのGANリリースおよびトレーニングメカニズムを強化する。
  論文  参考訳（メタデータ） (2023-05-19T05:39:40Z)
• Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
  本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
  論文  参考訳（メタデータ） (2023-05-01T20:04:46Z)
• Balancing Privacy Protection and Interpretability in Federated Learning [8.759803233734624]
  フェデレートラーニング(FL)は、ローカルクライアントから中央サーバにモデルパラメータを共有することで、グローバルモデルを分散的にトレーニングすることを目的としている。 近年の研究では、FLは情報漏洩に悩まされており、敵はローカルクライアントから共有パラメータを解析してトレーニングデータを回復しようとする。 本稿では,FLにおけるクライアントモデルの勾配に雑音を選択的に追加する,単純かつ効果的な適応型微分プライバシー(ADP)機構を提案する。
  論文  参考訳（メタデータ） (2023-02-16T02:58:22Z)
• Sparse Federated Learning with Hierarchical Personalized Models [24.763028713043468]
  フェデレートラーニング(FL)は、ユーザのプライベートデータを収集することなく、プライバシセーフで信頼性の高い協調トレーニングを実現する。 階層型パーソナライズされたモデルを用いたスパースフェデレーション学習(sFedHP)という,モロー包絡に基づく階層型近位写像を用いたパーソナライズされたFLアルゴリズムを提案する。 また、連続的に微分可能な近似L1ノルムをスパース制約として使用して通信コストを低減させる。
  論文  参考訳（メタデータ） (2022-03-25T09:06:42Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)
• Federated Learning with Sparsification-Amplified Privacy and Adaptive Optimization [27.243322019117144]
  フェデレートラーニング(FL)により、分散エージェントは、生データを互いに共有することなく、集中型モデルを共同で学習することができる。 スパーシフィケーションを増幅した新しいFLフレームワークを提案する。 提案手法では,ランダムなスペーシフィケーションと各エージェントの勾配摂動を統合し,プライバシー保証を増幅する。
  論文  参考訳（メタデータ） (2020-08-01T20:22:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。