論文の概要: Fed-GLOSS-DP: Federated, Global Learning using Synthetic Sets with
Record Level Differential Privacy
- arxiv url: http://arxiv.org/abs/2302.01068v1
- Date: Thu, 2 Feb 2023 12:56:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-03 14:02:55.895555
- Title: Fed-GLOSS-DP: Federated, Global Learning using Synthetic Sets with
Record Level Differential Privacy
- Title(参考訳): Fed-GLOSS-DP: 最高レベルの差分プライバシーを持つ合成集合を用いたグローバル学習
- Authors: Hui-Po Wang, Dingfan Chen, Raouf Kerkouche, Mario Fritz
- Abstract要約: Fed-GLOSS-DPは、合成データを使用してフェデレーションモデルをトレーニングするプライバシー保護学習の新しいアプローチである。
従来の勾配に基づく線形近似とは対照的に、我々の定式化は大域最適化の種別を可能にする。
- 参考スコア(独自算出の注目度): 62.45153213451055
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This work proposes Fed-GLOSS-DP, a novel approach to privacy-preserving
learning that uses synthetic data to train federated models. In our approach,
the server recovers an approximation of the global loss landscape in a local
neighborhood based on synthetic samples received from the clients. In contrast
to previous, point-wise, gradient-based, linear approximation (such as FedAvg),
our formulation enables a type of global optimization that is particularly
beneficial in non-IID federated settings. We also present how it rigorously
complements record-level differential privacy. Extensive results show that our
novel formulation gives rise to considerable improvements in terms of
convergence speed and communication costs. We argue that our new approach to
federated learning can provide a potential path toward reconciling privacy and
accountability by sending differentially private, synthetic data instead of
gradient updates. The source code will be released upon publication.
- Abstract(参考訳): この研究は、フェデレーションモデルのトレーニングに合成データを使用するプライバシー保護学習の新しいアプローチであるFed-GLOSS-DPを提案する。
提案手法では,サーバがクライアントから受信した合成サンプルに基づいて,地域近郊のグローバル損失景観の近似を復元する。
従来の勾配に基づく線形近似(FedAvgなど)とは対照的に,我々の定式化は,非IIDフェデレーション設定において特に有益な大域的最適化を可能にする。
また、記録レベルのディファレンシャルプライバシを厳格に補完する方法も紹介する。
その結果,新たな定式化によって,収束速度や通信コストの面で大幅な改善がもたらされた。
当社のフェデレーション学習に対する新たなアプローチは,勾配更新ではなく,差動的にプライベートな合成データを送信することによって,プライバシと説明責任の調和への潜在的な道を開くものだ,と論じています。
ソースコードは公開時に公開される。
関連論文リスト
- FedLPA: Personalized One-shot Federated Learning with Layer-Wise
Posterior Aggregation [7.406222956685339]
ローカルクライアントからグローバルモデルへのトレーニングされたニューラルネットワークのワンショットアグリゲーションは、研究者の間で人気を集めている。
我々はFedLPAという名前のレイヤーワイズ後アグリゲーションを用いたワンショットアグリゲーション手法を提案する。
以上の結果から,FedLPAは最先端の手法よりも学習性能を著しく向上させることがわかった。
論文 参考訳(メタデータ) (2023-09-30T10:51:27Z) - Theoretically Principled Federated Learning for Balancing Privacy and
Utility [61.03993520243198]
モデルパラメータを歪ませることでプライバシを保護する保護機構の一般学習フレームワークを提案する。
フェデレートされた学習における各コミュニケーションラウンドにおいて、各クライアント上の各モデルパラメータに対して、パーソナライズされたユーティリティプライバシトレードオフを実現することができる。
論文 参考訳(メタデータ) (2023-05-24T13:44:02Z) - Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。
FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。
PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
論文 参考訳(メタデータ) (2023-05-01T20:04:46Z) - Federated Learning via Variational Bayesian Inference: Personalization,
Sparsity and Clustering [6.829317124629158]
Federated Learning(FL)は、分散機械学習をモデル化する有望なフレームワークである。
FLは異種データや限られたデータからの性能劣化に悩まされる。
pFedBayesとcFedBayesというクラスタリングFLモデルを提案する。
論文 参考訳(メタデータ) (2023-03-08T02:52:40Z) - Balancing Privacy Protection and Interpretability in Federated Learning [8.759803233734624]
フェデレートラーニング(FL)は、ローカルクライアントから中央サーバにモデルパラメータを共有することで、グローバルモデルを分散的にトレーニングすることを目的としている。
近年の研究では、FLは情報漏洩に悩まされており、敵はローカルクライアントから共有パラメータを解析してトレーニングデータを回復しようとする。
本稿では,FLにおけるクライアントモデルの勾配に雑音を選択的に追加する,単純かつ効果的な適応型微分プライバシー(ADP)機構を提案する。
論文 参考訳(メタデータ) (2023-02-16T02:58:22Z) - Federated Learning as Variational Inference: A Scalable Expectation
Propagation Approach [66.9033666087719]
本稿では,推論の視点を拡張し,フェデレート学習の変分推論の定式化について述べる。
我々は、FedEPを標準フェデレーション学習ベンチマークに適用し、収束速度と精度の両方において、強いベースラインを上回ります。
論文 参考訳(メタデータ) (2023-02-08T17:58:11Z) - CAFE: Learning to Condense Dataset by Aligning Features [72.99394941348757]
本稿ではCAFE(Aligning features)によるCondenseデータセットの新しいスキームを提案する。
このアプローチの核心は、さまざまなスケールにわたる実データと合成データから機能を整合させる効果的な戦略です。
提案したCAFEを様々なデータセットで検証し,概ね最先端技術であることを示す。
論文 参考訳(メタデータ) (2022-03-03T05:58:49Z) - Fair and Consistent Federated Learning [48.19977689926562]
フェデレートラーニング(FL)は、分散データソースから学習する能力に対する関心が高まっている。
本稿では,異なるローカルクライアント間で性能整合性とアルゴリズムフェアネスを協調的に検討するFLフレームワークを提案する。
論文 参考訳(メタデータ) (2021-08-19T01:56:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。