論文の概要: FedLAP-DP: Federated Learning by Sharing Differentially Private Loss
Approximations
- arxiv url: http://arxiv.org/abs/2302.01068v3
- Date: Tue, 17 Oct 2023 07:53:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-18 22:40:58.213959
- Title: FedLAP-DP: Federated Learning by Sharing Differentially Private Loss
Approximations
- Title(参考訳): FedLAP-DP: 個人的損失近似の共有によるフェデレートラーニング
- Authors: Hui-Po Wang, Dingfan Chen, Raouf Kerkouche, Mario Fritz
- Abstract要約: FedLAP-DPは、フェデレーション学習のための新しいプライバシー保護アプローチである。
我々の定式化は、クライアントから受信した合成サンプルを活用することで、グローバルな最適化を可能にします。
プライバシーの懸念が高まりつつある中で、私たちのアプローチがレコードレベルの差分プライバシーとシームレスに機能することを実証しています。
- 参考スコア(独自算出の注目度): 58.192338472631405
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This work proposes FedLAP-DP, a novel privacy-preserving approach for
federated learning. Unlike previous linear point-wise gradient-sharing schemes,
such as FedAvg, our formulation enables a type of global optimization by
leveraging synthetic samples received from clients. These synthetic samples,
serving as loss surrogates, approximate local loss landscapes by simulating the
utility of real images within a local region. We additionally introduce an
approach to measure effective approximation regions reflecting the quality of
the approximation. Therefore, the server can recover an approximation of the
global loss landscape and optimize the model globally. Moreover, motivated by
the emerging privacy concerns, we demonstrate that our approach seamlessly
works with record-level differential privacy (DP), granting theoretical privacy
guarantees for every data record on the clients. Extensive results validate the
efficacy of our formulation on various datasets with highly skewed
distributions. Our method consistently improves over the baselines, especially
considering highly skewed distributions and noisy gradients due to DP. The
source code and setup will be released upon publication.
- Abstract(参考訳): 本研究は,フェデレーション学習のための新しいプライバシ保護手法であるFedLAP-DPを提案する。
fedavg のような従来の線形点方向勾配共有方式とは異なり、クライアントから受信した合成サンプルを活用し、大域的な最適化を実現する。
これらの合成サンプルは、損失サーロゲートとして機能し、局所領域内の実画像の有用性をシミュレートして、局所的損失景観を近似する。
また,近似の質を反映した効果的な近似領域の測定手法を提案する。
したがって、サーバは、グローバルロスランドスケープの近似を回復し、モデルをグローバルに最適化することができる。
さらに,新たなプライバシの懸念に動機づけられて,当社のアプローチが記録レベルの差分プライバシ(dp)とシームレスに連携し,クライアント上のデータレコード毎に理論的プライバシ保証を付与できることを実証した。
その結果,高度に歪んだ分布を持つ各種データセットに対する定式化の有効性が検証された。
特にDPによる高歪分布と雑音勾配を考慮すると,本手法はベースラインを常に改善する。
ソースコードとセットアップは、公開時にリリースされる。
関連論文リスト
- FedLPA: Personalized One-shot Federated Learning with Layer-Wise
Posterior Aggregation [7.406222956685339]
ローカルクライアントからグローバルモデルへのトレーニングされたニューラルネットワークのワンショットアグリゲーションは、研究者の間で人気を集めている。
我々はFedLPAという名前のレイヤーワイズ後アグリゲーションを用いたワンショットアグリゲーション手法を提案する。
以上の結果から,FedLPAは最先端の手法よりも学習性能を著しく向上させることがわかった。
論文 参考訳(メタデータ) (2023-09-30T10:51:27Z) - Theoretically Principled Federated Learning for Balancing Privacy and
Utility [61.03993520243198]
モデルパラメータを歪ませることでプライバシを保護する保護機構の一般学習フレームワークを提案する。
フェデレートされた学習における各コミュニケーションラウンドにおいて、各クライアント上の各モデルパラメータに対して、パーソナライズされたユーティリティプライバシトレードオフを実現することができる。
論文 参考訳(メタデータ) (2023-05-24T13:44:02Z) - Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。
FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。
PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
論文 参考訳(メタデータ) (2023-05-01T20:04:46Z) - Federated Learning via Variational Bayesian Inference: Personalization,
Sparsity and Clustering [6.829317124629158]
Federated Learning(FL)は、分散機械学習をモデル化する有望なフレームワークである。
FLは異種データや限られたデータからの性能劣化に悩まされる。
pFedBayesとcFedBayesというクラスタリングFLモデルを提案する。
論文 参考訳(メタデータ) (2023-03-08T02:52:40Z) - Balancing Privacy Protection and Interpretability in Federated Learning [8.759803233734624]
フェデレートラーニング(FL)は、ローカルクライアントから中央サーバにモデルパラメータを共有することで、グローバルモデルを分散的にトレーニングすることを目的としている。
近年の研究では、FLは情報漏洩に悩まされており、敵はローカルクライアントから共有パラメータを解析してトレーニングデータを回復しようとする。
本稿では,FLにおけるクライアントモデルの勾配に雑音を選択的に追加する,単純かつ効果的な適応型微分プライバシー(ADP)機構を提案する。
論文 参考訳(メタデータ) (2023-02-16T02:58:22Z) - Federated Learning as Variational Inference: A Scalable Expectation
Propagation Approach [66.9033666087719]
本稿では,推論の視点を拡張し,フェデレート学習の変分推論の定式化について述べる。
我々は、FedEPを標準フェデレーション学習ベンチマークに適用し、収束速度と精度の両方において、強いベースラインを上回ります。
論文 参考訳(メタデータ) (2023-02-08T17:58:11Z) - CAFE: Learning to Condense Dataset by Aligning Features [72.99394941348757]
本稿ではCAFE(Aligning features)によるCondenseデータセットの新しいスキームを提案する。
このアプローチの核心は、さまざまなスケールにわたる実データと合成データから機能を整合させる効果的な戦略です。
提案したCAFEを様々なデータセットで検証し,概ね最先端技術であることを示す。
論文 参考訳(メタデータ) (2022-03-03T05:58:49Z) - Fair and Consistent Federated Learning [48.19977689926562]
フェデレートラーニング(FL)は、分散データソースから学習する能力に対する関心が高まっている。
本稿では,異なるローカルクライアント間で性能整合性とアルゴリズムフェアネスを協調的に検討するFLフレームワークを提案する。
論文 参考訳(メタデータ) (2021-08-19T01:56:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。