論文の概要: FeO2: Federated Learning with Opt-Out Differential Privacy
- arxiv url: http://arxiv.org/abs/2110.15252v1
- Date: Thu, 28 Oct 2021 16:08:18 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-29 14:48:17.608840
- Title: FeO2: Federated Learning with Opt-Out Differential Privacy
- Title(参考訳): FeO2: Opt-Out差分プライバシーによるフェデレーション学習
- Authors: Nasser Aldaghri, Hessam Mahdavifar, Ahmad Beirami
- Abstract要約: フェデレートラーニング(FL)は、クライアントデータをローカルに保ちながら、グローバルモデルを中央サーバでトレーニングする、新たなプライバシ保護パラダイムである。
差分プライバシー(DP)はFL内でのプライバシー保証を提供するために用いられる。
本稿では,emphFeO2と呼ばれるオプトアウトDPを用いたフェデレーション学習のための新しいアルゴリズムを提案する。
- 参考スコア(独自算出の注目度): 34.08435990347253
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL) is an emerging privacy-preserving paradigm, where a
global model is trained at a central server while keeping client data local.
However, FL can still indirectly leak private client information through model
updates during training. Differential privacy (DP) can be employed to provide
privacy guarantees within FL, typically at the cost of degraded final trained
model. In this work, we consider a heterogeneous DP setup where clients are
considered private by default, but some might choose to opt out of DP. We
propose a new algorithm for federated learning with opt-out DP, referred to as
\emph{FeO2}, along with a discussion on its advantages compared to the
baselines of private and personalized FL algorithms. We prove that the
server-side and client-side procedures in \emph{FeO2} are optimal for a
simplified linear problem. We also analyze the incentive for opting out of DP
in terms of performance gain. Through numerical experiments, we show that
\emph{FeO2} provides up to $9.27\%$ performance gain in the global model
compared to the baseline DP FL for the considered datasets. Additionally, we
show a gap in the average performance of personalized models between
non-private and private clients of up to $3.49\%$, empirically illustrating an
incentive for clients to opt out.
- Abstract(参考訳): フェデレートラーニング(FL)は、クライアントデータをローカルに保ちながら、グローバルモデルを中央サーバでトレーニングする、新たなプライバシ保護パラダイムである。
しかし、flはトレーニング中のモデル更新を通じて、間接的にプライベートクライアント情報を漏洩することができる。
差分プライバシー(DP)はFL内でのプライバシー保証を提供するために用いられる。
本研究では、クライアントをデフォルトでプライベートとみなす不均一なDP設定を検討するが、DPからオプトアウトを選択する人もいる。
提案手法は,プライベートおよびパーソナライズされた fl アルゴリズムのベースラインと比較して,そのアドバンテージに関する議論とともに,オプトアウト dp を用いたフェデレーション学習のための新しいアルゴリズムを提案する。
単純化された線形問題に対して, サーバ側およびクライアント側プロシージャが最適であることを示す。
また、パフォーマンス向上の観点から、DPのオプトアウトに対するインセンティブも分析する。
数値実験により, 検討したデータセットのベースラインDP FLと比較して, グローバルモデルで最大9.27 %の性能向上が得られることを示した。
さらに、非プライベートおよびプライベートクライアント間のパーソナライズされたモデルの平均パフォーマンスのギャップを最大3.49セントで示し、クライアントがオプトアウトするインセンティブを実証的に示している。
関連論文リスト
- Clients Collaborate: Flexible Differentially Private Federated Learning
with Guaranteed Improvement of Utility-Privacy Trade-off [34.2117116062642]
我々は、モデルユーティリティとユーザプライバシのトレードオフを打つために、厳格なプライバシ保証を備えた新しいフェデレーション学習フレームワーク、FedCEOを紹介します。
グローバルなセマンティック空間を円滑にすることで,フェデCEOが破壊されたセマンティック情報を効果的に回復できることを示す。
異なるプライバシ設定の下で、大幅なパフォーマンス改善と厳格なプライバシ保証を観察する。
論文 参考訳(メタデータ) (2024-02-10T17:39:34Z) - Private Fine-tuning of Large Language Models with Zeroth-order
Optimization [54.24600476755372]
DP-ZO(DP-ZO)は、ゼロオーダー最適化を民営化し、トレーニングデータのプライバシを保存する、大規模言語モデルを微調整する新しい手法である。
DP-ZOは、SQuADから1000のトレーニングサンプルにOPT-66Bを微調整すると、プライバシが1,10-5)$-DPになるため、わずか1.86%のパフォーマンス低下を示す。
論文 参考訳(メタデータ) (2024-01-09T03:53:59Z) - Federated Learning with Differential Privacy for End-to-End Speech
Recognition [41.53948098243563]
フェデレートラーニング(FL)は、機械学習モデルをトレーニングするための有望なアプローチとして登場した。
自動音声認識(ASR)のための差分プライバシー(DP)をFLに適用する。
ユーザレベル(7.2$, 10-9$)-$textbfDP$(resp.$4.5$, 10-9$)-$textbfDP$(resp.$4.5$, 10-9$)-$textbfDP$は1.3%(resp.4.6%)で、ASRのDPを持つ$textbfFLの高(resp.low)集団スケールに対する外挿のための単語エラー率を絶対的に低下させる。
論文 参考訳(メタデータ) (2023-09-29T19:11:49Z) - Share Your Representation Only: Guaranteed Improvement of the
Privacy-Utility Tradeoff in Federated Learning [47.042811490685324]
この情報漏洩のリスクを減らし、最先端の差分プライベートアルゴリズムを使っても、無料ではない。
本稿では,異なるプライバシ保証を持つフェデレーションモデルにおいて,様々な当事者が協調的に洗練する表現学習の目的について考察する。
同じ小さなプライバシ予算の下で、以前の作業よりも大幅にパフォーマンスが向上するのを観察する。
論文 参考訳(メタデータ) (2023-09-11T14:46:55Z) - Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。
本稿では,FedInsという新しいFLアルゴリズムを提案する。
我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-08-11T09:58:47Z) - Federated Learning of Shareable Bases for Personalization-Friendly Image
Classification [54.72892987840267]
FedBasisは、いくつかの共有可能なベースモデルの集合を学習し、リニアに組み合わせて、クライアント用のパーソナライズされたモデルを形成することができる。
具体的には、新しいクライアントの場合、モデルの重みではなく、小さな組み合わせ係数のみを学ぶ必要がある。
また、FedBasisの有効性と適用性を示すために、画像分類のためのより実用的なPFLテストベッドを提案する。
論文 参考訳(メタデータ) (2023-04-16T20:19:18Z) - Personalizing or Not: Dynamically Personalized Federated Learning with
Incentives [37.42347737911428]
個人データを共有せずにパーソナライズされたモデルを学習するためのパーソナライズド・フェデレーション・ラーニング(FL)を提案する。
パーソナライズレートは、パーソナライズされたモデルのトレーニングを希望する顧客の割合として測定され、フェデレーションされた設定に導入され、DyPFLを提案する。
この技術は、クライアントがローカルモデルをパーソナライズすることへのインセンティブを与えると同時に、より優れたパフォーマンスでグローバルモデルを採用できるようにする。
論文 参考訳(メタデータ) (2022-08-12T09:51:20Z) - Large Scale Transfer Learning for Differentially Private Image
Classification [51.10365553035979]
Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。
DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。
この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
論文 参考訳(メタデータ) (2022-05-06T01:22:20Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳(メタデータ) (2022-03-05T02:31:32Z) - PFA: Privacy-preserving Federated Adaptation for Effective Model
Personalization [6.66389628571674]
フェデレートラーニング(FL)は、プライバシを改善した分散機械学習パラダイムとして普及している。
本稿では,より優れたパーソナライズ結果を得るために,訓練されたモデルをフェデレーション方式で適応させることを目的とした,フェデレーション適応と呼ばれる新しい概念を提案する。
PFA(Privacy-preserving Federated Adaptation)を実現するフレームワークを提案する。
論文 参考訳(メタデータ) (2021-03-02T08:07:34Z) - Blockchain Assisted Decentralized Federated Learning (BLADE-FL) with
Lazy Clients [124.48732110742623]
フェデレートラーニング(FL)にブロックチェーンを統合する新しいフレームワークを提案する。
BLADE-FLは、プライバシー保護、改ざん抵抗、学習の効果的な協力の点で優れたパフォーマンスを持っている。
遅延クライアントは、他人のトレーニングされたモデルを盗聴し、不正行為を隠すために人工的なノイズを加える。
論文 参考訳(メタデータ) (2020-12-02T12:18:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。