Fugu-MT 論文翻訳(概要): FeO2: Federated Learning with Opt-Out Differential Privacy

論文の概要: FeO2: Federated Learning with Opt-Out Differential Privacy

arxiv url: http://arxiv.org/abs/2110.15252v1
Date: Thu, 28 Oct 2021 16:08:18 GMT
ステータス: 処理完了
システム内更新日: 2021-10-29 14:48:17.608840
Title: FeO2: Federated Learning with Opt-Out Differential Privacy
Title（参考訳）: FeO2: Opt-Out差分プライバシーによるフェデレーション学習
Authors: Nasser Aldaghri, Hessam Mahdavifar, Ahmad Beirami
Abstract要約: フェデレートラーニング(FL)は、クライアントデータをローカルに保ちながら、グローバルモデルを中央サーバでトレーニングする、新たなプライバシ保護パラダイムである。差分プライバシー(DP)はFL内でのプライバシー保証を提供するために用いられる。本稿では,emphFeO2と呼ばれるオプトアウトDPを用いたフェデレーション学習のための新しいアルゴリズムを提案する。
参考スコア（独自算出の注目度）: 34.08435990347253
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Federated learning (FL) is an emerging privacy-preserving paradigm, where a global model is trained at a central server while keeping client data local. However, FL can still indirectly leak private client information through model updates during training. Differential privacy (DP) can be employed to provide privacy guarantees within FL, typically at the cost of degraded final trained model. In this work, we consider a heterogeneous DP setup where clients are considered private by default, but some might choose to opt out of DP. We propose a new algorithm for federated learning with opt-out DP, referred to as \emph{FeO2}, along with a discussion on its advantages compared to the baselines of private and personalized FL algorithms. We prove that the server-side and client-side procedures in \emph{FeO2} are optimal for a simplified linear problem. We also analyze the incentive for opting out of DP in terms of performance gain. Through numerical experiments, we show that \emph{FeO2} provides up to $9.27\%$ performance gain in the global model compared to the baseline DP FL for the considered datasets. Additionally, we show a gap in the average performance of personalized models between non-private and private clients of up to $3.49\%$, empirically illustrating an incentive for clients to opt out.
Abstract（参考訳）: フェデレートラーニング(FL)は、クライアントデータをローカルに保ちながら、グローバルモデルを中央サーバでトレーニングする、新たなプライバシ保護パラダイムである。しかし、flはトレーニング中のモデル更新を通じて、間接的にプライベートクライアント情報を漏洩することができる。差分プライバシー(DP)はFL内でのプライバシー保証を提供するために用いられる。本研究では、クライアントをデフォルトでプライベートとみなす不均一なDP設定を検討するが、DPからオプトアウトを選択する人もいる。提案手法は,プライベートおよびパーソナライズされた fl アルゴリズムのベースラインと比較して,そのアドバンテージに関する議論とともに,オプトアウト dp を用いたフェデレーション学習のための新しいアルゴリズムを提案する。単純化された線形問題に対して, サーバ側およびクライアント側プロシージャが最適であることを示す。また、パフォーマンス向上の観点から、DPのオプトアウトに対するインセンティブも分析する。数値実験により, 検討したデータセットのベースラインDP FLと比較して, グローバルモデルで最大9.27 %の性能向上が得られることを示した。さらに、非プライベートおよびプライベートクライアント間のパーソナライズされたモデルの平均パフォーマンスのギャップを最大3.49セントで示し、クライアントがオプトアウトするインセンティブを実証的に示している。

関連論文リスト

The Power of Bias: Optimizing Client Selection in Federated Learning with Heterogeneous Differential Privacy [38.55420329607416]
データ品質とDPノイズの影響は、クライアントを選択する際に考慮する必要がある。実データセットを凸損失関数と非凸損失関数の両方で実験する。
論文参考訳（メタデータ） (2024-08-16T10:19:27Z)
DP-DyLoRA: Fine-Tuning Transformer-Based Models On-Device under Differentially Private Federated Learning using Dynamic Low-Rank Adaptation [15.023077875990614]
フェデレートラーニング(FL)は、クライアントがローカルデータをサーバと共有することなく、グローバルモデルを協調的にトレーニングすることを可能にする。差分プライバシ(DP)は、クライアントのコントリビューションにランダム性を加えるメカニズムを備えた、正式なプライバシ保証を提供することによって、そのようなリークに対処する。差分プライバシーと組み合わせてDP-DyLoRAと呼ぶ適応手法を提案する。
論文参考訳（メタデータ） (2024-05-10T10:10:37Z)
MAP: Model Aggregation and Personalization in Federated Learning with Incomplete Classes [49.22075916259368]
一部の実世界のアプリケーションでは、データサンプルは通常、ローカルデバイスに分散される。本稿では,クライアントが不完全なクラスを所有する特別なI.I.D.シーンに焦点を当てる。提案するMAPアルゴリズムは,FLにおけるアグリゲーションとパーソナライゼーションの目標を同時に達成できる。
論文参考訳（メタデータ） (2024-04-14T12:22:42Z)
Federated Learning with Differential Privacy for End-to-End Speech Recognition [41.53948098243563]
フェデレートラーニング(FL)は、機械学習モデルをトレーニングするための有望なアプローチとして登場した。自動音声認識(ASR)のための差分プライバシー(DP)をFLに適用する。ユーザレベル(7.2$, 10-9$)-$textbfDP$(resp.$4.5$, 10-9$)-$textbfDP$(resp.$4.5$, 10-9$)-$textbfDP$は1.3%(resp.4.6%)で、ASRのDPを持つ$textbfFLの高(resp.low)集団スケールに対する外挿のための単語エラー率を絶対的に低下させる。
論文参考訳（メタデータ） (2023-09-29T19:11:49Z)
Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。本稿では,FedInsという新しいFLアルゴリズムを提案する。我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文参考訳（メタデータ） (2023-08-11T09:58:47Z)
Federated Learning of Shareable Bases for Personalization-Friendly Image Classification [54.72892987840267]
FedBasisは、いくつかの共有可能なベースモデルの集合を学習し、リニアに組み合わせて、クライアント用のパーソナライズされたモデルを形成することができる。具体的には、新しいクライアントの場合、モデルの重みではなく、小さな組み合わせ係数のみを学ぶ必要がある。また、FedBasisの有効性と適用性を示すために、画像分類のためのより実用的なPFLテストベッドを提案する。
論文参考訳（メタデータ） (2023-04-16T20:19:18Z)
Personalizing or Not: Dynamically Personalized Federated Learning with Incentives [37.42347737911428]
個人データを共有せずにパーソナライズされたモデルを学習するためのパーソナライズド・フェデレーション・ラーニング(FL)を提案する。パーソナライズレートは、パーソナライズされたモデルのトレーニングを希望する顧客の割合として測定され、フェデレーションされた設定に導入され、DyPFLを提案する。この技術は、クライアントがローカルモデルをパーソナライズすることへのインセンティブを与えると同時に、より優れたパフォーマンスでグローバルモデルを採用できるようにする。
論文参考訳（メタデータ） (2022-08-12T09:51:20Z)
Large Scale Transfer Learning for Differentially Private Image Classification [51.10365553035979]
Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。 DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
論文参考訳（メタデータ） (2022-05-06T01:22:20Z)
Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文参考訳（メタデータ） (2022-03-05T02:31:32Z)
PFA: Privacy-preserving Federated Adaptation for Effective Model Personalization [6.66389628571674]
フェデレートラーニング(FL)は、プライバシを改善した分散機械学習パラダイムとして普及している。本稿では,より優れたパーソナライズ結果を得るために,訓練されたモデルをフェデレーション方式で適応させることを目的とした,フェデレーション適応と呼ばれる新しい概念を提案する。 PFA(Privacy-preserving Federated Adaptation)を実現するフレームワークを提案する。
論文参考訳（メタデータ） (2021-03-02T08:07:34Z)
Blockchain Assisted Decentralized Federated Learning (BLADE-FL) with Lazy Clients [124.48732110742623]
フェデレートラーニング(FL)にブロックチェーンを統合する新しいフレームワークを提案する。 BLADE-FLは、プライバシー保護、改ざん抵抗、学習の効果的な協力の点で優れたパフォーマンスを持っている。遅延クライアントは、他人のトレーニングされたモデルを盗聴し、不正行為を隠すために人工的なノイズを加える。
論文参考訳（メタデータ） (2020-12-02T12:18:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。