論文の概要: Subject Granular Differential Privacy in Federated Learning
- arxiv url: http://arxiv.org/abs/2206.03617v1
- Date: Tue, 7 Jun 2022 23:54:36 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-09 14:34:55.904365
- Title: Subject Granular Differential Privacy in Federated Learning
- Title（参考訳）: フェデレーション学習における対象粒界差分プライバシー
- Authors: Virendra J. Marathe and Pallika Kanani
- Abstract要約: フェデレート学習における主観レベルDPを強制する3つの新しいアルゴリズムを提案する。
これらのアルゴリズムの2つは、それぞれユーザレベルのローカル・ディファレンシャル・プライバシ(LDP)とグループ・ディファレンシャル・プライバシ(グループ・ディファレンシャル・プライバシ)の概念に基づいている。
第3のアルゴリズムは、トレーニングミニバッチに参加する被験者のための階層的勾配平均化(HiGradAvgDP)という新しいアイデアに基づいている。
- 参考スコア（独自算出の注目度）: 0.7106986689736826
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: This paper introduces subject granular privacy in the Federated Learning (FL)
setting, where a subject is an individual whose private information is embodied
by several data items either confined within a single federation user or
distributed across multiple federation users. We formally define the notion of
subject level differential privacy for FL. We propose three new algorithms that
enforce subject level DP. Two of these algorithms are based on notions of user
level local differential privacy (LDP) and group differential privacy
respectively. The third algorithm is based on a novel idea of hierarchical
gradient averaging (HiGradAvgDP) for subjects participating in a training
mini-batch. We also introduce horizontal composition of privacy loss for a
subject across multiple federation users. We show that horizontal composition
is equivalent to sequential composition in the worst case. We prove the subject
level DP guarantee for all our algorithms and empirically analyze them using
the FEMNIST and Shakespeare datasets. Our evaluation shows that, of our three
algorithms, HiGradAvgDP delivers the best model performance, approaching that
of a model trained using a DP-SGD based algorithm that provides a weaker item
level privacy guarantee.
- Abstract（参考訳）: 本稿では,フェデレーション・ラーニング(FL)設定において,個人が個人情報を1つのフェデレーション・ユーザに限定するか,複数のフェデレーション・ユーザに分散した複数のデータ項目で具体化している場合の,詳細なプライバシーについて述べる。
FLの主観レベル差分プライバシーの概念を正式に定義する。
対象レベルdpを強制する3つの新しいアルゴリズムを提案する。
これらのアルゴリズムの2つは、それぞれユーザレベルのローカルディファレンシャルプライバシ(ldp)とグループディファレンシャルプライバシの概念に基づいている。
第3のアルゴリズムは、トレーニングミニバッチに参加する被験者のための階層的勾配平均化(HiGradAvgDP)という新しいアイデアに基づいている。
また,複数のフェデレーションユーザが対象とするプライバシ損失の水平構成についても紹介する。
その結果, 水平合成は最悪の場合, 逐次合成と等価であることがわかった。
FEMNIST とシェークスピアデータセットを用いて,全てのアルゴリズムに対して対象レベルのDPを保証することを実証する。
評価の結果,我々の3つのアルゴリズムのうち,higradavgdpは最高のモデル性能を提供し,dp-sgdベースのアルゴリズムでトレーニングされたモデルに近づくことで,項目レベルのプライバシ保証が弱くなることがわかった。
関連論文リスト
- A Stochastic Optimization Framework for Private and Fair Learning From Decentralized Data [14.748203847227542]
プライベート・フェア・フェデレーション・ラーニング(FL)のための新しいアルゴリズムを開発した。
我々のアルゴリズムは、サイロ間レコードレベル差分プライバシー(ISRL-DP)を満たす。
実験では、さまざまなプライバシレベルにわたるアルゴリズムのトレードオフとして、最先端の公正性・正確性フレームワークが実証されている。
論文 参考訳（メタデータ） (2024-11-12T15:51:35Z) - Mind the Privacy Unit! User-Level Differential Privacy for Language Model Fine-Tuning [62.224804688233]
差分プライバシ(DP)は、モデルが特定のプライバシユニットで「ほとんど区別できない」ことを保証することで、有望なソリューションを提供する。
ユーザ間でのプライバシー保護の確保に必要なアプリケーションによって動機づけられたユーザレベルのDPについて検討する。
論文 参考訳（メタデータ） (2024-06-20T13:54:32Z) - ULDP-FL: Federated Learning with Across Silo User-Level Differential Privacy [19.017342515321918]
Differentially Private Federated Learning (DP-FL)は、正式なプライバシを保証するための協調的な機械学習アプローチとして注目を集めている。
Uldp-FLは,単一ユーザのデータが複数のサイロに属する可能性のあるクロスサイロFLにおいて,ユーザレベルのDPを保証するように設計された,新しいFLフレームワークである。
論文 参考訳（メタデータ） (2023-08-23T15:50:51Z) - FedLAP-DP: Federated Learning by Sharing Differentially Private Loss Approximations [53.268801169075836]
我々は,フェデレーション学習のための新しいプライバシ保護手法であるFedLAP-DPを提案する。
公式なプライバシー分析は、FedLAP-DPが典型的な勾配共有方式と同じプライバシーコストを発生させることを示している。
提案手法は, 通常の勾配共有法に比べて高速な収束速度を示す。
論文 参考訳（メタデータ） (2023-02-02T12:56:46Z) - Differentially Private Federated Clustering over Non-IID Data [59.611244450530315]
クラスタリングクラスタ(FedC)問題は、巨大なクライアント上に分散されたラベルなしデータサンプルを、サーバのオーケストレーションの下で有限のクライアントに正確に分割することを目的としている。
本稿では,DP-Fedと呼ばれる差分プライバシー収束手法を用いた新しいFedCアルゴリズムを提案する。
提案するDP-Fedの様々な属性は、プライバシー保護の理論的解析、特に非識別的かつ独立に分散された(非i.d.)データの場合において得られる。
論文 参考訳（メタデータ） (2023-01-03T05:38:43Z) - On Privacy and Personalization in Cross-Silo Federated Learning [39.031422430404405]
本研究では,クロスサイロ学習(FL)における差分プライバシーの適用について考察する。
平均正規化マルチタスク学習(MR-MTL)がクロスサイロFLの強力なベースラインであることを示す。
平均推定問題に対するMR-MTLの理論的評価とともに,競合する手法の徹底的な実証研究を行った。
論文 参考訳（メタデータ） (2022-06-16T03:26:48Z) - Hierarchical Federated Learning with Privacy [22.392087447002567]
フェデレーションラーニング(FL)では、フェデレーションされたクライアントにデータが残っており、中央アグリゲータと共有される勾配更新のみをプライベートと仮定した。
近年の研究では、勾配レベルのアクセスを持つ敵が推論および再構成攻撃を成功させる可能性が示されている。
本研究では,このようなトレードオフを階層的FL(HFL)を通じて緩和する第一歩を踏み出す。
論文 参考訳（メタデータ） (2022-06-10T16:10:42Z) - Privacy Amplification via Shuffling for Linear Contextual Bandits [51.94904361874446]
ディファレンシャルプライバシ(DP)を用いた文脈線形バンディット問題について検討する。
プライバシのシャッフルモデルを利用して,JDP と LDP のプライバシ/ユーティリティトレードオフを実現することができることを示す。
以上の結果から,ローカルプライバシを保ちながらシャッフルモデルを活用することで,JDPとDPのトレードオフを得ることが可能であることが示唆された。
論文 参考訳（メタデータ） (2021-12-11T15:23:28Z) - Differentially Private Federated Learning on Heterogeneous Data [10.431137628048356]
フェデレートラーニング(Federated Learning、FL)は、大規模分散ラーニングのパラダイムである。
i)高度に異質なユーザデータからの効率的なトレーニング、(ii)参加ユーザのプライバシ保護という2つの大きな課題に直面しています。
本稿では,差分プライバシー(DP)制約を取り入れた新しいFL手法を提案する。
論文 参考訳（メタデータ） (2021-11-17T18:23:49Z) - Differentially Private Federated Bayesian Optimization with Distributed
Exploration [48.9049546219643]
我々は、DPを反復アルゴリズムに追加するための一般的なフレームワークを通じて、ディープニューラルネットワークのトレーニングに差分プライバシ(DP)を導入する。
DP-FTS-DEは高い実用性(競争性能)と高いプライバシー保証を実現する。
また,DP-FTS-DEがプライバシとユーティリティのトレードオフを引き起こすことを示すために,実世界の実験も行っている。
論文 参考訳（メタデータ） (2021-10-27T04:11:06Z) - Private Reinforcement Learning with PAC and Regret Guarantees [69.4202374491817]
エピソード強化学習(RL)のためのプライバシー保護探索ポリシーを設計する。
まず、共同微分プライバシー(JDP)の概念を用いた有意義なプライバシー定式化を提供する。
そこで我々は,強いPACと後悔境界を同時に達成し,JDP保証を享受する,プライベートな楽観主義に基づく学習アルゴリズムを開発した。
論文 参考訳（メタデータ） (2020-09-18T20:18:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。