論文の概要: Subject Granular Differential Privacy in Federated Learning

• arxiv url: http://arxiv.org/abs/2206.03617v2
• Date: Thu, 15 Jun 2023 15:37:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-17 04:02:12.259945
• Title: Subject Granular Differential Privacy in Federated Learning
• Title（参考訳）: フェデレーション学習における対象粒界差分プライバシー
• Authors: Virendra J. Marathe and Pallika Kanani and Daniel W. Peterson and Guy Steele Jr
• Abstract要約: 本稿では,各フェデレーションユーザに対して,主観レベルDPを局所的に適用する2つの新しいアルゴリズムを提案する。 我々の最初のアルゴリズムはLocalGroupDPと呼ばれ、人気のあるDP-SGDアルゴリズムにおけるグループ差分プライバシーの簡単な応用である。 第2のアルゴリズムは、トレーニングミニバッチに参加する被験者を対象とした階層的勾配平均化(HiGradAvgDP)という新しいアイデアに基づいている。
• 参考スコア（独自算出の注目度）: 2.9439848714137447
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: This paper considers subject level privacy in the FL setting, where a subject is an individual whose private information is embodied by several data items either confined within a single federation user or distributed across multiple federation users. We propose two new algorithms that enforce subject level DP at each federation user locally. Our first algorithm, called LocalGroupDP, is a straightforward application of group differential privacy in the popular DP-SGD algorithm. Our second algorithm is based on a novel idea of hierarchical gradient averaging (HiGradAvgDP) for subjects participating in a training mini-batch. We also show that user level Local Differential Privacy (LDP) naturally guarantees subject level DP. We observe the problem of horizontal composition of subject level privacy loss in FL - subject level privacy loss incurred at individual users composes across the federation. We formally prove the subject level DP guarantee for our algorithms, and also show their effect on model utility loss. Our empirical evaluation on FEMNIST and Shakespeare datasets shows that LocalGroupDP delivers the best performance among our algorithms. However, its model utility lags behind that of models trained using a DP-SGD based algorithm that provides a weaker item level privacy guarantee. Privacy loss amplification due to subject sampling fractions and horizontal composition remain key challenges for model utility.
• Abstract（参考訳）: 本稿では,個人情報が単一のフェデレーションユーザ内に制限されたり,複数のフェデレーションユーザに分散されたりする複数のデータアイテムによって具現化された個人であるfl設定における主題レベルのプライバシについて考察する。 本稿では,各フェデレーションユーザに対して主題レベルdpを局所的に強制する2つの新しいアルゴリズムを提案する。 我々の最初のアルゴリズムはLocalGroupDPと呼ばれ、人気のあるDP-SGDアルゴリズムにおけるグループ差分プライバシーの簡単な応用である。 第2のアルゴリズムは,訓練ミニバッチに参加する被験者に対する階層的勾配平均化(higradavgdp)という新しいアイデアに基づいている。 また、ユーザレベルのローカル微分プライバシー(LDP)は、対象レベルのDPを自然に保証していることを示す。 FLにおける被写体レベルのプライバシ損失の水平構成の問題 - 個人ユーザがフェデレーション全体で発生した被写体レベルのプライバシ損失 - を観察する。 我々は,アルゴリズムの主観レベルDP保証を正式に証明し,実用性損失に対する効果を示す。 フェムニズムとシェークスピアのデータセットに対する経験的評価から,localgroupdpはアルゴリズムの中で最高のパフォーマンスを示している。 しかし、DP-SGDベースのアルゴリズムでトレーニングされたモデルの実用性は、アイテムレベルのプライバシ保証を弱めるために遅れている。 対象のサンプリング分数と水平合成によるプライバシ損失の増幅は、モデルユーティリティの重要な課題である。

関連論文リスト

• Mind the Privacy Unit! User-Level Differential Privacy for Language Model Fine-Tuning [62.224804688233]
  差分プライバシ(DP)は、モデルが特定のプライバシユニットで「ほとんど区別できない」ことを保証することで、有望なソリューションを提供する。 ユーザ間でのプライバシー保護の確保に必要なアプリケーションによって動機づけられたユーザレベルのDPについて検討する。
  論文  参考訳（メタデータ） (2024-06-20T13:54:32Z)
• ULDP-FL: Federated Learning with Across Silo User-Level Differential Privacy [19.017342515321918]
  Differentially Private Federated Learning (DP-FL)は、正式なプライバシを保証するための協調的な機械学習アプローチとして注目を集めている。 Uldp-FLは,単一ユーザのデータが複数のサイロに属する可能性のあるクロスサイロFLにおいて,ユーザレベルのDPを保証するように設計された,新しいFLフレームワークである。
  論文  参考訳（メタデータ） (2023-08-23T15:50:51Z)
• Fairness-aware Differentially Private Collaborative Filtering [22.815168994407358]
  協調フィルタリングに基づくアルゴリズムのための2段階フレームワークである textbfDP-Fair を提案する。 具体的には、差別的なプライバシメカニズムと公正な制約を組み合わせて、公正なレコメンデーションを確保しながらユーザのプライバシを保護する。
  論文  参考訳（メタデータ） (2023-03-16T17:44:39Z)
• FedLAP-DP: Federated Learning by Sharing Differentially Private Loss Approximations [53.268801169075836]
  我々は,フェデレーション学習のための新しいプライバシ保護手法であるFedLAP-DPを提案する。 公式なプライバシー分析は、FedLAP-DPが典型的な勾配共有方式と同じプライバシーコストを発生させることを示している。 提案手法は, 通常の勾配共有法に比べて高速な収束速度を示す。
  論文  参考訳（メタデータ） (2023-02-02T12:56:46Z)
• Differentially Private Federated Clustering over Non-IID Data [59.611244450530315]
  クラスタリングクラスタ(FedC)問題は、巨大なクライアント上に分散されたラベルなしデータサンプルを、サーバのオーケストレーションの下で有限のクライアントに正確に分割することを目的としている。 本稿では,DP-Fedと呼ばれる差分プライバシー収束手法を用いた新しいFedCアルゴリズムを提案する。 提案するDP-Fedの様々な属性は、プライバシー保護の理論的解析、特に非識別的かつ独立に分散された(非i.d.)データの場合において得られる。
  論文  参考訳（メタデータ） (2023-01-03T05:38:43Z)
• On Privacy and Personalization in Cross-Silo Federated Learning [39.031422430404405]
  本研究では,クロスサイロ学習(FL)における差分プライバシーの適用について考察する。 平均正規化マルチタスク学習(MR-MTL)がクロスサイロFLの強力なベースラインであることを示す。 平均推定問題に対するMR-MTLの理論的評価とともに,競合する手法の徹底的な実証研究を行った。
  論文  参考訳（メタデータ） (2022-06-16T03:26:48Z)
• Hierarchical Federated Learning with Privacy [22.392087447002567]
  フェデレーションラーニング(FL)では、フェデレーションされたクライアントにデータが残っており、中央アグリゲータと共有される勾配更新のみをプライベートと仮定した。 近年の研究では、勾配レベルのアクセスを持つ敵が推論および再構成攻撃を成功させる可能性が示されている。 本研究では,このようなトレードオフを階層的FL(HFL)を通じて緩和する第一歩を踏み出す。
  論文  参考訳（メタデータ） (2022-06-10T16:10:42Z)
• Privacy Amplification via Shuffling for Linear Contextual Bandits [51.94904361874446]
  ディファレンシャルプライバシ(DP)を用いた文脈線形バンディット問題について検討する。 プライバシのシャッフルモデルを利用して,JDP と LDP のプライバシ/ユーティリティトレードオフを実現することができることを示す。 以上の結果から,ローカルプライバシを保ちながらシャッフルモデルを活用することで,JDPとDPのトレードオフを得ることが可能であることが示唆された。
  論文  参考訳（メタデータ） (2021-12-11T15:23:28Z)
• Differentially Private Federated Learning on Heterogeneous Data [10.431137628048356]
  フェデレートラーニング(Federated Learning、FL)は、大規模分散ラーニングのパラダイムである。 i)高度に異質なユーザデータからの効率的なトレーニング、(ii)参加ユーザのプライバシ保護という2つの大きな課題に直面しています。 本稿では,差分プライバシー(DP)制約を取り入れた新しいFL手法を提案する。
  論文  参考訳（メタデータ） (2021-11-17T18:23:49Z)
• Differentially Private Federated Bayesian Optimization with Distributed Exploration [48.9049546219643]
  我々は、DPを反復アルゴリズムに追加するための一般的なフレームワークを通じて、ディープニューラルネットワークのトレーニングに差分プライバシ(DP)を導入する。 DP-FTS-DEは高い実用性(競争性能)と高いプライバシー保証を実現する。 また,DP-FTS-DEがプライバシとユーティリティのトレードオフを引き起こすことを示すために,実世界の実験も行っている。
  論文  参考訳（メタデータ） (2021-10-27T04:11:06Z)
• Private Reinforcement Learning with PAC and Regret Guarantees [69.4202374491817]
  エピソード強化学習(RL)のためのプライバシー保護探索ポリシーを設計する。 まず、共同微分プライバシー(JDP)の概念を用いた有意義なプライバシー定式化を提供する。 そこで我々は,強いPACと後悔境界を同時に達成し,JDP保証を享受する,プライベートな楽観主義に基づく学習アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2020-09-18T20:18:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。