論文の概要: ULDP-FL: Federated Learning with Across Silo User-Level Differential
Privacy
- arxiv url: http://arxiv.org/abs/2308.12210v2
- Date: Mon, 1 Jan 2024 15:52:04 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-03 01:43:08.130955
- Title: ULDP-FL: Federated Learning with Across Silo User-Level Differential
Privacy
- Title(参考訳): ULDP-FL:サイロユーザレベル差分プライバシーに関するフェデレーション学習
- Authors: Fumiyuki Kato, Li Xiong, Shun Takagi, Yang Cao, Masatoshi Yoshikawa
- Abstract要約: Differentially Private Federated Learning (DP-FL)は、正式なプライバシを保証するための協調的な機械学習アプローチとして注目を集めている。
Uldp-FLは,単一ユーザのデータが複数のサイロに属する可能性のあるクロスサイロFLにおいて,ユーザレベルのDPを保証するように設計された,新しいFLフレームワークである。
- 参考スコア(独自算出の注目度): 20.402678975554053
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Differentially Private Federated Learning (DP-FL) has garnered attention as a
collaborative machine learning approach that ensures formal privacy. Most DP-FL
approaches ensure DP at the record-level within each silo for cross-silo FL.
However, a single user's data may extend across multiple silos, and the desired
user-level DP guarantee for such a setting remains unknown. In this study, we
present Uldp-FL, a novel FL framework designed to guarantee user-level DP in
cross-silo FL where a single user's data may belong to multiple silos. Our
proposed algorithm directly ensures user-level DP through per-user weighted
clipping, departing from group-privacy approaches. We provide a theoretical
analysis of the algorithm's privacy and utility. Additionally, we enhance the
utility of the proposed algorithm with an enhanced weighting strategy based on
user record distribution and design a novel private protocol that ensures no
additional information is revealed to the silos and the server. Experiments on
real-world datasets show substantial improvements in our methods in
privacy-utility trade-offs under user-level DP compared to baseline methods. To
the best of our knowledge, our work is the first FL framework that effectively
provides user-level DP in the general cross-silo FL setting.
- Abstract(参考訳): Differentially Private Federated Learning (DP-FL)は、正式なプライバシを保証するための協調機械学習アプローチとして注目を集めている。
ほとんどのDP-FLアプローチは、各サイロ内のレコードレベルにおいて、クロスサイロFLに対してDPを保証する。
しかし、単一のユーザのデータは複数のサイロにまたがって拡張される可能性があり、そのような設定に対するユーザレベルのDP保証は依然として不明である。
本研究では,単一ユーザのデータが複数のサイロに属する可能性のあるクロスサイロFLにおいて,ユーザレベルのDPを保証するための新しいFLフレームワークUldp-FLを提案する。
提案アルゴリズムは,グループプライバシアプローチから外れた,ユーザ単位のクリッピングによるユーザレベルDPを直接保証する。
アルゴリズムのプライバシーと実用性に関する理論的分析を行う。
さらに,ユーザレコード分布に基づく重み付け戦略を改良し,サイロとサーバに付加的な情報が明らかにされないような新しいプライベートプロトコルを設計することで,提案アルゴリズムの有用性を向上する。
実世界のデータセットを用いた実験では,ユーザレベルのDPの下でのプライバシ・ユーティリティ・トレードオフにおいて,ベースライン方式に比べて大幅に改善されている。
我々の知る限り、私たちの研究は、一般のクロスサイロFL設定において、ユーザレベルのDPを効果的に提供する最初のFLフレームワークです。
関連論文リスト
- Differentially Private Wireless Federated Learning Using Orthogonal
Sequences [56.52483669820023]
本稿では,FLORAS と呼ばれる AirComp 法を提案する。
FLORASはアイテムレベルとクライアントレベルの差分プライバシー保証の両方を提供する。
新たなFL収束バウンダリが導出され、プライバシー保証と組み合わせることで、達成された収束率と差分プライバシーレベルのスムーズなトレードオフが可能になる。
論文 参考訳(メタデータ) (2023-06-14T06:35:10Z) - DPP-based Client Selection for Federated Learning with Non-IID Data [97.1195165400568]
本稿では,統合学習(FL)のコミュニケーションボトルネックに対処するクライアント選択(CS)手法を提案する。
まず、FLにおけるCSの効果を分析し、各学習ラウンドにおけるトレーニングデータセットの多様化に参加者を適切に選択することで、FLトレーニングを加速させることができることを示す。
我々は、データプロファイリングと決定点プロセス(DPP)サンプリング技術を活用し、DPPに基づく参加者選択(FL-DP$3$S)によるフェデレートラーニング(Federated Learning)と呼ばれるアルゴリズムを開発する。
論文 参考訳(メタデータ) (2023-03-30T13:14:54Z) - On Privacy and Personalization in Cross-Silo Federated Learning [39.031422430404405]
本研究では,クロスサイロ学習(FL)における差分プライバシーの適用について考察する。
平均正規化マルチタスク学習(MR-MTL)がクロスサイロFLの強力なベースラインであることを示す。
平均推定問題に対するMR-MTLの理論的評価とともに,競合する手法の徹底的な実証研究を行った。
論文 参考訳(メタデータ) (2022-06-16T03:26:48Z) - Subject Granular Differential Privacy in Federated Learning [2.9439848714137447]
本稿では,各フェデレーションユーザに対して,主観レベルDPを局所的に適用する2つの新しいアルゴリズムを提案する。
我々の最初のアルゴリズムはLocalGroupDPと呼ばれ、人気のあるDP-SGDアルゴリズムにおけるグループ差分プライバシーの簡単な応用である。
第2のアルゴリズムは、トレーニングミニバッチに参加する被験者を対象とした階層的勾配平均化(HiGradAvgDP)という新しいアイデアに基づいている。
論文 参考訳(メタデータ) (2022-06-07T23:54:36Z) - Local Learning Matters: Rethinking Data Heterogeneity in Federated
Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文 参考訳(メタデータ) (2021-11-28T19:03:39Z) - Differentially Private Federated Learning on Heterogeneous Data [10.431137628048356]
フェデレートラーニング(Federated Learning、FL)は、大規模分散ラーニングのパラダイムである。
i)高度に異質なユーザデータからの効率的なトレーニング、(ii)参加ユーザのプライバシ保護という2つの大きな課題に直面しています。
本稿では,差分プライバシー(DP)制約を取り入れた新しいFL手法を提案する。
論文 参考訳(メタデータ) (2021-11-17T18:23:49Z) - Differentially Private Federated Bayesian Optimization with Distributed
Exploration [48.9049546219643]
我々は、DPを反復アルゴリズムに追加するための一般的なフレームワークを通じて、ディープニューラルネットワークのトレーニングに差分プライバシ(DP)を導入する。
DP-FTS-DEは高い実用性(競争性能)と高いプライバシー保証を実現する。
また,DP-FTS-DEがプライバシとユーティリティのトレードオフを引き起こすことを示すために,実世界の実験も行っている。
論文 参考訳(メタデータ) (2021-10-27T04:11:06Z) - Voting-based Approaches For Differentially Private Federated Learning [87.2255217230752]
この研究はPapernotらによる非フェデレーションプライバシ学習の知識伝達にインスパイアされている。
我々は,各局所モデルから返されるデータラベル間で投票を行うことで,勾配を平均化する代わりに2つの新しいDPFLスキームを設計する。
我々のアプローチはDPFLの最先端技術に対するプライバシーとユーティリティのトレードオフを大幅に改善します。
論文 参考訳(メタデータ) (2020-10-09T23:55:19Z) - Federated Learning with Sparsification-Amplified Privacy and Adaptive
Optimization [27.243322019117144]
フェデレートラーニング(FL)により、分散エージェントは、生データを互いに共有することなく、集中型モデルを共同で学習することができる。
スパーシフィケーションを増幅した新しいFLフレームワークを提案する。
提案手法では,ランダムなスペーシフィケーションと各エージェントの勾配摂動を統合し,プライバシー保証を増幅する。
論文 参考訳(メタデータ) (2020-08-01T20:22:57Z) - User-Level Privacy-Preserving Federated Learning: Analysis and
Performance Optimization [77.43075255745389]
フェデレートラーニング(FL)は、データを有用なモデルにトレーニングしながら、モバイル端末(MT)からプライベートデータを保存することができる。
情報理論の観点からは、MTがアップロードした共有モデルから、好奇心の強いサーバがプライベートな情報を推測することが可能である。
サーバにアップロードする前に、共有モデルに人工ノイズを加えることで、ユーザレベルの差分プライバシー(UDP)アルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-02-29T10:13:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。