論文の概要: ULDP-FL: Federated Learning with Across Silo User-Level Differential Privacy

• arxiv url: http://arxiv.org/abs/2308.12210v2
• Date: Mon, 1 Jan 2024 15:52:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-03 01:43:08.130955
• Title: ULDP-FL: Federated Learning with Across Silo User-Level Differential Privacy
• Title（参考訳）: ULDP-FL:サイロユーザレベル差分プライバシーに関するフェデレーション学習
• Authors: Fumiyuki Kato, Li Xiong, Shun Takagi, Yang Cao, Masatoshi Yoshikawa
• Abstract要約: Differentially Private Federated Learning (DP-FL)は、正式なプライバシを保証するための協調的な機械学習アプローチとして注目を集めている。 Uldp-FLは,単一ユーザのデータが複数のサイロに属する可能性のあるクロスサイロFLにおいて,ユーザレベルのDPを保証するように設計された,新しいFLフレームワークである。
• 参考スコア（独自算出の注目度）: 20.402678975554053
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Differentially Private Federated Learning (DP-FL) has garnered attention as a collaborative machine learning approach that ensures formal privacy. Most DP-FL approaches ensure DP at the record-level within each silo for cross-silo FL. However, a single user's data may extend across multiple silos, and the desired user-level DP guarantee for such a setting remains unknown. In this study, we present Uldp-FL, a novel FL framework designed to guarantee user-level DP in cross-silo FL where a single user's data may belong to multiple silos. Our proposed algorithm directly ensures user-level DP through per-user weighted clipping, departing from group-privacy approaches. We provide a theoretical analysis of the algorithm's privacy and utility. Additionally, we enhance the utility of the proposed algorithm with an enhanced weighting strategy based on user record distribution and design a novel private protocol that ensures no additional information is revealed to the silos and the server. Experiments on real-world datasets show substantial improvements in our methods in privacy-utility trade-offs under user-level DP compared to baseline methods. To the best of our knowledge, our work is the first FL framework that effectively provides user-level DP in the general cross-silo FL setting.
• Abstract（参考訳）: Differentially Private Federated Learning (DP-FL)は、正式なプライバシを保証するための協調機械学習アプローチとして注目を集めている。 ほとんどのDP-FLアプローチは、各サイロ内のレコードレベルにおいて、クロスサイロFLに対してDPを保証する。 しかし、単一のユーザのデータは複数のサイロにまたがって拡張される可能性があり、そのような設定に対するユーザレベルのDP保証は依然として不明である。 本研究では,単一ユーザのデータが複数のサイロに属する可能性のあるクロスサイロFLにおいて,ユーザレベルのDPを保証するための新しいFLフレームワークUldp-FLを提案する。 提案アルゴリズムは,グループプライバシアプローチから外れた,ユーザ単位のクリッピングによるユーザレベルDPを直接保証する。 アルゴリズムのプライバシーと実用性に関する理論的分析を行う。 さらに,ユーザレコード分布に基づく重み付け戦略を改良し,サイロとサーバに付加的な情報が明らかにされないような新しいプライベートプロトコルを設計することで,提案アルゴリズムの有用性を向上する。 実世界のデータセットを用いた実験では,ユーザレベルのDPの下でのプライバシ・ユーティリティ・トレードオフにおいて,ベースライン方式に比べて大幅に改善されている。 我々の知る限り、私たちの研究は、一般のクロスサイロFL設定において、ユーザレベルのDPを効果的に提供する最初のFLフレームワークです。

関連論文リスト

• DMM: Distributed Matrix Mechanism for Differentially-Private Federated Learning using Packed Secret Sharing [51.336015600778396]
  フェデレーテッド・ラーニング(FL)は最近、産業とアカデミックの両方で多くの注目を集めています。 FLでは、機械学習モデルは、複数のラウンドにまたがって委員会に配置されたさまざまなエンドユーザのデータを使用して訓練される。 このようなデータは、しばしばセンシティブであるため、FLの主な課題は、モデルの実用性を維持しながらプライバシを提供することである。
  論文  参考訳（メタデータ） (2024-10-21T16:25:14Z)
• Mind the Privacy Unit! User-Level Differential Privacy for Language Model Fine-Tuning [62.224804688233]
  差分プライバシ(DP)は、モデルが特定のプライバシユニットで「ほとんど区別できない」ことを保証することで、有望なソリューションを提供する。 ユーザ間でのプライバシー保護の確保に必要なアプリケーションによって動機づけられたユーザレベルのDPについて検討する。
  論文  参考訳（メタデータ） (2024-06-20T13:54:32Z)
• FedLAP-DP: Federated Learning by Sharing Differentially Private Loss Approximations [53.268801169075836]
  我々は,フェデレーション学習のための新しいプライバシ保護手法であるFedLAP-DPを提案する。 公式なプライバシー分析は、FedLAP-DPが典型的な勾配共有方式と同じプライバシーコストを発生させることを示している。 提案手法は, 通常の勾配共有法に比べて高速な収束速度を示す。
  論文  参考訳（メタデータ） (2023-02-02T12:56:46Z)
• On Privacy and Personalization in Cross-Silo Federated Learning [39.031422430404405]
  本研究では,クロスサイロ学習(FL)における差分プライバシーの適用について考察する。 平均正規化マルチタスク学習(MR-MTL)がクロスサイロFLの強力なベースラインであることを示す。 平均推定問題に対するMR-MTLの理論的評価とともに,競合する手法の徹底的な実証研究を行った。
  論文  参考訳（メタデータ） (2022-06-16T03:26:48Z)
• Subject Granular Differential Privacy in Federated Learning [2.9439848714137447]
  本稿では,各フェデレーションユーザに対して,主観レベルDPを局所的に適用する2つの新しいアルゴリズムを提案する。 我々の最初のアルゴリズムはLocalGroupDPと呼ばれ、人気のあるDP-SGDアルゴリズムにおけるグループ差分プライバシーの簡単な応用である。 第2のアルゴリズムは、トレーニングミニバッチに参加する被験者を対象とした階層的勾配平均化(HiGradAvgDP)という新しいアイデアに基づいている。
  論文  参考訳（メタデータ） (2022-06-07T23:54:36Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)
• Differentially Private Federated Learning on Heterogeneous Data [10.431137628048356]
  フェデレートラーニング(Federated Learning、FL)は、大規模分散ラーニングのパラダイムである。 i)高度に異質なユーザデータからの効率的なトレーニング、(ii)参加ユーザのプライバシ保護という2つの大きな課題に直面しています。 本稿では,差分プライバシー(DP)制約を取り入れた新しいFL手法を提案する。
  論文  参考訳（メタデータ） (2021-11-17T18:23:49Z)
• Differentially Private Federated Bayesian Optimization with Distributed Exploration [48.9049546219643]
  我々は、DPを反復アルゴリズムに追加するための一般的なフレームワークを通じて、ディープニューラルネットワークのトレーニングに差分プライバシ(DP)を導入する。 DP-FTS-DEは高い実用性(競争性能)と高いプライバシー保証を実現する。 また,DP-FTS-DEがプライバシとユーティリティのトレードオフを引き起こすことを示すために,実世界の実験も行っている。
  論文  参考訳（メタデータ） (2021-10-27T04:11:06Z)
• Voting-based Approaches For Differentially Private Federated Learning [87.2255217230752]
  この研究はPapernotらによる非フェデレーションプライバシ学習の知識伝達にインスパイアされている。 我々は,各局所モデルから返されるデータラベル間で投票を行うことで,勾配を平均化する代わりに2つの新しいDPFLスキームを設計する。 我々のアプローチはDPFLの最先端技術に対するプライバシーとユーティリティのトレードオフを大幅に改善します。
  論文  参考訳（メタデータ） (2020-10-09T23:55:19Z)
• Federated Learning with Sparsification-Amplified Privacy and Adaptive Optimization [27.243322019117144]
  フェデレートラーニング(FL)により、分散エージェントは、生データを互いに共有することなく、集中型モデルを共同で学習することができる。 スパーシフィケーションを増幅した新しいFLフレームワークを提案する。 提案手法では,ランダムなスペーシフィケーションと各エージェントの勾配摂動を統合し,プライバシー保証を増幅する。
  論文  参考訳（メタデータ） (2020-08-01T20:22:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。