論文の概要: Differentially Private Federated Learning With Time-Adaptive Privacy Spending
- arxiv url: http://arxiv.org/abs/2502.18706v1
- Date: Tue, 25 Feb 2025 23:56:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-27 14:57:38.994072
- Title: Differentially Private Federated Learning With Time-Adaptive Privacy Spending
- Title（参考訳）: タイムアダプティブなプライバシ取引による個人的フェデレーション学習
- Authors: Shahrzad Kiani, Nupur Kulkarni, Adam Dziedzic, Stark Draper, Franziska Boenisch,
- Abstract要約: 差分プライバシ(DP)を備えたフェデレーションラーニング(FL)では、クライアントは厳格なプライバシ制約に固執しながら、共有モデルをトレーニングすることができる。
我々は、時間とクライアントの双方でプライバシー予算を不均一に超過する、時適応型DP-FLフレームワークを提案する。
当社のフレームワークは、各クライアントが早期ラウンドでプライバシ予算を節約し、より詳細な機能を学ぶ上でさらなる精度が有用である場合に、後ラウンドでより多くの時間を費やすことができるようにします。
- 参考スコア（独自算出の注目度）: 5.455913447568957
- License:
- Abstract: Federated learning (FL) with differential privacy (DP) provides a framework for collaborative machine learning, enabling clients to train a shared model while adhering to strict privacy constraints. The framework allows each client to have an individual privacy guarantee, e.g., by adding different amounts of noise to each client's model updates. One underlying assumption is that all clients spend their privacy budgets uniformly over time (learning rounds). However, it has been shown in the literature that learning in early rounds typically focuses on more coarse-grained features that can be learned at lower signal-to-noise ratios while later rounds learn fine-grained features that benefit from higher signal-to-noise ratios. Building on this intuition, we propose a time-adaptive DP-FL framework that expends the privacy budget non-uniformly across both time and clients. Our framework enables each client to save privacy budget in early rounds so as to be able to spend more in later rounds when additional accuracy is beneficial in learning more fine-grained features. We theoretically prove utility improvements in the case that clients with stricter privacy budgets spend budgets unevenly across rounds, compared to clients with more relaxed budgets, who have sufficient budgets to distribute their spend more evenly. Our practical experiments on standard benchmark datasets support our theoretical results and show that, in practice, our algorithms improve the privacy-utility trade-offs compared to baseline schemes.
- Abstract（参考訳）: 差分プライバシ(DP)を備えたフェデレーションラーニング(FL)は、クライアントが厳格なプライバシ制約に固執しながら、共有モデルのトレーニングを可能にする、コラボレーティブ機械学習のフレームワークを提供する。
このフレームワークにより、各クライアントは、例えば、各クライアントのモデル更新に異なる量のノイズを加えることで、個々のプライバシを保証することができる。
基本的な前提のひとつは、すべてのクライアントが、時間(学習ラウンド)とともに、自身のプライバシ予算を均一に使用する、ということです。
しかし、初期のラウンドでの学習は一般により粗い特徴に焦点が当てられ、より低い信号対雑音比で学習できる一方で、後のラウンドではより高い信号対雑音比から恩恵を受ける微細な特徴を学ぶことが文献で示されている。
この直感に基づいて、時間とクライアントの双方でプライバシー予算を不均一に超過する、時適応型DP-FLフレームワークを提案する。
当社のフレームワークは、各クライアントが早期ラウンドでプライバシ予算を節約し、より詳細な機能を学ぶ上でさらなる精度が有用である場合に、後ラウンドでより多くの時間を費やすことができるようにします。
より厳格なプライバシ予算を持つクライアントは、よりリラックスした予算を持つクライアントに比べて、ラウンド毎に不均一に予算を費やす場合、実用性の向上を理論的に証明します。
標準ベンチマークデータセットに関する実践的な実験は、我々の理論結果を支持し、実際、我々のアルゴリズムはベースライン方式と比較してプライバシーとユーティリティのトレードオフを改善していることを示す。
関連論文リスト
- Noise-Aware Algorithm for Heterogeneous Differentially Private Federated Learning [21.27813247914949]
本稿では,クライアントモデル更新における真のノイズレベルを効率的に推定するRobust-HDPを提案する。
ユーティリティと収束速度を改善し、不正なプライバシパラメータをサーバに送信する可能性のあるクライアントに対して安全である。
論文 参考訳（メタデータ） (2024-06-05T17:41:42Z) - Clients Collaborate: Flexible Differentially Private Federated Learning
with Guaranteed Improvement of Utility-Privacy Trade-off [34.2117116062642]
我々は、モデルユーティリティとユーザプライバシのトレードオフを打つために、厳格なプライバシ保証を備えた新しいフェデレーション学習フレームワーク、FedCEOを紹介します。
グローバルなセマンティック空間を円滑にすることで,フェデCEOが破壊されたセマンティック情報を効果的に回復できることを示す。
異なるプライバシ設定の下で、大幅なパフォーマンス改善と厳格なプライバシ保証を観察する。
論文 参考訳（メタデータ） (2024-02-10T17:39:34Z) - A Theoretical Analysis of Efficiency Constrained Utility-Privacy
Bi-Objective Optimization in Federated Learning [23.563789510998333]
フェデレートラーニング(FL)は、複数のクライアントが、個々のデータを共有せずに、共同で共有モデルを学ぶことを可能にする。
FLでは差別化プライバシが一般的なテクニックとして登場し、ユーティリティやトレーニング効率に影響を与えながら、個々のユーザデータのプライバシを保護する。
本稿ではDPFLにおける効率制約付きユーティリティプライバシ双目的最適化問題を体系的に定式化する。
論文 参考訳（メタデータ） (2023-12-27T12:37:55Z) - Theoretically Principled Federated Learning for Balancing Privacy and
Utility [61.03993520243198]
モデルパラメータを歪ませることでプライバシを保護する保護機構の一般学習フレームワークを提案する。
フェデレートされた学習における各コミュニケーションラウンドにおいて、各クライアント上の各モデルパラメータに対して、パーソナライズされたユーティリティプライバシトレードオフを実現することができる。
論文 参考訳（メタデータ） (2023-05-24T13:44:02Z) - Balancing Privacy and Performance for Private Federated Learning
Algorithms [4.681076651230371]
Federated Learning(FL)は、複数のクライアントがプライベートデータを公開せずにモデルをトレーニングする分散機械学習フレームワークである。
FLアルゴリズムは、共有前に各クライアントのモデル更新にノイズを導入する差分プライバシーメカニズムを頻繁に採用する。
ローカルステップの数と通信ラウンドの間に最適なバランスがあることを示し、プライバシー予算内での収束性能を最大化する。
論文 参考訳（メタデータ） (2023-04-11T10:42:11Z) - Tight Auditing of Differentially Private Machine Learning [77.38590306275877]
プライベート機械学習では、既存の監査メカニズムは厳格である。
彼らは不確実な最悪の仮定の下でのみ厳密な見積もりを行う。
我々は、自然(逆向きではない)データセットの厳密なプライバシー推定を得られる改善された監査スキームを設計する。
論文 参考訳（メタデータ） (2023-02-15T21:40:33Z) - Individual Privacy Accounting for Differentially Private Stochastic Gradient Descent [69.14164921515949]
DP-SGDで訓練されたモデルをリリースする際の個々の事例に対するプライバシー保証を特徴付ける。
ほとんどの例では、最悪のケースよりも強力なプライバシー保証を享受しています。
これは、モデルユーティリティの観点からは守られないグループが同時に、より弱いプライバシー保証を経験することを意味する。
論文 参考訳（メタデータ） (2022-06-06T13:49:37Z) - Learning with User-Level Privacy [61.62978104304273]
ユーザレベルの差分プライバシー制約下での学習課題を,アルゴリズムを用いて解析する。
個々のサンプルのプライバシーのみを保証するのではなく、ユーザレベルのdpはユーザの貢献全体を保護します。
プライバシコストが$tau$に比例した$K$適応的に選択されたクエリのシーケンスにプライベートに答えるアルゴリズムを導き出し、私たちが検討する学習タスクを解決するためにそれを適用します。
論文 参考訳（メタデータ） (2021-02-23T18:25:13Z) - Private Reinforcement Learning with PAC and Regret Guarantees [69.4202374491817]
エピソード強化学習(RL)のためのプライバシー保護探索ポリシーを設計する。
まず、共同微分プライバシー(JDP)の概念を用いた有意義なプライバシー定式化を提供する。
そこで我々は,強いPACと後悔境界を同時に達成し,JDP保証を享受する,プライベートな楽観主義に基づく学習アルゴリズムを開発した。
論文 参考訳（メタデータ） (2020-09-18T20:18:35Z) - Shuffled Model of Federated Learning: Privacy, Communication and
Accuracy Trade-offs [30.58690911428577]
通信効率とプライバシ要求を考慮した分散経験的リスク最小化(ERM)の最適化問題を考察する。
いくつかの$ell_p$空間に対するプライベート平均推定のための(最適)通信効率スキームを開発する。
完全精度通信を用いた最近の手法で開発された,同一のプライバシ,最適化性能のオペレーティングポイントを実現できることを示す。
論文 参考訳（メタデータ） (2020-08-17T09:41:04Z) - User-Level Privacy-Preserving Federated Learning: Analysis and
Performance Optimization [77.43075255745389]
フェデレートラーニング(FL)は、データを有用なモデルにトレーニングしながら、モバイル端末(MT)からプライベートデータを保存することができる。
情報理論の観点からは、MTがアップロードした共有モデルから、好奇心の強いサーバがプライベートな情報を推測することが可能である。
サーバにアップロードする前に、共有モデルに人工ノイズを加えることで、ユーザレベルの差分プライバシー(UDP)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-02-29T10:13:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。