論文の概要: Differentially Private Federated Bayesian Optimization with Distributed
Exploration
- arxiv url: http://arxiv.org/abs/2110.14153v1
- Date: Wed, 27 Oct 2021 04:11:06 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-28 15:08:41.027804
- Title: Differentially Private Federated Bayesian Optimization with Distributed
Exploration
- Title(参考訳): 分散探索による微分プライベート・フェデレーションベイズ最適化
- Authors: Zhongxiang Dai, Bryan Kian Hsiang Low, Patrick Jaillet
- Abstract要約: 我々は、DPを反復アルゴリズムに追加するための一般的なフレームワークを通じて、ディープニューラルネットワークのトレーニングに差分プライバシ(DP)を導入する。
DP-FTS-DEは高い実用性(競争性能)と高いプライバシー保証を実現する。
また,DP-FTS-DEがプライバシとユーティリティのトレードオフを引き起こすことを示すために,実世界の実験も行っている。
- 参考スコア(独自算出の注目度): 48.9049546219643
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Bayesian optimization (BO) has recently been extended to the federated
learning (FL) setting by the federated Thompson sampling (FTS) algorithm, which
has promising applications such as federated hyperparameter tuning. However,
FTS is not equipped with a rigorous privacy guarantee which is an important
consideration in FL. Recent works have incorporated differential privacy (DP)
into the training of deep neural networks through a general framework for
adding DP to iterative algorithms. Following this general DP framework, our
work here integrates DP into FTS to preserve user-level privacy. We also
leverage the ability of this general DP framework to handle different parameter
vectors, as well as the technique of local modeling for BO, to further improve
the utility of our algorithm through distributed exploration (DE). The
resulting differentially private FTS with DE (DP-FTS-DE) algorithm is endowed
with theoretical guarantees for both the privacy and utility and is amenable to
interesting theoretical insights about the privacy-utility trade-off. We also
use real-world experiments to show that DP-FTS-DE achieves high utility
(competitive performance) with a strong privacy guarantee (small privacy loss)
and induces a trade-off between privacy and utility.
- Abstract(参考訳): ベイズ最適化(bo)は、フェデレーションハイパーパラメータチューニングのような有望な応用があるフェデレーショントンプソンサンプリング(fts)アルゴリズムによって、最近フェデレーション学習(fl)設定に拡張された。
しかし、FTSにはFLの重要な考慮事項である厳格なプライバシー保証が備わっていない。
最近の研究は、DPを反復アルゴリズムに追加するための一般的なフレームワークを通じて、ディープニューラルネットワークのトレーニングに差分プライバシー(DP)を組み込んでいる。
この一般的なDPフレームワークに従って、当社の作業は、DPをFTSに統合し、ユーザレベルのプライバシを保存する。
また,この汎用dpフレームワークによって異なるパラメータベクトルを処理し,boの局所モデリング手法を活用し,分散探索(de)によるアルゴリズムの有用性をさらに向上させる。
de(dp-fts-de)アルゴリズムによる差分プライベートftsは、プライバシとユーティリティの両方に対して理論的保証が与えられ、プライバシ利用トレードオフに関する興味深い理論的洞察が得られている。
また,DP-FTS-DEは高い実用性(競争性能)と強力なプライバシ保証(プライバシー損失の小さい)を実現し,プライバシとユーティリティのトレードオフをもたらすことを示すために実世界の実験も行っている。
関連論文リスト
- ULDP-FL: Federated Learning with Across Silo User-Level Differential
Privacy [20.402678975554053]
Differentially Private Federated Learning (DP-FL)は、正式なプライバシを保証するための協調的な機械学習アプローチとして注目を集めている。
Uldp-FLは,単一ユーザのデータが複数のサイロに属する可能性のあるクロスサイロFLにおいて,ユーザレベルのDPを保証するように設計された,新しいFLフレームワークである。
論文 参考訳(メタデータ) (2023-08-23T15:50:51Z) - Differentially Private Wireless Federated Learning Using Orthogonal
Sequences [56.52483669820023]
本稿では,FLORAS と呼ばれる AirComp 法を提案する。
FLORASはアイテムレベルとクライアントレベルの差分プライバシー保証の両方を提供する。
新たなFL収束バウンダリが導出され、プライバシー保証と組み合わせることで、達成された収束率と差分プライバシーレベルのスムーズなトレードオフが可能になる。
論文 参考訳(メタデータ) (2023-06-14T06:35:10Z) - Theoretically Principled Federated Learning for Balancing Privacy and
Utility [61.03993520243198]
モデルパラメータを歪ませることでプライバシを保護する保護機構の一般学習フレームワークを提案する。
フェデレートされた学習における各コミュニケーションラウンドにおいて、各クライアント上の各モデルパラメータに対して、パーソナライズされたユーティリティプライバシトレードオフを実現することができる。
論文 参考訳(メタデータ) (2023-05-24T13:44:02Z) - Balancing Privacy and Performance for Private Federated Learning
Algorithms [4.681076651230371]
Federated Learning(FL)は、複数のクライアントがプライベートデータを公開せずにモデルをトレーニングする分散機械学習フレームワークである。
FLアルゴリズムは、共有前に各クライアントのモデル更新にノイズを導入する差分プライバシーメカニズムを頻繁に採用する。
ローカルステップの数と通信ラウンドの間に最適なバランスがあることを示し、プライバシー予算内での収束性能を最大化する。
論文 参考訳(メタデータ) (2023-04-11T10:42:11Z) - Differentially Private Federated Learning on Heterogeneous Data [10.431137628048356]
フェデレートラーニング(Federated Learning、FL)は、大規模分散ラーニングのパラダイムである。
i)高度に異質なユーザデータからの効率的なトレーニング、(ii)参加ユーザのプライバシ保護という2つの大きな課題に直面しています。
本稿では,差分プライバシー(DP)制約を取り入れた新しいFL手法を提案する。
論文 参考訳(メタデータ) (2021-11-17T18:23:49Z) - Smoothed Differential Privacy [55.415581832037084]
微分プライバシー(DP)は、最悪のケース分析に基づいて広く受け入れられ、広く適用されているプライバシーの概念である。
本稿では, 祝賀されたスムーズな解析の背景にある最悪の平均ケースのアイデアに倣って, DPの自然な拡張を提案する。
サンプリング手順による離散的なメカニズムはDPが予測するよりもプライベートであるのに対して,サンプリング手順による連続的なメカニズムはスムーズなDP下では依然としてプライベートではないことが証明された。
論文 参考訳(メタデータ) (2021-07-04T06:55:45Z) - Understanding Clipping for Federated Learning: Convergence and
Client-Level Differential Privacy [67.4471689755097]
本稿では, 切断したFedAvgが, 実質的なデータ均一性でも驚くほど良好に動作できることを実証的に示す。
本稿では,差分プライベート(DP)FedAvgアルゴリズムの収束解析を行い,クリッピングバイアスとクライアント更新の分布との関係を明らかにする。
論文 参考訳(メタデータ) (2021-06-25T14:47:19Z) - Federated Bayesian Optimization via Thompson Sampling [33.087439644066876]
本稿では,FBOとFLの主な課題を原則的に克服するフェデレートトンプソンサンプリング(FTS)を提案する。
通信効率, 計算効率, 実用性能の観点から, FTS の有効性を実証的に実証した。
論文 参考訳(メタデータ) (2020-10-20T09:42:17Z) - Federated Learning with Sparsification-Amplified Privacy and Adaptive
Optimization [27.243322019117144]
フェデレートラーニング(FL)により、分散エージェントは、生データを互いに共有することなく、集中型モデルを共同で学習することができる。
スパーシフィケーションを増幅した新しいFLフレームワークを提案する。
提案手法では,ランダムなスペーシフィケーションと各エージェントの勾配摂動を統合し,プライバシー保証を増幅する。
論文 参考訳(メタデータ) (2020-08-01T20:22:57Z) - User-Level Privacy-Preserving Federated Learning: Analysis and
Performance Optimization [77.43075255745389]
フェデレートラーニング(FL)は、データを有用なモデルにトレーニングしながら、モバイル端末(MT)からプライベートデータを保存することができる。
情報理論の観点からは、MTがアップロードした共有モデルから、好奇心の強いサーバがプライベートな情報を推測することが可能である。
サーバにアップロードする前に、共有モデルに人工ノイズを加えることで、ユーザレベルの差分プライバシー(UDP)アルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-02-29T10:13:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。