論文の概要: Differentially private cross-silo federated learning
- arxiv url: http://arxiv.org/abs/2007.05553v1
- Date: Fri, 10 Jul 2020 18:15:10 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-11 21:42:43.464479
- Title: Differentially private cross-silo federated learning
- Title（参考訳）: 微分的にプライベートなクロスサイロフェデレーション学習
- Authors: Mikko A. Heikkil\"a, Antti Koskela, Kana Shimizu, Samuel Kaski, Antti
Honkela
- Abstract要約: 厳密なプライバシは、分散機械学習において最重要事項である。
本稿では,いわゆるクロスサイロ・フェデレーション・ラーニング・セッティングにおいて,加算準同型セキュア和プロトコルと差分プライバシーを併用する。
提案手法により,非分散設定に匹敵する予測精度が得られることを示す。
- 参考スコア（独自算出の注目度）: 16.38610531397378
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Strict privacy is of paramount importance in distributed machine learning.
Federated learning, with the main idea of communicating only what is needed for
learning, has been recently introduced as a general approach for distributed
learning to enhance learning and improve security. However, federated learning
by itself does not guarantee any privacy for data subjects. To quantify and
control how much privacy is compromised in the worst-case, we can use
differential privacy.
In this paper we combine additively homomorphic secure summation protocols
with differential privacy in the so-called cross-silo federated learning
setting. The goal is to learn complex models like neural networks while
guaranteeing strict privacy for the individual data subjects. We demonstrate
that our proposed solutions give prediction accuracy that is comparable to the
non-distributed setting, and are fast enough to enable learning models with
millions of parameters in a reasonable time.
To enable learning under strict privacy guarantees that need privacy
amplification by subsampling, we present a general algorithm for oblivious
distributed subsampling. However, we also argue that when malicious parties are
present, a simple approach using distributed Poisson subsampling gives better
privacy.
Finally, we show that by leveraging random projections we can further
scale-up our approach to larger models while suffering only a modest
performance loss.
- Abstract（参考訳）: 厳密なプライバシは、分散機械学習において最重要事項である。
連合学習(federated learning)は、学習に必要なものだけを伝えるという主なアイデアで、分散学習の一般的なアプローチとして導入され、学習を強化し、セキュリティを向上させる。
しかし、フェデレーション学習自体が、データ対象に対するプライバシを保証しない。
最悪の場合、どれだけのプライバシーが侵害されているかを定量化し、制御するために、差分プライバシーを使用することができる。
本稿では,いわゆるクロスサイロフェデレーション学習環境において,付加的に準同型なセキュアサム化プロトコルと微分プライバシーを組み合わせる。
目標は、個々のデータ対象者の厳格なプライバシーを確保しながら、ニューラルネットワークのような複雑なモデルを学ぶことだ。
提案手法では,非分散設定に匹敵する予測精度が得られ,数百万のパラメータを持つ学習モデルを妥当な時間で実現できることを示す。
サブサンプリングによるプライバシの増幅を必要とする厳格なプライバシー保証の下での学習を可能にするため,不明瞭な分散サブサンプリングのための一般的なアルゴリズムを提案する。
しかし、悪意あるパーティが存在する場合、分散Poissonサブサンプリングを使用するシンプルなアプローチは、より優れたプライバシを提供します。
最後に、ランダムなプロジェクションを活用することで、より大規模なモデルへのアプローチをさらにスケールアップできるが、性能損失はわずかである。
関連論文リスト
- Pseudo-Probability Unlearning: Towards Efficient and Privacy-Preserving Machine Unlearning [59.29849532966454]
本稿では,PseudoProbability Unlearning (PPU)を提案する。
提案手法は,最先端の手法に比べて20%以上の誤りを忘れる改善を実現している。
論文 参考訳（メタデータ） (2024-11-04T21:27:06Z) - Masked Differential Privacy [64.32494202656801]
本稿では,差分プライバシーを適用した機密領域を制御できる「マスク型差分プライバシー(DP)」という効果的なアプローチを提案する。
提案手法はデータに基づいて選択的に動作し,DPアプリケーションや差分プライバシーをデータサンプル内の他のプライバシー技術と組み合わせることなく,非感性時間領域を定義できる。
論文 参考訳（メタデータ） (2024-10-22T15:22:53Z) - On Joint Noise Scaling in Differentially Private Federated Learning with Multiple Local Steps [0.5439020425818999]
フェデレーション学習(Federated Learning)とは、生データを共有せずに機械学習モデルをトレーニングする分散学習環境である。
簡単な新しい分析によって、セキュアなアグリゲーションの恩恵を受けながら、パーティが複数のローカルな最適化ステップを実行できることを示します。
論文 参考訳（メタデータ） (2024-07-27T15:54:58Z) - Shuffled Differentially Private Federated Learning for Time Series Data
Analytics [10.198481976376717]
時系列データのためのプライバシー保護フェデレーション学習アルゴリズムを開発した。
具体的には、クライアントにプライバシ保護信頼境界を拡張するために、ローカルな差分プライバシーを使用します。
また、局所的な差分プライバシーを活用することによって生じる精度低下を軽減し、プライバシーの増幅を実現するためのシャッフル手法も取り入れた。
論文 参考訳（メタデータ） (2023-07-30T10:30:38Z) - Randomized Quantization is All You Need for Differential Privacy in
Federated Learning [1.9785872350085876]
量子化と差分プライバシーを組み合わせたフェデレーション学習のアプローチを検討する。
我々は textbfRandomized textbfQuantization textbfMechanism (RQM) と呼ばれる新しいアルゴリズムを開発した。
アルゴリズムの性能を実証的に研究し、これまでの研究と比較すると、プライバシーと精度のトレードオフが改善されていることを示す。
論文 参考訳（メタデータ） (2023-06-20T21:54:13Z) - Position: Considerations for Differentially Private Learning with Large-Scale Public Pretraining [75.25943383604266]
大規模なWebスクレイプデータセットの使用は、差分プライバシ保存と見なすべきかどうかを疑問視する。
Webデータ上で事前訓練されたこれらのモデルを“プライベート”として公開することで、市民のプライバシーに対する信頼を意味のあるプライバシの定義として損なう可能性があることを警告します。
公的な事前学習がより普及し、強力になるにつれて、私的な学習分野への道のりを議論することで、我々は結論づける。
論文 参考訳（メタデータ） (2022-12-13T10:41:12Z) - Privacy-Preserving Distributed Expectation Maximization for Gaussian
Mixture Model using Subspace Perturbation [4.2698418800007865]
フェデレーション学習は、プライベートデータの送信を許可せず、中間更新のみを許可するため、プライバシー上の懸念によって動機付けられている。
我々は、各ステップの更新を安全に計算できる、完全に分散化されたプライバシ保存ソリューションを提案する。
数値検証により,提案手法は,精度とプライバシの両面において,既存手法よりも優れた性能を示した。
論文 参考訳（メタデータ） (2022-09-16T09:58:03Z) - On Differential Privacy for Federated Learning in Wireless Systems with
Multiple Base Stations [90.53293906751747]
複数の基地局とセル間干渉を持つ無線システムにおける連合学習モデルを考える。
本稿では,学習過程の収束挙動を,その最適性ギャップの上限を導出することによって示す。
提案するスケジューラは,ランダムなスケジューラと比較して予測平均精度を向上する。
論文 参考訳（メタデータ） (2022-08-25T03:37:11Z) - Mixed Differential Privacy in Computer Vision [133.68363478737058]
AdaMixは、プライベートとパブリックの両方の画像データを使用して、ディープニューラルネットワーク分類器をトレーニングするための適応型微分プライベートアルゴリズムである。
プライベートデータを無視する数ショットあるいはゼロショットの学習ベースラインは、大規模なプライベートデータセットの微調整よりも優れています。
論文 参考訳（メタデータ） (2022-03-22T06:15:43Z) - Privacy-preserving Decentralized Aggregation for Federated Learning [3.9323226496740733]
フェデレーション学習は、複数のリージョンにまたがる分散データを学習するための有望なフレームワークである。
我々は,連合学習のためのプライバシ保存型分散集約プロトコルを開発した。
9 と 15 の分散サイトを持つベンチマークデータセットを用いて,画像分類と次単語予測のアルゴリズムの評価を行った。
論文 参考訳（メタデータ） (2020-12-13T23:45:42Z) - Private Reinforcement Learning with PAC and Regret Guarantees [69.4202374491817]
エピソード強化学習(RL)のためのプライバシー保護探索ポリシーを設計する。
まず、共同微分プライバシー(JDP)の概念を用いた有意義なプライバシー定式化を提供する。
そこで我々は,強いPACと後悔境界を同時に達成し,JDP保証を享受する,プライベートな楽観主義に基づく学習アルゴリズムを開発した。
論文 参考訳（メタデータ） (2020-09-18T20:18:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。