論文の概要: FLAME: Differentially Private Federated Learning in the Shuffle Model
- arxiv url: http://arxiv.org/abs/2009.08063v4
- Date: Sat, 20 Mar 2021 09:05:39 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-17 08:52:31.793733
- Title: FLAME: Differentially Private Federated Learning in the Shuffle Model
- Title（参考訳）: FLAME:シャッフルモデルにおける個人的フェデレーション学習
- Authors: Ruixuan Liu, Yang Cao, Hong Chen, Ruoyang Guo, Masatoshi Yoshikawa
- Abstract要約: フェデレートラーニング(FL)は、分析者がユーザーの生データを収集することなくモデルをトレーニングできる、有望な機械学習パラダイムである。
本稿では、シャッフルモデルにおけるFLフレームワークと、既存の作業から拡張された単純なプロトコル(SS-Simple)を提案する。
モデルパラメータの次元が非常に大きいため, SS-Simple は FL のプライバシー強化効果が不十分であることがわかった。
モデルサイズがユーザ人口より大きい場合の実用性を高めるため,勾配スペーシング技術を用いた高度なプロトコル(SS-Topk)を提案する。
- 参考スコア（独自算出の注目度）: 25.244726600260748
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated Learning (FL) is a promising machine learning paradigm that enables
the analyzer to train a model without collecting users' raw data. To ensure
users' privacy, differentially private federated learning has been intensively
studied. The existing works are mainly based on the \textit{curator model} or
\textit{local model} of differential privacy. However, both of them have pros
and cons. The curator model allows greater accuracy but requires a trusted
analyzer. In the local model where users randomize local data before sending
them to the analyzer, a trusted analyzer is not required but the accuracy is
limited. In this work, by leveraging the \textit{privacy amplification} effect
in the recently proposed shuffle model of differential privacy, we achieve the
best of two worlds, i.e., accuracy in the curator model and strong privacy
without relying on any trusted party. We first propose an FL framework in the
shuffle model and a simple protocol (SS-Simple) extended from existing work. We
find that SS-Simple only provides an insufficient privacy amplification effect
in FL since the dimension of the model parameter is quite large. To solve this
challenge, we propose an enhanced protocol (SS-Double) to increase the privacy
amplification effect by subsampling. Furthermore, for boosting the utility when
the model size is greater than the user population, we propose an advanced
protocol (SS-Topk) with gradient sparsification techniques. We also provide
theoretical analysis and numerical evaluations of the privacy amplification of
the proposed protocols. Experiments on real-world dataset validate that SS-Topk
improves the testing accuracy by 60.7\% than the local model based FL.
- Abstract（参考訳）: フェデレートラーニング(FL)は、分析者がユーザーの生データを収集することなくモデルをトレーニングできる、有望な機械学習パラダイムである。
ユーザのプライバシを確保するために、差分的にプライベートなフェデレーション学習が集中的に研究されている。
既存の作品は、主に差分プライバシーの \textit{curator model} または \textit{local model} に基づいている。
しかし、両者とも長所と短所がある。
キュレーターモデルはより精度が高いが、信頼できるアナライザを必要とする。
ユーザがアナライザに送信する前にローカルデータをランダム化するローカルモデルでは、信頼できるアナライザは必要ないが、精度は限られている。
本稿では,最近提案された差分プライバシーのシャッフルモデルにおける \textit{privacy amplification}効果を利用して,信頼された関係者に頼らずに,キュレーターモデルの精度と強力なプライバシーという2つの世界の最善を実現した。
まず、シャッフルモデルにおけるFLフレームワークと、既存の作業から拡張された単純なプロトコル(SS-Simple)を提案する。
モデルパラメータの次元が非常に大きいため, SS-Simple は FL のプライバシー強化効果が不十分であることがわかった。
この課題を解決するために,サブサンプリングによるプライバシー増幅効果を高めるための拡張プロトコル(SS-Double)を提案する。
さらに,モデルサイズがユーザ人口より大きい場合の実用性向上のために,勾配スペーシング技術を用いた高度なプロトコル(SS-Topk)を提案する。
また,提案プロトコルのプライバシ増幅に関する理論的解析と数値評価を行った。
実世界のデータセットの実験では、SS-TopkはローカルモデルベースのFLよりも60.7%精度が向上している。
関連論文リスト
- DMM: Distributed Matrix Mechanism for Differentially-Private Federated Learning using Packed Secret Sharing [51.336015600778396]
フェデレーテッド・ラーニング(FL)は最近、産業とアカデミックの両方で多くの注目を集めています。
FLでは、機械学習モデルは、複数のラウンドにまたがって委員会に配置されたさまざまなエンドユーザのデータを使用して訓練される。
このようなデータは、しばしばセンシティブであるため、FLの主な課題は、モデルの実用性を維持しながらプライバシを提供することである。
論文 参考訳（メタデータ） (2024-10-21T16:25:14Z) - PriRoAgg: Achieving Robust Model Aggregation with Minimum Privacy Leakage for Federated Learning [49.916365792036636]
フェデレートラーニング(FL)は、大規模分散ユーザデータを活用する可能性から、最近大きな勢いを増している。
送信されたモデル更新は、センシティブなユーザ情報をリークする可能性があり、ローカルなトレーニングプロセスの集中的な制御の欠如は、モデル更新に対する悪意のある操作の影響を受けやすいグローバルモデルを残します。
我々は、Lagrange符号化計算と分散ゼロ知識証明を利用した汎用フレームワークPriRoAggを開発し、集約されたプライバシを満たすとともに、幅広いロバストな集約アルゴリズムを実行する。
論文 参考訳（メタデータ） (2024-07-12T03:18:08Z) - Beyond Statistical Estimation: Differentially Private Individual Computation via Shuffling [21.031062710893867]
本稿では,PIC(Private Individual Computation)と呼ばれる新しいパラダイムを紹介する。
PICは、プライバシを保持しながらパーソナライズされたアウトプットを可能にし、シャッフルによってプライバシーを増幅する。
実用性を高めるためにPICモデルのために設計された最適確率化器Minkowski Responseを提案する。
論文 参考訳（メタデータ） (2024-06-26T07:53:48Z) - PRIOR: Personalized Prior for Reactivating the Information Overlooked in
Federated Learning [16.344719695572586]
各クライアントのグローバルモデルにパーソナライズされた事前知識を注入する新しいスキームを提案する。
提案したアプローチの中心は,Bregman Divergence (pFedBreD) による PFL フレームワークである。
提案手法は5つのデータセット上での最先端のパフォーマンスに到達し、8つのベンチマークで最大3.5%性能を向上する。
論文 参考訳（メタデータ） (2023-10-13T15:21:25Z) - Can Public Large Language Models Help Private Cross-device Federated Learning? [58.05449579773249]
言語モデルのプライベート・フェデレーション・ラーニング(FL)について検討する。
公開データは、大小両方の言語モデルのプライバシーとユーティリティのトレードオフを改善するために使われてきた。
提案手法は,プライベートなデータ分布に近い公開データをサンプリングするための理論的基盤を持つ新しい分布マッチングアルゴリズムである。
論文 参考訳（メタデータ） (2023-05-20T07:55:58Z) - Just Fine-tune Twice: Selective Differential Privacy for Large Language
Models [69.66654761324702]
本稿では,大規模なトランスフォーマーベース言語モデルのためのSDPを実現するための,シンプルで効果的なジャストファイントゥンツースプライバシ機構を提案する。
実験により, カナリア挿入攻撃に対して頑健でありながら, 高い性能が得られた。
論文 参考訳（メタデータ） (2022-04-15T22:36:55Z) - Don't Generate Me: Training Differentially Private Generative Models
with Sinkhorn Divergence [73.14373832423156]
そこで我々はDP-Sinkhornを提案する。DP-Sinkhornは個人データからデータ分布を差分プライバシで学習するための新しいトランスポートベース生成手法である。
差分的にプライベートな生成モデルを訓練するための既存のアプローチとは異なり、我々は敵の目的に頼らない。
論文 参考訳（メタデータ） (2021-11-01T18:10:21Z) - Renyi Differential Privacy of the Subsampled Shuffle Model in
Distributed Learning [7.197592390105457]
クライアントは、プライバシを必要とするサーバとのインタラクションを通じて、学習モデルを反復的に構築する分散学習フレームワークで、プライバシを研究する。
最適化とフェデレートラーニング(FL)パラダイムによって動機付けられ、各ラウンドで少数のデータサンプルがランダムにサブサンプリングされた場合に焦点を当てる。
より強力なローカルプライバシ保証を得るために,各クライアントがローカルディファレンシャル・プライベート(LDP)機構を用いて応答をランダム化するシャッフルプライバシ・モデルを用いてこれを検証した。
論文 参考訳（メタデータ） (2021-07-19T11:43:24Z) - Federated Learning with Sparsification-Amplified Privacy and Adaptive
Optimization [27.243322019117144]
フェデレートラーニング(FL)により、分散エージェントは、生データを互いに共有することなく、集中型モデルを共同で学習することができる。
スパーシフィケーションを増幅した新しいFLフレームワークを提案する。
提案手法では,ランダムなスペーシフィケーションと各エージェントの勾配摂動を統合し,プライバシー保証を増幅する。
論文 参考訳（メタデータ） (2020-08-01T20:22:57Z) - Privacy Amplification via Random Check-Ins [38.72327434015975]
Differentially Private Gradient Descent (DP-SGD) は、多くのアプリケーションにおいて、機密データを学習するための基本的な構成要素となっている。
本稿では,DP-SGD のような反復的手法を,多くのデバイス(クライアント)に分散したフェデレーションラーニング(FL)の設定において実施することに焦点を当てる。
当社の主なコントリビューションは,各クライアントがローカルかつ独立に行うランダムな参加決定にのみ依存する,Emphrandom Check-in分散プロトコルです。
論文 参考訳（メタデータ） (2020-07-13T18:14:09Z) - Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。
敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。
差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
論文 参考訳（メタデータ） (2020-05-01T04:28:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。