論文の概要: Differentially private partitioned variational inference
- arxiv url: http://arxiv.org/abs/2209.11595v1
- Date: Fri, 23 Sep 2022 13:58:40 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-26 13:54:03.993405
- Title: Differentially private partitioned variational inference
- Title（参考訳）: 差分分割変分推定法
- Authors: Mikko A. Heikkil\"a, Matthew Ashman, Siddharth Swaroop, Richard E.
Turner and Antti Honkela
- Abstract要約: ベイズ分布に対する変分近似を学習するための最初の一般フレームワークである差分分割変分推論について述べる。
局所最適化の摂動は、各パーティが十分な局所データを持っている限り、単純で複雑なモデルでうまく機能することを示す。
対照的に、グローバルアップデートの摂動は、比較的単純なモデルでうまく機能する。
- 参考スコア（独自算出の注目度）: 28.96767727430277
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Learning a privacy-preserving model from distributed sensitive data is an
increasingly important problem, often formulated in the federated learning
context. Variational inference has recently been extended to the non-private
federated learning setting via the partitioned variational inference algorithm.
For privacy protection, the current gold standard is called differential
privacy. Differential privacy guarantees privacy in a strong, mathematically
clearly defined sense.
In this paper, we present differentially private partitioned variational
inference, the first general framework for learning a variational approximation
to a Bayesian posterior distribution in the federated learning setting while
minimising the number of communication rounds and providing differential
privacy guarantees for data subjects.
We propose three alternative implementations in the general framework, one
based on perturbing local optimisation done by individual parties, and two
based on perturbing global updates (one using a version of federated averaging,
one adding virtual parties to the protocol), and compare their properties both
theoretically and empirically. We show that perturbing the local optimisation
works well with simple and complex models as long as each party has enough
local data. However, the privacy is always guaranteed independently by each
party. In contrast, perturbing the global updates works best with relatively
simple models. Given access to suitable secure primitives, such as secure
aggregation or secure shuffling, the performance can be improved by all parties
guaranteeing privacy jointly.
- Abstract（参考訳）: 分散機密データからプライバシ保存モデルを学ぶことはますます重要な問題であり、連合学習コンテキストで定式化されることが多い。
変分推論は、分割変分推論アルゴリズム(partitioned variational inference algorithm)を通じて、非プライベートな共用学習設定に拡張されている。
プライバシー保護に関しては、現在の金本位制は差分プライバシーと呼ばれる。
差分プライバシーは、強く数学的に明確に定義された意味でのプライバシーを保証する。
本稿では,分散学習環境におけるベイズ的後続分布に対する変分近似を学習するための最初の一般フレームワークである差分分割変分推論について,通信ラウンドの数を最小化し,データ対象に対して差分プライバシー保証を提供する。
本稿では,各パーティが行う局所最適化の摂動に基づく1つと,グローバル更新の摂動に基づく2つ(フェデレート平均化のバージョンを使用し,プロトコルに仮想パーティを追加する1つ)の3つの代替実装を提案し,それらの特性を理論的および経験的に比較する。
局所最適化の摂動は,各当事者が十分な局所データを持っている限り,単純で複雑なモデルでうまく機能することを示す。
しかし、プライバシーは常に各当事者から独立して保証される。
対照的に、グローバルアップデートの摂動は、比較的単純なモデルで最適だ。
セキュアなアグリゲーションやセキュアなシャッフルといった適切なセキュアなプリミティブにアクセスすると、すべてのパーティが共同でプライバシを保証することでパフォーマンスが改善される。
関連論文リスト
- Differentially Private Federated Learning: Servers Trustworthiness, Estimation, and Statistical Inference [18.97060758177909]
本稿では,差分プライバシーの制約下での高次元推定と推測の課題について検討する。
線形回帰モデルに適した新しいフェデレーション推定アルゴリズムを提案する。
また,各パラメータの座標的信頼区間を含む統計的推測手法を提案する。
論文 参考訳（メタデータ） (2024-04-25T02:14:07Z) - Generalizable Heterogeneous Federated Cross-Correlation and Instance
Similarity Learning [60.058083574671834]
本稿では,新しいFCCL+,フェデレーション相関と非ターゲット蒸留との類似性学習を提案する。
不均一な問題に対しては、無関係な公開データを通信に活用する。
局所的な更新段階における破滅的な忘れ物として、FCCL+はFederated Non Target Distillationを導入している。
論文 参考訳（メタデータ） (2023-09-28T09:32:27Z) - Data Analytics with Differential Privacy [0.0]
我々は分散データとストリーミングデータを解析するための差分プライベートアルゴリズムを開発した。
分散モデルでは、学習の特定の問題 -- 分散形式で -- がデータのグローバルモデルであると考えている。
私たちは、ストリーミングモデル、ユーザーレベルのパンプライバシに対して、最も強力なプライバシー保証の1つを提供しています。
論文 参考訳（メタデータ） (2023-07-20T17:43:29Z) - Personalized Graph Federated Learning with Differential Privacy [6.282767337715445]
本稿では、分散接続されたサーバとそのエッジデバイスが協調してデバイスやクラスタ固有のモデルを学習する、パーソナライズされたグラフフェデレーション学習(PGFL)フレームワークを提案する。
本稿では、差分プライバシー、特にノイズシーケンスがモデル交換を行うゼロ集中差分プライバシーを利用するPGFL実装の変種について検討する。
分析の結果,このアルゴリズムは,ゼロ集中型差分プライバシーの観点から,全クライアントの局所的な差分プライバシを保証することがわかった。
論文 参考訳（メタデータ） (2023-06-10T09:52:01Z) - Personalization Improves Privacy-Accuracy Tradeoffs in Federated
Optimization [57.98426940386627]
局所的な学習とプライベートな集中学習の協調は、総合的に有用であり、精度とプライバシのトレードオフを改善していることを示す。
合成および実世界のデータセットに関する実験により理論的結果について述べる。
論文 参考訳（メタデータ） (2022-02-10T20:44:44Z) - Don't Generate Me: Training Differentially Private Generative Models
with Sinkhorn Divergence [73.14373832423156]
そこで我々はDP-Sinkhornを提案する。DP-Sinkhornは個人データからデータ分布を差分プライバシで学習するための新しいトランスポートベース生成手法である。
差分的にプライベートな生成モデルを訓練するための既存のアプローチとは異なり、我々は敵の目的に頼らない。
論文 参考訳（メタデータ） (2021-11-01T18:10:21Z) - Understanding Clipping for Federated Learning: Convergence and
Client-Level Differential Privacy [67.4471689755097]
本稿では, 切断したFedAvgが, 実質的なデータ均一性でも驚くほど良好に動作できることを実証的に示す。
本稿では,差分プライベート(DP)FedAvgアルゴリズムの収束解析を行い,クリッピングバイアスとクライアント更新の分布との関係を明らかにする。
論文 参考訳（メタデータ） (2021-06-25T14:47:19Z) - Graph-Homomorphic Perturbations for Private Decentralized Learning [64.26238893241322]
ローカルな見積もりの交換は、プライベートデータに基づくデータの推測を可能にする。
すべてのエージェントで独立して選択された摂動により、パフォーマンスが著しく低下する。
本稿では,特定のヌル空間条件に従って摂動を構成する代替スキームを提案する。
論文 参考訳（メタデータ） (2020-10-23T10:35:35Z) - LDP-FL: Practical Private Aggregation in Federated Learning with Local
Differential Privacy [20.95527613004989]
フェデレーション学習は、実際のデータではなく、局所的な勾配情報を収集するプライバシー保護のための一般的なアプローチである。
それまでの作業は3つの問題により現実的な解決には至らなかった。
最後に、ディープラーニングモデルにおける重みの高次元性により、プライバシー予算が爆発的に膨らみます。
論文 参考訳（メタデータ） (2020-07-31T01:08:57Z) - Differentially private cross-silo federated learning [16.38610531397378]
厳密なプライバシは、分散機械学習において最重要事項である。
本稿では,いわゆるクロスサイロ・フェデレーション・ラーニング・セッティングにおいて,加算準同型セキュア和プロトコルと差分プライバシーを併用する。
提案手法により,非分散設定に匹敵する予測精度が得られることを示す。
論文 参考訳（メタデータ） (2020-07-10T18:15:10Z) - Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。
敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。
差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
論文 参考訳（メタデータ） (2020-05-01T04:28:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。