論文の概要: Additive Logistic Mechanism for Privacy-Preserving Self-Supervised Learning

• arxiv url: http://arxiv.org/abs/2205.12430v1
• Date: Wed, 25 May 2022 01:33:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-26 13:30:26.632567
• Title: Additive Logistic Mechanism for Privacy-Preserving Self-Supervised Learning
• Title（参考訳）: プライバシー保護型自己監督学習のための付加的ロジスティックメカニズム
• Authors: Yunhao Yang, Parham Gohari, Ufuk Topcu
• Abstract要約: ニューラルネットワークの重みを自己教師付き学習アルゴリズムでトレーニングする際のプライバシーリスクについて検討する。 我々は、微調整後の重み付けにノイズを加えるプライバシー保護アルゴリズムを設計する。 提案した保護アルゴリズムは,攻撃精度をランダムな推測にほぼ等しい50%に効果的に低減できることを示す。
• 参考スコア（独自算出の注目度）: 26.783944764936994
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the privacy risks that are associated with training a neural network's weights with self-supervised learning algorithms. Through empirical evidence, we show that the fine-tuning stage, in which the network weights are updated with an informative and often private dataset, is vulnerable to privacy attacks. To address the vulnerabilities, we design a post-training privacy-protection algorithm that adds noise to the fine-tuned weights and propose a novel differential privacy mechanism that samples noise from the logistic distribution. Compared to the two conventional additive noise mechanisms, namely the Laplace and the Gaussian mechanisms, the proposed mechanism uses a bell-shaped distribution that resembles the distribution of the Gaussian mechanism, and it satisfies pure $\epsilon$-differential privacy similar to the Laplace mechanism. We apply membership inference attacks on both unprotected and protected models to quantify the trade-off between the models' privacy and performance. We show that the proposed protection algorithm can effectively reduce the attack accuracy to roughly 50\%-equivalent to random guessing-while maintaining a performance loss below 5\%.
• Abstract（参考訳）: ニューラルネットワークの重みを自己教師付き学習アルゴリズムでトレーニングする際のプライバシーリスクについて検討する。 実証的な証拠を通じて、ネットワークの重みが情報的かつしばしばプライベートなデータセットで更新される微調整ステージが、プライバシー攻撃に脆弱であることを示す。 この脆弱性に対処するため、我々は、微調整された重みにノイズを加えるポストトレーニングプライバシー保護アルゴリズムを設計し、ロジスティック分布からノイズをサンプリングする新しい差分プライバシー機構を提案する。 従来の2つの付加雑音機構、すなわちラプラスとガウスのメカニズムと比較して、提案機構はガウスのメカニズムの分布に類似したベル形状の分布を用い、ラプラスのメカニズムと同様の純粋な$\epsilon$-differential privacyを満足する。 プライバシとパフォーマンスのトレードオフを定量化するために,非保護モデルと保護モデルの両方にメンバシップ推論攻撃を適用する。 提案する保護アルゴリズムは、性能損失を5\%以下に抑えつつ、ランダム推測と同値な攻撃精度を約50\%まで効果的に低減できることを示す。

関連論文リスト

• Pseudo-Probability Unlearning: Towards Efficient and Privacy-Preserving Machine Unlearning [59.29849532966454]
  本稿では,PseudoProbability Unlearning (PPU)を提案する。 提案手法は,最先端の手法に比べて20%以上の誤りを忘れる改善を実現している。
  論文  参考訳（メタデータ） (2024-11-04T21:27:06Z)
• CorBin-FL: A Differentially Private Federated Learning Mechanism using Common Randomness [6.881974834597426]
  Federated Learning (FL)は、分散機械学習のための有望なフレームワークとして登場した。 相関2値量子化を用いて差分プライバシーを実現するプライバシー機構であるCorBin-FLを導入する。 また,PLDP,ユーザレベル,サンプルレベルの中央差分プライバシー保証に加えて,AugCorBin-FLも提案する。
  論文  参考訳（メタデータ） (2024-09-20T00:23:44Z)
• Binary Federated Learning with Client-Level Differential Privacy [7.854806519515342]
  フェデレートラーニング(Federated Learning、FL)は、プライバシ保護のための協調学習フレームワークである。 既存のFLシステムはトレーニングアルゴリズムとしてフェデレーション平均(FedAvg)を採用するのが一般的である。 差分プライバシーを保証する通信効率のよいFLトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-08-07T06:07:04Z)
• Breaking the Communication-Privacy-Accuracy Tradeoff with $f$-Differential Privacy [51.11280118806893]
  サーバが複数のユーザの協調的なデータ分析を,プライバシの懸念と限られた通信能力で調整する,フェデレートされたデータ分析問題を考える。 有限出力空間を有する離散値機構の局所的差分プライバシー保証を$f$-differential privacy (DP) レンズを用いて検討する。 より具体的には、様々な離散的評価機構の厳密な$f$-DP保証を導出することにより、既存の文献を前進させる。
  論文  参考訳（メタデータ） (2023-02-19T16:58:53Z)
• Differentially Private Stochastic Gradient Descent with Low-Noise [49.981789906200035]
  現代の機械学習アルゴリズムは、データからきめ細かい情報を抽出して正確な予測を提供することを目的としており、プライバシー保護の目標と矛盾することが多い。 本稿では、プライバシを保ちながら優れたパフォーマンスを確保するために、プライバシを保存する機械学習アルゴリズムを開発することの実践的および理論的重要性について論じる。
  論文  参考訳（メタデータ） (2022-09-09T08:54:13Z)
• Privacy Amplification via Shuffled Check-Ins [2.3333090554192615]
  シャッフルチェックインと呼ばれる分散計算のためのプロトコルについて検討する。 信頼できるシャフラー以上の信頼の前提を必要とせずに、強力なプライバシー保証を実現する。 シャッフルされたチェックインは、プライバシーの強化によって、厳格なプライバシー保証を実現する。
  論文  参考訳（メタデータ） (2022-06-07T09:55:15Z)
• Decentralized Stochastic Optimization with Inherent Privacy Protection [103.62463469366557]
  分散最適化は、現代の協調機械学習、分散推定と制御、大規模センシングの基本的な構成要素である。 データが関与して以降、分散最適化アルゴリズムの実装において、プライバシ保護がますます重要になっている。
  論文  参考訳（メタデータ） (2022-05-08T14:38:23Z)
• Bridging Differential Privacy and Byzantine-Robustness via Model Aggregation [27.518542543750367]
  本稿では,差分プライバシーとビザンチネロバストネスという,連邦学習における対立する問題に対処することを目的とする。 標準メカニズムは送信DP、エンベロップスエンベロップスエンベロップスエンベロープ(エンベロップスエンベロープ、エンベロープエンベロープアグリゲーション)を追加し、ビザンツ攻撃を防御する。 提案手法の影響は, その頑健なモデルアグリゲーションによって抑制されていることを示す。
  論文  参考訳（メタデータ） (2022-04-29T23:37:46Z)
• Graph-Homomorphic Perturbations for Private Decentralized Learning [64.26238893241322]
  ローカルな見積もりの交換は、プライベートデータに基づくデータの推測を可能にする。 すべてのエージェントで独立して選択された摂動により、パフォーマンスが著しく低下する。 本稿では,特定のヌル空間条件に従って摂動を構成する代替スキームを提案する。
  論文  参考訳（メタデータ） (2020-10-23T10:35:35Z)
• RDP-GAN: A R\'enyi-Differential Privacy based Generative Adversarial Network [75.81653258081435]
  GAN(Generative Adversarial Network)は,プライバシ保護の高い現実的なサンプルを生成する能力によって,近年注目を集めている。 しかし、医療記録や財務記録などの機密・私的な訓練例にGANを適用すると、個人の機密・私的な情報を漏らしかねない。 本稿では、学習中の損失関数の値にランダムノイズを慎重に付加することにより、GAN内の差分プライバシー(DP)を実現するR'enyi-differentially private-GAN(RDP-GAN)を提案する。
  論文  参考訳（メタデータ） (2020-07-04T09:51:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。