Fugu-MT 論文翻訳(概要): Gradient Leakage Attack Resilient Deep Learning

論文の概要: Gradient Leakage Attack Resilient Deep Learning

arxiv url: http://arxiv.org/abs/2112.13178v1
Date: Sat, 25 Dec 2021 03:33:02 GMT
ステータス: 処理完了
システム内更新日: 2021-12-29 09:30:21.072662
Title: Gradient Leakage Attack Resilient Deep Learning
Title（参考訳）: 勾配漏洩攻撃弾力性深層学習
Authors: Wenqi Wei and Ling Liu
Abstract要約: 勾配の漏洩攻撃はディープラーニングで最も悪質なプライバシーの脅威の1つだ差分プライバシーを持つディープラーニングは、差分プライバシーを保証するディープラーニングモデルを公開するためのデファクトスタンダードである。本稿では,差分プライバシーを用いた勾配リーク耐性深層学習の代替手法について検討する。
参考スコア（独自算出の注目度）: 7.893378392969824
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Gradient leakage attacks are considered one of the wickedest privacy threats in deep learning as attackers covertly spy gradient updates during iterative training without compromising model training quality, and yet secretly reconstruct sensitive training data using leaked gradients with high attack success rate. Although deep learning with differential privacy is a defacto standard for publishing deep learning models with differential privacy guarantee, we show that differentially private algorithms with fixed privacy parameters are vulnerable against gradient leakage attacks. This paper investigates alternative approaches to gradient leakage resilient deep learning with differential privacy (DP). First, we analyze existing implementation of deep learning with differential privacy, which use fixed noise variance to injects constant noise to the gradients in all layers using fixed privacy parameters. Despite the DP guarantee provided, the method suffers from low accuracy and is vulnerable to gradient leakage attacks. Second, we present a gradient leakage resilient deep learning approach with differential privacy guarantee by using dynamic privacy parameters. Unlike fixed-parameter strategies that result in constant noise variance, different dynamic parameter strategies present alternative techniques to introduce adaptive noise variance and adaptive noise injection which are closely aligned to the trend of gradient updates during differentially private model training. Finally, we describe four complementary metrics to evaluate and compare alternative approaches.
Abstract（参考訳）: グラディエント・リーク攻撃は、モデルトレーニングの質を損なうことなく反復的なトレーニング中に秘密裏に勾配の更新をスパイし、高い攻撃成功率のリーク勾配を用いて機密性の高いトレーニングデータを秘密裏に再構築するため、ディープラーニングにおける最も悪質なプライバシー脅威の1つと考えられている。差分プライバシーを持つディープラーニングは、差分プライバシー保証を持つディープラーニングモデルを公開するためのデファクトスタンダードであるが、固定プライバシーパラメータを持つ差分プライベートアルゴリズムは、勾配リーク攻撃に対して脆弱であることを示す。本稿では,ディファレンシャルプライバシ(dp)を用いた勾配漏洩弾性深層学習の代替手法について検討する。まず,固定ノイズ分散を用いて,固定プライバシパラメータを用いて,すべてのレイヤの勾配に一定のノイズを注入する差分プライバシを用いた,既存のディープラーニングの実装を分析する。 DP保証が提供されたにもかかわらず、この手法は低い精度に悩まされ、勾配リーク攻撃に弱い。第2に、動的プライバシーパラメータを用いて、差分プライバシー保証を伴う勾配リーク耐性深層学習手法を提案する。一定のノイズ分散をもたらす固定パラメータ戦略とは異なり、異なる動的パラメータ戦略は、微分プライベートモデルトレーニング中に勾配更新の傾向に密接に一致する適応ノイズ分散と適応ノイズ注入を導入する代替手法を提案する。最後に,代替手法を評価するための4つの補完的指標について述べる。

関連論文リスト

Rethinking Improved Privacy-Utility Trade-off with Pre-existing Knowledge for DP Training [31.559864332056648]
異種雑音(DP-Hero)を有する一般微分プライバシーフレームワークを提案する。 DP-Hero上では、勾配更新に注入されたノイズが不均一であり、予め確立されたモデルパラメータによって誘導されるDP-SGDの異種バージョンをインスタンス化する。提案するDP-Heroの有効性を検証・説明するための総合的な実験を行い,最新技術と比較するとトレーニング精度が向上した。
論文参考訳（メタデータ） (2024-09-05T08:40:54Z)
Analyzing Inference Privacy Risks Through Gradients in Machine Learning [17.2657358645072]
本稿では,属性,プロパティ,配布,ユーザ開示など幅広い攻撃を対象とするゲームベースの統合フレームワークを提案する。本結果は,分散学習における推論攻撃に対するプライバシを実現するために,データ集約のみを頼りにすることの有効性を示した。
論文参考訳（メタデータ） (2024-08-29T21:21:53Z)
DPSUR: Accelerating Differentially Private Stochastic Gradient Descent Using Selective Update and Release [29.765896801370612]
本稿では,Selective Updates and Releaseに基づく差分プライベートトレーニングフレームワークを提案する。主な課題は、プライバシに関する懸念と、モデル更新のための勾配選択戦略の2つの側面にある。 MNIST,FMNIST, CIFAR-10, IMDBデータセットを用いて行った実験により, DPSURは収束速度において従来よりも大幅に優れていたことがわかった。
論文参考訳（メタデータ） (2023-11-23T15:19:30Z)
DP-SGD with weight clipping [1.0878040851638]
従来の勾配クリッピングから生じるバイアスを緩和する新しい手法を提案する。探索領域内における現在のモデルのリプシッツ値の公開上界と現在の位置を有効利用することにより、改良されたノイズレベル調整を実現することができる。
論文参考訳（メタデータ） (2023-10-27T09:17:15Z)
Securing Distributed SGD against Gradient Leakage Threats [13.979995939926154]
本稿では, 勾配漏れ弾性分布勾配Descent (SGD) に対する総合的アプローチを提案する。プライバシー強化型フェデレーション学習の2つの方法として, (i) ランダム選択や低ランクフィルタリングによるグラデーションプルーニング, (ii) 付加的ランダムノイズや差分プライバシーノイズによる勾配摂動について分析した。本稿では,分散SGDをフェデレート学習において確保するための勾配リーク耐性手法を提案する。
論文参考訳（メタデータ） (2023-05-10T21:39:27Z)
On the Interaction Between Differential Privacy and Gradient Compression in Deep Learning [55.22219308265945]
差分プライバシーと勾配圧縮のガウス的メカニズムがディープラーニングにおけるテスト精度にどのように影響するかを考察する。勾配圧縮は一般に非プライベートトレーニングではテスト精度に悪影響を及ぼすが、差分プライベートトレーニングではテスト精度を改善することがある。
論文参考訳（メタデータ） (2022-11-01T20:28:45Z)
Differentially Private Stochastic Gradient Descent with Low-Noise [49.981789906200035]
現代の機械学習アルゴリズムは、データからきめ細かい情報を抽出して正確な予測を提供することを目的としており、プライバシー保護の目標と矛盾することが多い。本稿では、プライバシを保ちながら優れたパフォーマンスを確保するために、プライバシを保存する機械学習アルゴリズムを開発することの実践的および理論的重要性について論じる。
論文参考訳（メタデータ） (2022-09-09T08:54:13Z)
Adaptive Differentially Private Empirical Risk Minimization [95.04948014513226]
本稿では,適応的(確率的)勾配摂動法を提案する。 ADP法は,バニラランダムノイズを付加した標準微分プライベート法と比較して,実用性保証を大幅に改善することを示す。
論文参考訳（メタデータ） (2021-10-14T15:02:20Z)
Do Not Let Privacy Overbill Utility: Gradient Embedding Perturbation for Private Learning [74.73901662374921]
差分プライベートモデルは、モデルが多数のトレーニング可能なパラメータを含む場合、ユーティリティを劇的に劣化させる。偏微分プライベート深層モデルの精度向上のためのアルゴリズムemphGradient Embedding Perturbation (GEP)を提案する。
論文参考訳（メタデータ） (2021-02-25T04:29:58Z)
Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
論文参考訳（メタデータ） (2020-05-01T04:28:38Z)
An Accuracy-Lossless Perturbation Method for Defending Privacy Attacks in Federated Learning [82.80836918594231]
フェデレーション学習は、生データではなく、局所的な勾配やパラメータを交換することで、トレーニングデータのプライバシを改善する。敵は、局所勾配とパラメータを利用して、再構築とメンバーシップ推論攻撃を起動することで、局所的なトレーニングデータを取得することができる。このようなプライバシ攻撃を防御するために、多くのノイズ摂動法が広く設計されている。
論文参考訳（メタデータ） (2020-02-23T06:50:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。