論文の概要: Membership Inference Attacks and Defenses in Neural Network Pruning
- arxiv url: http://arxiv.org/abs/2202.03335v1
- Date: Mon, 7 Feb 2022 16:31:53 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-08 17:07:58.001010
- Title: Membership Inference Attacks and Defenses in Neural Network Pruning
- Title（参考訳）: ニューラルネットワークプルーニングにおけるメンバーシップ推論攻撃と防御
- Authors: Xiaoyong Yuan, Lan Zhang
- Abstract要約: ニューラルネットワークのプルーニングにおいて、プライバシリスクを初めて分析する。
具体的には,ニューラルネットワークのプルーニングがデータプライバシのトレーニングに与える影響について検討する。
本稿では,予測分岐を緩和し,刈り込みプロセスを保護するための新しい防御機構を提案する。
- 参考スコア（独自算出の注目度）: 5.856147967309101
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural network pruning has been an essential technique to reduce the
computation and memory requirements for using deep neural networks for
resource-constrained devices. Most existing research focuses primarily on
balancing the sparsity and accuracy of a pruned neural network by strategically
removing insignificant parameters and retraining the pruned model. Such efforts
on reusing training samples pose serious privacy risks due to increased
memorization, which, however, has not been investigated yet.
In this paper, we conduct the first analysis of privacy risks in neural
network pruning. Specifically, we investigate the impacts of neural network
pruning on training data privacy, i.e., membership inference attacks. We first
explore the impact of neural network pruning on prediction divergence, where
the pruning process disproportionately affects the pruned model's behavior for
members and non-members. Meanwhile, the influence of divergence even varies
among different classes in a fine-grained manner. Enlighten by such divergence,
we proposed a self-attention membership inference attack against the pruned
neural networks. Extensive experiments are conducted to rigorously evaluate the
privacy impacts of different pruning approaches, sparsity levels, and adversary
knowledge. The proposed attack shows the higher attack performance on the
pruned models when compared with eight existing membership inference attacks.
In addition, we propose a new defense mechanism to protect the pruning process
by mitigating the prediction divergence based on KL-divergence distance, whose
effectiveness has been experimentally demonstrated to effectively mitigate the
privacy risks while maintaining the sparsity and accuracy of the pruned models.
- Abstract（参考訳）: ニューラルネットワークのプルーニングは、リソースに制約のあるデバイスにディープニューラルネットワークを使用するための計算とメモリ要件を削減するために不可欠な技術である。
既存の研究のほとんどは、重要なパラメータを戦略的に除去し、プルーンドモデルを再訓練することで、プルーンドニューラルネットワークの空間性と精度のバランスに重点を置いている。
このようなトレーニングサンプルの再利用は、記憶の増大によるプライバシー上の重大なリスクをもたらすが、まだ調査されていない。
本稿では,ニューラルネットワークのプルーニングにおいて,プライバシリスクに関する最初の分析を行う。
具体的には,ニューラルネットワークプルーニングがデータプライバシのトレーニング,すなわちメンバシップ推論攻撃に与える影響について検討する。
まず, 予測発散に対するニューラルネットワークプルーニングの影響について検討し, プルーニングプロセスがメンバや非メンバに対するプルーニングモデルの振る舞いに不釣り合いに影響を及ぼす場合について検討した。
一方,分岐の影響は,細粒度で異なるクラスによっても変化する。
このようなばらつきに悟り、我々はプルーンドニューラルネットワークに対する自己注意型メンバーシップ推論攻撃を提案した。
異なるプルーニングアプローチ、疎度レベル、および敵対的知識のプライバシーへの影響を厳格に評価するために、広範囲にわたる実験が行われた。
提案攻撃は,既存の8つのメンバーシップ推論攻撃と比較して,プルーンドモデルに対する高い攻撃性能を示す。
さらに,KL偏差距離に基づく予測偏差を緩和し,プライバシリスクを効果的に軽減し,プルーニングプロセスを保護するための新しい防御機構を提案する。
関連論文リスト
- Confident magnitude-based neural network pruning [0.0]
ニューラルネットワークのプルーニングは、ディープラーニングモデルの効率向上とメモリストレージの削減に成功している。
我々は、分布のない不確実性定量化に関する最近の技術を活用し、深いニューラルネットワークを圧縮するための有限サンプル統計保証を提供する。
この研究は、不確実性を認識したプルーニングが、スパースニューラルネットワークを安全にデプロイするための有用なアプローチであることを示すために、コンピュータビジョンタスクでの実験を示す。
論文 参考訳（メタデータ） (2024-08-08T21:29:20Z) - Investigating Human-Identifiable Features Hidden in Adversarial
Perturbations [54.39726653562144]
我々の研究では、最大5つの攻撃アルゴリズムを3つのデータセットにわたって探索する。
対人摂動における人間の識別可能な特徴を同定する。
画素レベルのアノテーションを用いて、そのような特徴を抽出し、ターゲットモデルに妥協する能力を実証する。
論文 参考訳（メタデータ） (2023-09-28T22:31:29Z) - Can pruning improve certified robustness of neural networks? [106.03070538582222]
ニューラルネット・プルーニングはディープ・ニューラル・ネットワーク(NN)の実証的ロバスト性を向上させることができることを示す。
実験の結果,NNを適切に刈り取ることで,その精度を8.2%まで向上させることができることがわかった。
さらに,認証された宝くじの存在が,従来の密集モデルの標準および認証された堅牢な精度に一致することを観察する。
論文 参考訳（メタデータ） (2022-06-15T05:48:51Z) - Efficient and Robust Classification for Sparse Attacks [34.48667992227529]
我々は、画像認識、自然言語処理、マルウェア検出の領域において効果的な攻撃として示されてきた$ell$-normで束縛された摂動を考える。
我々は,「トランケーション」と「アドリアル・トレーニング」を組み合わせた新しい防衛手法を提案する。
得られた洞察に触発され、これらのコンポーネントをニューラルネットワーク分類器に拡張する。
論文 参考訳（メタデータ） (2022-01-23T21:18:17Z) - Few-shot Backdoor Defense Using Shapley Estimation [123.56934991060788]
我々は、深層ニューラルネットワークに対するバックドア攻撃を軽減するために、Shapley Pruningと呼ばれる新しいアプローチを開発した。
ShapPruningは、感染した数少ないニューロン(全ニューロンの1%以下)を特定し、モデルの構造と正確性を保護する。
様々な攻撃やタスクに対して,本手法の有効性とロバスト性を示す実験を行った。
論文 参考訳（メタデータ） (2021-12-30T02:27:03Z) - Pruning in the Face of Adversaries [0.0]
ニューラルネットワークのプルーニングがL-0,L-2,L-infinity攻撃に対する対向的ロバスト性に及ぼす影響を評価する。
その結果,ニューラルネットワークのプルーニングと対向ロバスト性は相互に排他的ではないことが確認された。
分析を敵のシナリオに付加的な仮定を取り入れた状況にまで拡張し、状況によって異なる戦略が最適であることを示す。
論文 参考訳（メタデータ） (2021-08-19T09:06:16Z) - Residual Error: a New Performance Measure for Adversarial Robustness [85.0371352689919]
ディープラーニングの広く普及を制限する大きな課題は、敵の攻撃に対する脆弱さである。
本研究は,ディープニューラルネットワークの対角強靭性を評価するための新しい性能尺度である残留誤差の概念を提示する。
画像分類を用いた実験結果から,提案手法の有効性と有効性を示した。
論文 参考訳（メタデータ） (2021-06-18T16:34:23Z) - Improving Adversarial Robustness by Enforcing Local and Global
Compactness [19.8818435601131]
敵の訓練は、広範囲の攻撃に一貫して抵抗する最も成功した方法である。
本稿では,局所的・言語的コンパクト性とクラスタリングの仮定を強制する分散分散化ネットワークを提案する。
実験の結果,提案するコンポーネントによる対人訓練の強化は,ネットワークの堅牢性をさらに向上させる可能性が示唆された。
論文 参考訳（メタデータ） (2020-07-10T00:43:06Z) - Feature Purification: How Adversarial Training Performs Robust Deep
Learning [66.05472746340142]
ニューラルネットワークのトレーニングプロセス中に隠れた重みに、特定の小さな密度の混合物が蓄積されることが、敵の例の存在の原因の1つであることを示す。
この原理を説明するために、CIFAR-10データセットの両実験と、ある自然な分類タスクに対して、ランダムな勾配勾配勾配を用いた2層ニューラルネットワークをトレーニングすることを証明する理論的結果を示す。
論文 参考訳（メタデータ） (2020-05-20T16:56:08Z) - Learn2Perturb: an End-to-end Feature Perturbation Learning to Improve
Adversarial Robustness [79.47619798416194]
Learn2Perturbは、ディープニューラルネットワークの対角的堅牢性を改善するために、エンドツーエンドの機能摂動学習アプローチである。
予測最大化にインスパイアされ、ネットワークと雑音パラメータを連続的にトレーニングするために、交互にバックプロパゲーショントレーニングアルゴリズムが導入された。
論文 参考訳（メタデータ） (2020-03-02T18:27:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。