論文の概要: Modelling and Quantifying Membership Information Leakage in Machine
Learning
- arxiv url: http://arxiv.org/abs/2001.10648v2
- Date: Tue, 28 Apr 2020 00:43:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-05 21:11:53.021487
- Title: Modelling and Quantifying Membership Information Leakage in Machine
Learning
- Title（参考訳）: 機械学習における会員情報漏洩のモデル化と定量化
- Authors: Farhad Farokhi and Mohamed Ali Kaafar
- Abstract要約: 我々は、ディープニューラルネットワークのような複雑なモデルが、メンバーシップ推論攻撃の影響を受けやすいことを示す。
本稿では,Gaussian $(epsilon,delta)$-differentially-private additive noiseを使用する場合,メンバシップ情報漏洩の量は$mathcalO(log1/2(delta-1)epsilon-1)$で減少することを示す。
- 参考スコア（独自算出の注目度）: 14.095523601311374
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Machine learning models have been shown to be vulnerable to membership
inference attacks, i.e., inferring whether individuals' data have been used for
training models. The lack of understanding about factors contributing success
of these attacks motivates the need for modelling membership information
leakage using information theory and for investigating properties of machine
learning models and training algorithms that can reduce membership information
leakage. We use conditional mutual information leakage to measure the amount of
information leakage from the trained machine learning model about the presence
of an individual in the training dataset. We devise an upper bound for this
measure of information leakage using Kullback--Leibler divergence that is more
amenable to numerical computation. We prove a direct relationship between the
Kullback--Leibler membership information leakage and the probability of success
for a hypothesis-testing adversary examining whether a particular data record
belongs to the training dataset of a machine learning model. We show that the
mutual information leakage is a decreasing function of the training dataset
size and the regularization weight. We also prove that, if the sensitivity of
the machine learning model (defined in terms of the derivatives of the fitness
with respect to model parameters) is high, more membership information is
potentially leaked. This illustrates that complex models, such as deep neural
networks, are more susceptible to membership inference attacks in comparison to
simpler models with fewer degrees of freedom. We show that the amount of the
membership information leakage is reduced by
$\mathcal{O}(\log^{1/2}(\delta^{-1})\epsilon^{-1})$ when using Gaussian
$(\epsilon,\delta)$-differentially-private additive noises.
- Abstract（参考訳）: 機械学習モデルは、個人のデータがトレーニングモデルに使われているかどうかを推測するなど、メンバシップ推論攻撃に弱いことが示されている。
これらの攻撃の成功に寄与する要因に関する理解の欠如は、情報理論を用いた会員情報漏洩のモデル化と、会員情報漏洩を減らす機械学習モデルとトレーニングアルゴリズムの性質の調査の必要性を動機付けている。
条件付き相互情報漏洩を用いて、トレーニングデータセットにおける個人の存在に関するトレーニング機械学習モデルからの情報漏洩量を測定する。
我々は,Kulback-Leibler分散を用いたこの情報漏洩対策の上限を数値計算に適しており,Kulback-Leiblerメンバシップ情報漏洩と,特定のデータレコードが機械学習モデルのトレーニングデータセットに属するか否かを検証した仮説検証相手に対する成功率との直接的な関係を証明している。
相互情報漏洩はトレーニングデータセットサイズと正規化重みの減少機能であることを示す。
また、機械学習モデルの感度(モデルパラメータに対する適合性の導出によって定義される)が高ければ、より多くのメンバーシップ情報が漏洩する可能性があることを実証する。
これは、ディープニューラルネットワークのような複雑なモデルが、自由度が低い単純なモデルに比べて、メンバーシップ推論攻撃の影響を受けやすいことを示している。
会員情報漏洩の量はガウス$(\epsilon,\delta)$-差分的な付加雑音を使用する場合、$\mathcal{O}(\log^{1/2}(\delta^{-1})\epsilon^{-1})$で減少することを示す。
関連論文リスト
- Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning
Interference with Gradient Projection [56.292071534857946]
最近のデータプライバシ法は、機械学習への関心を喚起している。
課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。
我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。
トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
論文 参考訳（メタデータ） (2023-12-07T07:17:24Z) - AI Model Disgorgement: Methods and Choices [127.54319351058167]
本稿では,現代の機械学習システムに適用可能な分類法を紹介する。
学習モデルにおけるデータ「効果の除去」の意味を,スクラッチからリトレーニングする必要のない方法で検討する。
論文 参考訳（メタデータ） (2023-04-07T08:50:18Z) - Can Membership Inferencing be Refuted? [31.31060116447964]
本研究では,実際に会員推論攻撃の信頼性について検討する。
モデルオーナは,データポイント$x$のメンバシップ推論テストの結果に対して,検証の証明を構築することで,妥当に反証できることを示す。
本研究の結果は,実際に会員推論攻撃がもたらす影響を再評価するものである。
論文 参考訳（メタデータ） (2023-03-07T04:36:35Z) - Reconstructing Training Data from Model Gradient, Provably [68.21082086264555]
ランダムに選択されたパラメータ値で1つの勾配クエリからトレーニングサンプルを再構成する。
センシティブなトレーニングデータを示す証明可能な攻撃として、われわれの発見はプライバシーに対する深刻な脅威を示唆している。
論文 参考訳（メタデータ） (2022-12-07T15:32:22Z) - Learning from aggregated data with a maximum entropy model [73.63512438583375]
我々は,観測されていない特徴分布を最大エントロピー仮説で近似することにより,ロジスティック回帰と類似した新しいモデルが,集約データからのみ学習されることを示す。
我々は、この方法で学習したモデルが、完全な非凝集データでトレーニングされたロジスティックモデルに匹敵するパフォーマンスを達成することができるという、いくつかの公開データセットに関する実証的な証拠を提示する。
論文 参考訳（メタデータ） (2022-10-05T09:17:27Z) - Mutual Information Learned Classifiers: an Information-theoretic
Viewpoint of Training Deep Learning Classification Systems [9.660129425150926]
クロスエントロピー損失は、重度のオーバーフィッティング動作を示すモデルを見つけるのに容易である。
本稿では,既存のDNN分類器のクロスエントロピー損失最小化が,基礎となるデータ分布の条件エントロピーを本質的に学習することを証明する。
ラベルと入力の相互情報を学習することで、DNN分類器を訓練する相互情報学習フレームワークを提案する。
論文 参考訳（メタデータ） (2022-10-03T15:09:19Z) - Few-Shot Non-Parametric Learning with Deep Latent Variable Model [50.746273235463754]
遅延変数を用いた圧縮による非パラメトリック学習(NPC-LV)を提案する。
NPC-LVは、ラベルなしデータが多いがラベル付きデータはほとんどないデータセットの学習フレームワークである。
我々は,NPC-LVが低データ構造における画像分類における3つのデータセットの教師あり手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2022-06-23T09:35:03Z) - Enhanced Membership Inference Attacks against Machine Learning Models [9.26208227402571]
メンバーシップ推論攻撃は、モデルがトレーニングセット内の個々のデータポイントについてリークする個人情報の定量化に使用される。
我々は,AUCスコアを高い精度で達成できる新たな攻撃アルゴリズムを導き,その性能に影響を及ぼすさまざまな要因を強調した。
我々のアルゴリズムは、モデルにおけるプライバシ損失の極めて正確な近似を捉え、機械学習モデルにおけるプライバシリスクの正確かつ詳細な推定を行うためのツールとして使用することができる。
論文 参考訳（メタデータ） (2021-11-18T13:31:22Z) - Machine Unlearning of Features and Labels [72.81914952849334]
機械学習モデルにおけるアンラーニングとラベルのファーストシナリオを提案する。
提案手法は,影響関数の概念に基づいて,モデルパラメータのクローズドフォーム更新によるアンラーニングを実現する。
論文 参考訳（メタデータ） (2021-08-26T04:42:24Z) - Bounding Information Leakage in Machine Learning [26.64770573405079]
本稿では,情報漏洩の基本的な境界について検討する。
最悪の会員推論攻撃の成功率を特定し、拘束します。
感度の高い属性とモデルパラメータの間の相互情報の境界を導出する。
論文 参考訳（メタデータ） (2021-05-09T08:49:14Z) - Measuring Data Leakage in Machine-Learning Models with Fisher
Information [35.20523017255285]
機械学習モデルには、トレーニングしたデータに関する情報が含まれている。
この情報はモデル自身あるいはモデルによる予測を通じてリークする。
本稿では,データに関するモデルのフィッシャー情報を用いて,この漏洩を定量化する手法を提案する。
論文 参考訳（メタデータ） (2021-02-23T13:02:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。