論文の概要: Information Leakage from Data Updates in Machine Learning Models
- arxiv url: http://arxiv.org/abs/2309.11022v1
- Date: Wed, 20 Sep 2023 02:55:03 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-21 17:35:03.817392
- Title: Information Leakage from Data Updates in Machine Learning Models
- Title（参考訳）: 機械学習モデルにおけるデータ更新からの情報漏洩
- Authors: Tian Hui, Farhad Farokhi, Olga Ohrimenko
- Abstract要約: 我々は、最新の情報を組み込んだり、分散シフトを反映するために、機械学習モデルが更新データセット上で再トレーニングされる環境を検討する。
ここでは、敵はデータセットの変更前後で機械学習モデルのスナップショットにアクセスする。
本稿では,元のモデルと更新モデルの予測信頼度の違いに基づく攻撃を提案する。
- 参考スコア（独自算出の注目度）: 12.337195143722342
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper we consider the setting where machine learning models are
retrained on updated datasets in order to incorporate the most up-to-date
information or reflect distribution shifts. We investigate whether one can
infer information about these updates in the training data (e.g., changes to
attribute values of records). Here, the adversary has access to snapshots of
the machine learning model before and after the change in the dataset occurs.
Contrary to the existing literature, we assume that an attribute of a single or
multiple training data points are changed rather than entire data records are
removed or added. We propose attacks based on the difference in the prediction
confidence of the original model and the updated model. We evaluate our attack
methods on two public datasets along with multi-layer perceptron and logistic
regression models. We validate that two snapshots of the model can result in
higher information leakage in comparison to having access to only the updated
model. Moreover, we observe that data records with rare values are more
vulnerable to attacks, which points to the disparate vulnerability of privacy
attacks in the update setting. When multiple records with the same original
attribute value are updated to the same new value (i.e., repeated changes), the
attacker is more likely to correctly guess the updated values since repeated
changes leave a larger footprint on the trained model. These observations point
to vulnerability of machine learning models to attribute inference attacks in
the update setting.
- Abstract（参考訳）: 本稿では、最新の情報を取り入れたり、分布シフトを反映するために、更新されたデータセット上で機械学習モデルを再トレーニングする設定について検討する。
トレーニングデータ(レコードの属性値の変更など)でこれらの更新に関する情報を推測できるかどうかを検討する。
ここで、敵はデータセットの変更の前後で、機械学習モデルのスナップショットにアクセスすることができる。
既存の文献とは対照的に、データレコード全体を削除または追加するのではなく、単一または複数のトレーニングデータポイントの属性を変更すると仮定する。
本稿では,元のモデルと更新モデルの予測信頼度の違いに基づく攻撃を提案する。
多層パーセプトロンとロジスティック回帰モデルを用いて,2つの公開データセットに対する攻撃手法の評価を行った。
モデルの2つのスナップショットが更新されたモデルにのみアクセスするのに比べて高い情報漏洩をもたらすことを検証した。
さらに,レア値のデータ記録は,更新時のプライバシ攻撃の脆弱性を指摘し,攻撃に対してより脆弱であることを確認した。
同じ元の属性値を持つ複数のレコードが同じ新しい値に更新される場合(つまり、繰り返しの変更)、アタッカーはトレーニングされたモデルにより大きなフットプリントを残すため、更新された値を正しく推測する可能性が高い。
これらの観察は、更新設定で推論攻撃を属性付ける機械学習モデルの脆弱性を示している。
関連論文リスト
- Reconstruction Attacks on Machine Unlearning: Simple Models are Vulnerable [30.22146634953896]
線形回帰モデルから削除したデータポイントに対して、ほぼ完璧な攻撃をマウントする方法を示す。
我々の研究は、個人がモデルからデータの削除を要求できる非常に単純なモデルクラスであっても、プライバシリスクが重要であることを強調している。
論文 参考訳（メタデータ） (2024-05-30T17:27:44Z) - JPAVE: A Generation and Classification-based Model for Joint Product
Attribute Prediction and Value Extraction [59.94977231327573]
JPAVEと呼ばれる値生成/分類と属性予測を備えたマルチタスク学習モデルを提案する。
我々のモデルの2つの変種は、オープンワールドとクローズドワールドのシナリオのために設計されている。
公開データセットにおける実験結果は,強いベースラインと比較して,我々のモデルが優れていることを示す。
論文 参考訳（メタデータ） (2023-11-07T18:36:16Z) - Boosting Model Inversion Attacks with Adversarial Examples [26.904051413441316]
ブラックボックス設定において、より高い攻撃精度を達成できる学習ベースモデル反転攻撃のための新しい訓練パラダイムを提案する。
まず,攻撃モデルの学習過程を,意味的損失関数を追加して規則化する。
第2に、学習データに逆例を注入し、クラス関連部の多様性を高める。
論文 参考訳（メタデータ） (2023-06-24T13:40:58Z) - Client-specific Property Inference against Secure Aggregation in
Federated Learning [52.8564467292226]
フェデレートラーニングは、さまざまな参加者の間で共通のモデルを協調的に訓練するための、広く使われているパラダイムとなっている。
多くの攻撃は、メンバーシップ、資産、または参加者データの完全な再構築のような機密情報を推測することは依然として可能であることを示した。
単純な線形モデルでは、集約されたモデル更新からクライアント固有のプロパティを効果的にキャプチャできることが示される。
論文 参考訳（メタデータ） (2023-03-07T14:11:01Z) - Learning to Unlearn: Instance-wise Unlearning for Pre-trained
Classifiers [71.70205894168039]
そこでは、事前訓練されたモデルからインスタンスのセットに関する情報を削除することを目標としています。
本稿では,1)表現レベルでの忘れを克服するために,敵の例を活用すること,2)不必要な情報を伝播するネットワークパラメータをピンポイントする重み付け指標を活用すること,の2つの方法を提案する。
論文 参考訳（メタデータ） (2023-01-27T07:53:50Z) - Synthetic Model Combination: An Instance-wise Approach to Unsupervised
Ensemble Learning [92.89846887298852]
ラベル付きデータのトレーニングセットから学ぶ機会のない、新しいテストデータに対する予測を検討する。
専門家モデルのセットと予測へのアクセスと、トレーニングに使用するデータセットに関する制限された情報を提供すること。
論文 参考訳（メタデータ） (2022-10-11T10:20:31Z) - Revisiting the Updates of a Pre-trained Model for Few-shot Learning [11.871523410051527]
我々は2つの人気のある更新手法、微調整と線形探索を比較した。
試料数の増加に伴い, 微調整は線形探索より優れていることがわかった。
論文 参考訳（メタデータ） (2022-05-13T08:47:06Z) - How to Combine Membership-Inference Attacks on Multiple Updated Models [14.281721121930035]
本稿では,1つ以上のモデル更新を利用する新たな攻撃を提案し,メンバーシップ推論(MI)を改善する。
このアプローチの重要な部分は、オリジナルのモデルと更新されたモデルとを別々に実装したスタンドアロンMI攻撃からの豊富な情報を活用することです。
4つの公開データセットの結果から、我々の攻撃はアップデート情報を使用することで、敵がスタンドアロンモデルに対する攻撃に対して大きな優位性を持つことを示す。
論文 参考訳（メタデータ） (2022-05-12T21:14:11Z) - Machine Unlearning of Features and Labels [72.81914952849334]
機械学習モデルにおけるアンラーニングとラベルのファーストシナリオを提案する。
提案手法は,影響関数の概念に基づいて,モデルパラメータのクローズドフォーム更新によるアンラーニングを実現する。
論文 参考訳（メタデータ） (2021-08-26T04:42:24Z) - Manipulating SGD with Data Ordering Attacks [23.639512087220137]
基礎となるモデルデータセットやアーキテクチャを変更する必要のない,一連のトレーニングタイムアタックを提示する。
特に、アタッカーはトレーニングバッチをリオーダーするだけでモデルの完全性と可用性を損なう可能性がある。
攻撃は、攻撃後数百エポックというモデル性能を低下させるという長期的な影響をもたらす。
論文 参考訳（メタデータ） (2021-04-19T22:17:27Z) - Knowledge-Enriched Distributional Model Inversion Attacks [49.43828150561947]
モデルインバージョン(MI)攻撃は、モデルパラメータからトレーニングデータを再構成することを目的としている。
本稿では,パブリックデータからプライベートモデルに対する攻撃を行うのに役立つ知識を抽出する,新しい反転型GANを提案する。
実験の結果,これらの手法を組み合わせることで,最先端MI攻撃の成功率を150%向上させることができることがわかった。
論文 参考訳（メタデータ） (2020-10-08T16:20:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。