論文の概要: TMI! Finetuned Models Leak Private Information from their Pretraining Data
- arxiv url: http://arxiv.org/abs/2306.01181v3
- Date: Wed, 16 Oct 2024 18:55:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-18 13:16:24.916245
- Title: TMI! Finetuned Models Leak Private Information from their Pretraining Data
- Title（参考訳）: TMI! 事前学習データから個人情報を漏洩したモデル
- Authors: John Abascal, Stanley Wu, Alina Oprea, Jonathan Ullman,
- Abstract要約: 我々は,敵が細かなモデルにのみアクセス可能な新しいメンバーシップ推論脅威モデルを提案する。
我々は、複数の移動学習環境において、視覚と自然言語の両方のタスクに対して$textbfTMI$を評価した。
$textbfTMI$のオープンソース実装はGitHubにある。
- 参考スコア（独自算出の注目度）: 5.150344987657356
- License:
- Abstract: Transfer learning has become an increasingly popular technique in machine learning as a way to leverage a pretrained model trained for one task to assist with building a finetuned model for a related task. This paradigm has been especially popular for $\textit{privacy}$ in machine learning, where the pretrained model is considered public, and only the data for finetuning is considered sensitive. However, there are reasons to believe that the data used for pretraining is still sensitive, making it essential to understand how much information the finetuned model leaks about the pretraining data. In this work we propose a new membership-inference threat model where the adversary only has access to the finetuned model and would like to infer the membership of the pretraining data. To realize this threat model, we implement a novel metaclassifier-based attack, $\textbf{TMI}$, that leverages the influence of memorized pretraining samples on predictions in the downstream task. We evaluate $\textbf{TMI}$ on both vision and natural language tasks across multiple transfer learning settings, including finetuning with differential privacy. Through our evaluation, we find that $\textbf{TMI}$ can successfully infer membership of pretraining examples using query access to the finetuned model. An open-source implementation of $\textbf{TMI}$ can be found on GitHub: https://github.com/johnmath/tmi-pets24.
- Abstract（参考訳）: 伝達学習は、あるタスクのために訓練された事前訓練されたモデルを活用して、関連するタスクのための微調整されたモデル構築を支援する手段として、機械学習において、ますます人気が高まっている。
このパラダイムは機械学習における$\textit{privacy}$で特に人気があり、事前訓練されたモデルはパブリックと見なされ、微調整のためのデータのみがセンシティブであると考えられている。
しかし、事前トレーニングに使用するデータがまだセンシティブであると考える理由があり、微調整されたモデルが事前トレーニングデータについてどの程度の情報漏えいするかを理解することが不可欠である。
本研究では,対戦相手が微調整されたモデルにのみアクセスでき,事前学習したデータのメンバシップを推測する新たなメンバシップ推論脅威モデルを提案する。
この脅威モデルを実現するために、下流タスクの予測に対する記憶済み事前学習サンプルの影響を利用した新しいメタクラス化攻撃である$\textbf{TMI}$を実装した。
差分プライバシによる微調整を含む,複数のトランスファー学習環境における視覚および自然言語タスクの両面で,$\textbf{TMI}$を評価した。
評価の結果、$\textbf{TMI}$は、細かなモデルへのクエリアクセスを使用して、事前学習したサンプルのメンバシップを推測できることがわかった。
https://github.com/johnmath/tmi-pets24。
関連論文リスト
- Forget to Flourish: Leveraging Machine-Unlearning on Pretrained Language Models for Privacy Leakage [12.892449128678516]
下流アプリケーション用のプライベートデータ上の微調整言語モデルは、重大なプライバシーリスクを生じさせる。
いくつかの人気のあるコミュニティプラットフォームが、様々な事前訓練されたモデルの便利な配布を提供している。
本稿では,モデル学習を攻撃ツールとして利用する新しい毒殺手法を提案する。
論文 参考訳（メタデータ） (2024-08-30T15:35:09Z) - Model Inversion Robustness: Can Transfer Learning Help? [27.883074562565877]
Model Inversion (MI)攻撃は、機械学習モデルへのアクセスを悪用することで、プライベートトレーニングデータを再構築することを目的としている。
我々は,MI-robustモデルをレンダリングするために,Transfer Learning-based Defense against Model Inversion (TL-DMI)を提案する。
ベルとホイッスルを使わずにSOTA(State-of-the-art)MIロバスト性を実現する。
論文 参考訳（メタデータ） (2024-05-09T07:24:28Z) - LMEraser: Large Model Unlearning through Adaptive Prompt Tuning [21.141664917477257]
LMEraserは、データインフルエンスを分離するために、迅速なチューニングアーキテクチャを備えた、分割とコンカマーの戦略を採用している。
実験の結果,LMEraserは精度を損なうことなく,学習コストを100ドル程度削減できることがわかった。
論文 参考訳（メタデータ） (2024-04-17T04:08:38Z) - Pandora's White-Box: Precise Training Data Detection and Extraction in Large Language Models [4.081098869497239]
我々は,大規模言語モデル(LLM)に対する最先端のプライバシ攻撃を開発する。
事前訓練されたLLMに対する新たなメンバーシップ推論攻撃(MIA)は、ベースライン攻撃の数百倍の精度で実行される。
微調整では, ベースモデルと微調整モデルとの損失率に基づく単純な攻撃により, ほぼ完全なMIA性能が得られることがわかった。
論文 参考訳（メタデータ） (2024-02-26T20:41:50Z) - Don't Memorize; Mimic The Past: Federated Class Incremental Learning
Without Episodic Memory [36.4406505365313]
本稿では,過去のデータの一部を格納するのではなく,生成モデルを用いて過去の分布からサンプルを合成する,連邦化クラスインクリメンタルラーニングのためのフレームワークを提案する。
生成モデルは、クライアントからデータを要求することなく、各タスクの最後にデータフリーのメソッドを使用してサーバ上でトレーニングされる。
論文 参考訳（メタデータ） (2023-07-02T07:06:45Z) - Synthetic Model Combination: An Instance-wise Approach to Unsupervised
Ensemble Learning [92.89846887298852]
ラベル付きデータのトレーニングセットから学ぶ機会のない、新しいテストデータに対する予測を検討する。
専門家モデルのセットと予測へのアクセスと、トレーニングに使用するデータセットに関する制限された情報を提供すること。
論文 参考訳（メタデータ） (2022-10-11T10:20:31Z) - CANIFE: Crafting Canaries for Empirical Privacy Measurement in Federated
Learning [77.27443885999404]
Federated Learning(FL)は、分散環境で機械学習モデルをトレーニングするための設定である。
本稿では,訓練ラウンドの経験的プライバシを評価するために,強敵による慎重なサンプル作成手法であるCANIFEを提案する。
論文 参考訳（メタデータ） (2022-10-06T13:30:16Z) - Datamodels: Predicting Predictions from Training Data [86.66720175866415]
本稿では,モデルクラスの振る舞いを学習データの観点から分析するための概念的枠組みであるデータモデリングについて述べる。
単純な線形データモデルであっても、モデル出力をうまく予測できることが示される。
論文 参考訳（メタデータ） (2022-02-01T18:15:24Z) - bert2BERT: Towards Reusable Pretrained Language Models [51.078081486422896]
本稿では,既存のより小さな事前学習モデルの知識を大規模モデルに効果的に伝達できるbert2BERTを提案する。
bert2BERTは、ほぼ半分の大きさのモデルを再利用することで、BERT_BASEとGPT_BASEの事前トレーニングに約45%と47%の計算コストを節約する。
論文 参考訳（メタデータ） (2021-10-14T04:05:25Z) - LogME: Practical Assessment of Pre-trained Models for Transfer Learning [80.24059713295165]
最大エビデンス対数(logme)は、転送学習のための事前学習されたモデルを評価するために用いられる。
ブルートフォースの微調整と比較して、LogMEはウォールクロックタイムで3000times$のスピードアップをもたらします。
論文 参考訳（メタデータ） (2021-02-22T13:58:11Z) - Knowledge-Enriched Distributional Model Inversion Attacks [49.43828150561947]
モデルインバージョン(MI)攻撃は、モデルパラメータからトレーニングデータを再構成することを目的としている。
本稿では,パブリックデータからプライベートモデルに対する攻撃を行うのに役立つ知識を抽出する,新しい反転型GANを提案する。
実験の結果,これらの手法を組み合わせることで,最先端MI攻撃の成功率を150%向上させることができることがわかった。
論文 参考訳（メタデータ） (2020-10-08T16:20:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。