論文の概要: TMI! Finetuned Models Leak Private Information from their Pretraining
Data
- arxiv url: http://arxiv.org/abs/2306.01181v1
- Date: Thu, 1 Jun 2023 22:29:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-05 17:33:02.763721
- Title: TMI! Finetuned Models Leak Private Information from their Pretraining
Data
- Title(参考訳): TMI!
微調整モデル、事前訓練データから個人情報を漏洩
- Authors: John Abascal, Stanley Wu, Alina Oprea, Jonathan Ullman
- Abstract要約: 我々は,敵が細かなモデルにのみアクセス可能な新しいメンバーシップ推論脅威モデルを提案する。
視覚と自然言語の両方のタスクにおいて、TMIを複数の移動学習設定で評価する。
- 参考スコア(独自算出の注目度): 9.347425063665485
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Transfer learning has become an increasingly popular technique in machine
learning as a way to leverage a pretrained model trained for one task to assist
with building a finetuned model for a related task. This paradigm has been
especially popular for privacy in machine learning, where the pretrained model
is considered public, and only the data for finetuning is considered sensitive.
However, there are reasons to believe that the data used for pretraining is
still sensitive, making it essential to understand how much information the
finetuned model leaks about the pretraining data. In this work we propose a new
membership-inference threat model where the adversary only has access to the
finetuned model and would like to infer the membership of the pretraining data.
To realize this threat model, we implement a novel metaclassifier-based attack,
TMI, that leverages the influence of memorized pretraining samples on
predictions in the downstream task. We evaluate TMI on both vision and natural
language tasks across multiple transfer learning settings, including finetuning
with differential privacy. Through our evaluation, we find that TMI can
successfully infer membership of pretraining examples using query access to the
finetuned model.
- Abstract(参考訳): トランスファー学習は、関連するタスクの微調整モデルの構築を支援するために、1つのタスクのためにトレーニングされた事前トレーニングされたモデルを活用する手段として、機械学習でますます普及しているテクニックである。
このパラダイムは機械学習において特にプライバシとして人気があり、事前訓練されたモデルは公開され、微調整のためのデータのみが機密視されている。
しかし、事前トレーニングに使用するデータがまだセンシティブであると考える理由があり、微調整されたモデルが事前トレーニングデータについてどの程度の情報漏えいするかを理解することが不可欠である。
本研究では,対戦相手が微調整されたモデルにのみアクセスでき,事前学習データのメンバシップを推測する新たな会員推論脅威モデルを提案する。
この脅威モデルを実現するために、下流タスクの予測に対する記憶済み事前学習サンプルの影響を利用した新しいメタ分類器ベースの攻撃TMIを実装した。
我々は、視覚と自然言語の両方のタスクにおいて、異なるプライバシによる微調整を含む複数のトランスファー学習設定でTMIを評価した。
評価の結果,TMIは,提案モデルに対するクエリアクセスを用いて,事前学習したサンプルのメンバシップを推測できることがわかった。
関連論文リスト
- Understanding and Mitigating the Label Noise in Pre-training on
Downstream Tasks [91.15120211190519]
本稿では、事前学習データセットにおけるノイズの性質を理解し、下流タスクへの影響を軽減することを目的とする。
雑音の悪影響を軽減するために特徴空間に適応する軽量ブラックボックスチューニング法(NMTune)を提案する。
論文 参考訳(メタデータ) (2023-09-29T06:18:15Z) - Large Language Models with Controllable Working Memory [64.71038763708161]
大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。
これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。
モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
論文 参考訳(メタデータ) (2022-11-09T18:58:29Z) - Synthetic Model Combination: An Instance-wise Approach to Unsupervised
Ensemble Learning [92.89846887298852]
ラベル付きデータのトレーニングセットから学ぶ機会のない、新しいテストデータに対する予測を検討する。
専門家モデルのセットと予測へのアクセスと、トレーニングに使用するデータセットに関する制限された情報を提供すること。
論文 参考訳(メタデータ) (2022-10-11T10:20:31Z) - CANIFE: Crafting Canaries for Empirical Privacy Measurement in Federated
Learning [77.27443885999404]
Federated Learning(FL)は、分散環境で機械学習モデルをトレーニングするための設定である。
本稿では,訓練ラウンドの経験的プライバシを評価するために,強敵による慎重なサンプル作成手法であるCANIFEを提案する。
論文 参考訳(メタデータ) (2022-10-06T13:30:16Z) - Self-Distillation for Further Pre-training of Transformers [83.84227016847096]
我々は、さらなる事前学習段階の正則化として自己蒸留を提案する。
画像およびテキスト分類タスクのための様々なベンチマークデータセットにおける自己蒸留の有効性を実証的に検証する。
論文 参考訳(メタデータ) (2022-09-30T02:25:12Z) - Leveraging Adversarial Examples to Quantify Membership Information
Leakage [30.55736840515317]
パターン認識モデルにおけるメンバシップ推論の問題に対処する新しいアプローチを開発する。
この量はトレーニングデータに属する可能性を反映していると我々は主張する。
我々の手法は、最先端の戦略に匹敵する、あるいは上回る性能を発揮する。
論文 参考訳(メタデータ) (2022-03-17T19:09:38Z) - Training Data Leakage Analysis in Language Models [6.843491191969066]
本稿では,強大かつ現実的な脅威モデルの下で漏洩する可能性のあるトレーニングデータ中のユーザコンテンツを識別する手法を提案する。
本研究では,トレーニングデータに固有の文断片を生成するモデルの能力を測定することにより,ユーザレベルのデータ漏洩を定量化する2つの指標を提案する。
論文 参考訳(メタデータ) (2021-01-14T00:57:32Z) - Knowledge-Enriched Distributional Model Inversion Attacks [49.43828150561947]
モデルインバージョン(MI)攻撃は、モデルパラメータからトレーニングデータを再構成することを目的としている。
本稿では,パブリックデータからプライベートモデルに対する攻撃を行うのに役立つ知識を抽出する,新しい反転型GANを提案する。
実験の結果,これらの手法を組み合わせることで,最先端MI攻撃の成功率を150%向上させることができることがわかった。
論文 参考訳(メタデータ) (2020-10-08T16:20:48Z) - Privacy Analysis of Deep Learning in the Wild: Membership Inference
Attacks against Transfer Learning [27.494206948563885]
本稿では,転送学習モデルに対するメンバシップ推論攻撃の最初の体系的評価について述べる。
4つの実世界の画像データセットに対する実験により、メンバーシップ推論が効果的なパフォーマンスを達成できることが示されている。
我々の結果は、実際に機械学習モデルから生じるメンバーシップリスクの深刻さを浮き彫りにした。
論文 参考訳(メタデータ) (2020-09-10T14:14:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。