論文の概要: Pandora's White-Box: Precise Training Data Detection and Extraction in Large Language Models
- arxiv url: http://arxiv.org/abs/2402.17012v4
- Date: Mon, 15 Jul 2024 02:37:09 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-17 01:45:18.239174
- Title: Pandora's White-Box: Precise Training Data Detection and Extraction in Large Language Models
- Title（参考訳）: PandoraのWhite-Box:大規模言語モデルにおける精密トレーニングデータの検出と抽出
- Authors: Jeffrey G. Wang, Jason Wang, Marvin Li, Seth Neel,
- Abstract要約: 我々は,大規模言語モデル(LLM)に対する最先端のプライバシ攻撃を開発する。
事前訓練されたLLMに対する新たなメンバーシップ推論攻撃(MIA)は、ベースライン攻撃の数百倍の精度で実行される。
微調整では, ベースモデルと微調整モデルとの損失率に基づく単純な攻撃により, ほぼ完全なMIA性能が得られることがわかった。
- 参考スコア（独自算出の注目度）: 4.081098869497239
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper we develop state-of-the-art privacy attacks against Large Language Models (LLMs), where an adversary with some access to the model tries to learn something about the underlying training data. Our headline results are new membership inference attacks (MIAs) against pretrained LLMs that perform hundreds of times better than baseline attacks, and a pipeline showing that over 50% (!) of the fine-tuning dataset can be extracted from a fine-tuned LLM in natural settings. We consider varying degrees of access to the underlying model, pretraining and fine-tuning data, and both MIAs and training data extraction. For pretraining data, we propose two new MIAs: a supervised neural network classifier that predicts training data membership on the basis of (dimensionality-reduced) model gradients, as well as a variant of this attack that only requires logit access to the model by leveraging recent model-stealing work on LLMs. To our knowledge this is the first MIA that explicitly incorporates model-stealing information. Both attacks outperform existing black-box baselines, and our supervised attack closes the gap between MIA attack success against LLMs and the strongest known attacks for other machine learning models. In fine-tuning, we find that a simple attack based on the ratio of the loss between the base and fine-tuned models is able to achieve near-perfect MIA performance; we then leverage our MIA to extract a large fraction of the fine-tuning dataset from fine-tuned Pythia and Llama models. Our code is available at github.com/safr-ai-lab/pandora-llm.
- Abstract（参考訳）: 本稿では,Large Language Models (LLMs) に対する最先端のプライバシ攻撃について述べる。
我々の見出しは、ベースラインアタックの数百倍の精度を持つ事前訓練されたLLMに対する新たなメンバシップ推論アタック(MIA)と、自然条件下で微調整されたLLMから、細調整されたデータセットの50%以上(!)を抽出できることを示すパイプラインである。
基礎となるモデルへの様々なアクセス、事前学習および微調整データ、MIAとトレーニングデータ抽出の両方について検討する。
プレトレーニングデータには,モデル勾配に基づいてトレーニングデータメンバシップを予測する教師付きニューラルネットワーク分類器と,最近のLCMにおけるモデルスティーリング作業を活用することで,モデルへのロジットアクセスのみを必要とするこの攻撃のバリエーションという,2つの新しいMIAを提案する。
私たちの知る限り、これはモデルステアリング情報を明示的に組み込んだ最初のMIAです。
どちらの攻撃も既存のブラックボックスベースラインより優れており、我々の監視された攻撃は、LSMに対するMIA攻撃の成功と、他の機械学習モデルにとって最も強力な攻撃とのギャップを埋める。
微調整では, ベースモデルと微調整モデルとの損失率に基づく単純な攻撃により, ほぼ完全なMIA性能が得られることがわかった。
私たちのコードはgithub.com/safr-ai-lab/pandora-llmで利用可能です。
関連論文リスト
- Order of Magnitude Speedups for LLM Membership Inference [5.124111136127848]
大規模言語モデル(LLM)は、コンピューティングを広く革新させるという約束を持っているが、その複雑さと広範なトレーニングデータもまた、プライバシの脆弱性を露呈している。
LLMに関連する最も単純なプライバシーリスクの1つは、メンバーシップ推論攻撃(MIA)に対する感受性である。
文書がモデルのトレーニングセットに属しているか否かを判断するために,小さな量子レグレッションモデルのアンサンブルを利用する低コストMIAを提案する。
論文 参考訳（メタデータ） (2024-09-22T16:18:14Z) - Accelerating Large Language Model Pretraining via LFR Pedagogy: Learn, Focus, and Review [50.78587571704713]
大規模言語モデル(LLM)の事前トレーニングは伝統的に、Webスケールデータセットからランダムにサンプリングされたデータブロックの自己回帰言語モデリングに依存している。
我々は、空間的反復のような人間の学習技術からインスピレーションを得て、LLMのランダムなデータサンプリングが、データを忘れがちな高いトレーニングコストと低品質モデルをもたらすという仮説を立てる。
ウェブスケール情報を長期記憶に効果的にコミットするために,LFR(Learn, Focus, and Review)ペタゴギーを提案する。
論文 参考訳（メタデータ） (2024-09-10T00:59:18Z) - Alpaca against Vicuna: Using LLMs to Uncover Memorization of LLMs [61.04246774006429]
本稿では,攻撃者によるLSMエージェントを用いたブラックボックスプロンプト最適化手法を提案する。
ベースラインプレフィックス・サフィックス測定と比較すると,命令ベースのプロンプトは,トレーニングデータと23.7%のオーバラップで出力を生成する。
以上の結果から,命令調整モデルでは,ベースモデルと同等に事前学習データを公開することが可能であり,他のLSMが提案する命令を用いることで,新たな自動攻撃の道を開くことが可能であることが示唆された。
論文 参考訳（メタデータ） (2024-03-05T19:32:01Z) - Do Membership Inference Attacks Work on Large Language Models? [141.2019867466968]
メンバーシップ推論攻撃(MIA)は、特定のデータポイントがターゲットモデルのトレーニングデータのメンバーであるかどうかを予測しようとする。
我々は、Pileで訓練された言語モデルに対して、MIAの大規模評価を行い、そのパラメータは160Mから12Bまでである。
様々な LLM サイズや領域にまたがるほとんどの設定において,MIA はランダムな推測よりもほとんど優れていないことがわかった。
論文 参考訳（メタデータ） (2024-02-12T17:52:05Z) - Scalable Extraction of Training Data from (Production) Language Models [93.7746567808049]
本稿では,学習データセットの事前知識を必要とせず,機械学習モデルに問い合わせることで,相手が効率的に抽出できる学習データについて検討する。
敵は、PythiaやGPT-Neoのようなオープンソースの言語モデル、LLaMAやFalconのようなセミオープンモデル、ChatGPTのようなクローズドモデルから、ギガバイトのトレーニングデータを抽出できることを示す。
論文 参考訳（メタデータ） (2023-11-28T18:47:03Z) - Practical Membership Inference Attacks against Fine-tuned Large Language Models via Self-prompt Calibration [32.15773300068426]
メンバーシップ推論攻撃は、対象のデータレコードがモデルトレーニングに使用されたかどうかを推測することを目的としている。
自己校正確率変動(SPV-MIA)に基づくメンバーシップ推論攻撃を提案する。
論文 参考訳（メタデータ） (2023-11-10T13:55:05Z) - Army of Thieves: Enhancing Black-Box Model Extraction via Ensemble based
sample selection [10.513955887214497]
Model Stealing Attacks (MSA)では、ラベル付きデータセットを構築するために、機械学習モデルを繰り返しクエリされる。
本研究では,泥棒モデルとして深層学習モデルのアンサンブルの利用について検討する。
CIFAR-10データセットでトレーニングしたモデルに対して,従来よりも21%高い逆サンプル転送性を実現する。
論文 参考訳（メタデータ） (2023-11-08T10:31:29Z) - Knowledge-Enriched Distributional Model Inversion Attacks [49.43828150561947]
モデルインバージョン(MI)攻撃は、モデルパラメータからトレーニングデータを再構成することを目的としている。
本稿では,パブリックデータからプライベートモデルに対する攻撃を行うのに役立つ知識を抽出する,新しい反転型GANを提案する。
実験の結果,これらの手法を組み合わせることで,最先端MI攻撃の成功率を150%向上させることができることがわかった。
論文 参考訳（メタデータ） (2020-10-08T16:20:48Z) - How Does Data Augmentation Affect Privacy in Machine Learning? [94.52721115660626]
拡張データの情報を活用するために,新たなMI攻撃を提案する。
モデルが拡張データで訓練された場合、最適な会員推定値を確立する。
論文 参考訳（メタデータ） (2020-07-21T02:21:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。