論文の概要: Do Membership Inference Attacks Work on Large Language Models?
- arxiv url: http://arxiv.org/abs/2402.07841v1
- Date: Mon, 12 Feb 2024 17:52:05 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-13 13:19:55.937045
- Title: Do Membership Inference Attacks Work on Large Language Models?
- Title(参考訳): メンバーシップ推論は大規模言語モデルで動作するか?
- Authors: Michael Duan, Anshuman Suri, Niloofar Mireshghallah, Sewon Min, Weijia
Shi, Luke Zettlemoyer, Yulia Tsvetkov, Yejin Choi, David Evans, Hannaneh
Hajishirzi
- Abstract要約: メンバーシップ推論攻撃(MIA)は、特定のデータポイントがターゲットモデルのトレーニングデータのメンバーであるかどうかを予測しようとする。
我々は、Pileで訓練された言語モデルに対して、MIAの大規模評価を行い、そのパラメータは160Mから12Bまでである。
様々な LLM サイズや領域にまたがるほとんどの設定において,MIA はランダムな推測よりもほとんど優れていないことがわかった。
- 参考スコア(独自算出の注目度): 145.90022632726883
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Membership inference attacks (MIAs) attempt to predict whether a particular
datapoint is a member of a target model's training data. Despite extensive
research on traditional machine learning models, there has been limited work
studying MIA on the pre-training data of large language models (LLMs). We
perform a large-scale evaluation of MIAs over a suite of language models (LMs)
trained on the Pile, ranging from 160M to 12B parameters. We find that MIAs
barely outperform random guessing for most settings across varying LLM sizes
and domains. Our further analyses reveal that this poor performance can be
attributed to (1) the combination of a large dataset and few training
iterations, and (2) an inherently fuzzy boundary between members and
non-members. We identify specific settings where LLMs have been shown to be
vulnerable to membership inference and show that the apparent success in such
settings can be attributed to a distribution shift, such as when members and
non-members are drawn from the seemingly identical domain but with different
temporal ranges. We release our code and data as a unified benchmark package
that includes all existing MIAs, supporting future work.
- Abstract(参考訳): メンバーシップ推論攻撃(mias)は、特定のデータポイントがターゲットモデルのトレーニングデータのメンバーであるかどうかを予測する。
従来の機械学習モデルに関する広範な研究にもかかわらず、大規模言語モデル(LLM)の事前学習データに関するMIAの研究は限られている。
我々は、Pileで訓練された言語モデル(LM)に対して、MIAの大規模評価を行い、そのパラメータは160Mから12Bまでである。
様々な LLM サイズや領域にまたがるほとんどの設定において,MIA はランダムな推測よりもほとんど優れていないことがわかった。
さらなる分析により,(1)大規模データセットと少数のトレーニングイテレーションの組み合わせ,(2)メンバと非メンバとの間の本質的に曖昧な境界によって,パフォーマンスが低下していることが判明した。
我々は,LDMがメンバシップ推論に脆弱であることを示す特定の設定を特定し,そのような設定における明らかな成功は,メンバーと非メンバが同一のドメインから引き出された場合や時間範囲が異なる場合など,分布シフトによるものであることを示す。
私たちは、既存のすべてのMIAを含む統一ベンチマークパッケージとしてコードとデータをリリースし、将来の作業をサポートします。
関連論文リスト
- PANORAMIA: Privacy Auditing of Machine Learning Models without
Retraining [2.6068944905108227]
生成したデータを非メンバーとして使用した会員推論攻撃に依存するMLモデルのプライバシ監査方式を提案する。
PANORAMIAと呼ぶこのスキームは、トレーニングプロセスやモデル再トレーニングを制御せずに、大規模MLモデルのプライバシリークを定量化する。
論文 参考訳(メタデータ) (2024-02-12T22:56:07Z) - MIA-BAD: An Approach for Enhancing Membership Inference Attack and its
Mitigation with Federated Learning [6.510488168434277]
メンバシップ推論攻撃(MIA)は、機械学習(ML)モデルのプライバシを妥協するための一般的なパラダイムである。
バッチ・ワイズ・アサート・データセット(MIA-BAD)を用いた強化されたメンバーシップ推論攻撃を提案する。
FLを用いたMLモデルのトレーニング方法を示すとともに,提案したMIA-BADアプローチによる脅威をFLアプローチで緩和する方法について検討する。
論文 参考訳(メタデータ) (2023-11-28T06:51:26Z) - Practical Membership Inference Attacks against Fine-tuned Large Language
Models via Self-prompt Calibration [33.77030569632993]
メンバーシップ推論攻撃(MIA)は、対象のデータレコードがモデルトレーニングに使用されたかどうかを推測することを目的としている。
自己校正確率変動(SPV-MIA)に基づくメンバーシップ推論攻撃を提案する。
具体的には、LLMの記憶はトレーニングプロセス中に必然的に必要であり、オーバーフィッティング前に発生するので、より信頼性の高いメンバーシップ信号を導入する。
論文 参考訳(メタデータ) (2023-11-10T13:55:05Z) - On the steerability of large language models toward data-driven personas [103.17413190093366]
協調フィルタリングに基づくデータ駆動型ペルソナ定義手法を提案する。
ユーザの連続表現を仮想トークンのシーケンスにマッピングするために,ソフトプロンプトモデルを学ぶ。
以上の結果から,本アルゴリズムはベースラインの収集よりも性能が優れていることがわかった。
論文 参考訳(メタデータ) (2023-11-08T19:01:13Z) - Assessing Privacy Risks in Language Models: A Case Study on
Summarization Tasks [65.21536453075275]
我々は要約作業に焦点をあて、会員推測(MI)攻撃について調査する。
テキストの類似性や文書修正に対するモデルの抵抗をMI信号として活用する。
我々は、MI攻撃から保護するための要約モデルの訓練と、プライバシとユーティリティの本質的にのトレードオフについて議論する。
論文 参考訳(メタデータ) (2023-10-20T05:44:39Z) - LLM-augmented Preference Learning from Natural Language [19.700169351688768]
大規模言語モデル(LLM)は、より大きな文脈長を扱う。
LLM は、ターゲットテキストが大きければ SotA を一貫して上回る。
ゼロショット学習よりもパフォーマンスが向上する。
論文 参考訳(メタデータ) (2023-10-12T17:17:27Z) - LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。
タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。
LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
論文 参考訳(メタデータ) (2023-05-19T12:10:53Z) - CodeGen2: Lessons for Training LLMs on Programming and Natural Languages [116.74407069443895]
我々はエンコーダとデコーダベースのモデルを単一のプレフィックスLMに統一する。
学習方法は,「フリーランチ」仮説の主張を考察する。
データ配信においては,混合分布と多言語学習がモデル性能に及ぼす影響について検討した。
論文 参考訳(メタデータ) (2023-05-03T17:55:25Z) - Large Language Models Are Latent Variable Models: Explaining and Finding
Good Demonstrations for In-Context Learning [104.58874584354787]
近年,事前学習型大規模言語モデル (LLM) は,インコンテキスト学習(in-context learning)として知られる推論時少数ショット学習能力を実現する上で,顕著な効率性を示している。
本研究では,現実のLLMを潜在変数モデルとみなし,ベイズレンズによる文脈内学習現象を考察することを目的とする。
論文 参考訳(メタデータ) (2023-01-27T18:59:01Z) - Privacy Analysis of Deep Learning in the Wild: Membership Inference
Attacks against Transfer Learning [27.494206948563885]
本稿では,転送学習モデルに対するメンバシップ推論攻撃の最初の体系的評価について述べる。
4つの実世界の画像データセットに対する実験により、メンバーシップ推論が効果的なパフォーマンスを達成できることが示されている。
我々の結果は、実際に機械学習モデルから生じるメンバーシップリスクの深刻さを浮き彫りにした。
論文 参考訳(メタデータ) (2020-09-10T14:14:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。