論文の概要: LLM Dataset Inference: Did you train on my dataset?

• arxiv url: http://arxiv.org/abs/2406.06443v1
• Date: Mon, 10 Jun 2024 16:34:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-11 12:59:23.961081
• Title: LLM Dataset Inference: Did you train on my dataset?
• Title（参考訳）: LLMデータセット推論: 私のデータセットでトレーニングしましたか?
• Authors: Pratyush Maini, Hengrui Jia, Nicolas Papernot, Adam Dziedzic,
• Abstract要約: 本研究では,大規模言語モデルの学習に使用されるデータセットを正確に識別する新しいデータセット推論手法を提案する。 提案手法は, 統計的に有意なp値0.1を持つパイルの異なる部分集合の列車と試験セットを, 偽陽性を伴わずに識別する。
• 参考スコア（独自算出の注目度）: 42.97830562143777
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The proliferation of large language models (LLMs) in the real world has come with a rise in copyright cases against companies for training their models on unlicensed data from the internet. Recent works have presented methods to identify if individual text sequences were members of the model's training data, known as membership inference attacks (MIAs). We demonstrate that the apparent success of these MIAs is confounded by selecting non-members (text sequences not used for training) belonging to a different distribution from the members (e.g., temporally shifted recent Wikipedia articles compared with ones used to train the model). This distribution shift makes membership inference appear successful. However, most MIA methods perform no better than random guessing when discriminating between members and non-members from the same distribution (e.g., in this case, the same period of time). Even when MIAs work, we find that different MIAs succeed at inferring membership of samples from different distributions. Instead, we propose a new dataset inference method to accurately identify the datasets used to train large language models. This paradigm sits realistically in the modern-day copyright landscape, where authors claim that an LLM is trained over multiple documents (such as a book) written by them, rather than one particular paragraph. While dataset inference shares many of the challenges of membership inference, we solve it by selectively combining the MIAs that provide positive signal for a given distribution, and aggregating them to perform a statistical test on a given dataset. Our approach successfully distinguishes the train and test sets of different subsets of the Pile with statistically significant p-values < 0.1, without any false positives.
• Abstract（参考訳）: 現実世界における大規模言語モデル(LLM)の普及は、インターネットからライセンスされていないデータでモデルをトレーニングする企業に対する著作権訴訟の増加に端を発している。 近年の研究では、個々のテキストシーケンスがモデルのトレーニングデータであるかどうかを識別する手法が提案されている。 これらのMIAsの明らかな成功は、メンバーと異なる分布に属する非メンバー(トレーニングに使用されていないテキストシーケンス)を選択することで構成されている(例えば、モデルのトレーニングに使用したものと比較して、最近のウィキペディアの記事は時間的に移動している)。 この分布シフトは、メンバーシップ推論を成功させる。 しかし、ほとんどのMIA法は、同じ分布からメンバーと非メンバーを区別する場合(例えば、この場合、同じ期間)、ランダムな推測に勝る。 MIAsが動作する場合でも、異なる分布からサンプルのメンバシップを推測することには、異なるMIAsが成功する。 そこで本研究では,大規模言語モデルの学習に使用するデータセットを正確に識別する新しいデータセット推論手法を提案する。 このパラダイムは現代の著作権のランドスケープにおいて現実的に存在しており、著者は、LLMは特定の段落ではなく、それらによって書かれた複数の文書(本など)で訓練されていると主張している。 データセット推論は、メンバーシップ推論の課題の多くを共有しているが、与えられた分布に対して正の信号を与えるMIAを選択的に組み合わせ、それらを集約して、与えられたデータセット上で統計的テストを実行することで解決する。 提案手法は, 統計的に有意なp値<0.1。

関連論文リスト

• Scaling Up Membership Inference: When and How Attacks Succeed on Large Language Models [37.420266437306374]
  メンバーシップ推論アタック(MIA)は、モデルのトレーニングセットで与えられたデータサンプルのメンバシップを検証する。 最近の研究は、現在のMIA法は大規模言語モデル(LLM)では機能しないと結論付けている。
  論文  参考訳（メタデータ） (2024-10-31T18:59:46Z)
• Self-Comparison for Dataset-Level Membership Inference in Large (Vision-)Language Models [73.94175015918059]
  本稿では,自己比較に基づくデータセットレベルのメンバシップ推定手法を提案する。 本手法では, 同一分布における地中構造データや非構造データへのアクセスは不要である。
  論文  参考訳（メタデータ） (2024-10-16T23:05:59Z)
• Training on the Benchmark Is Not All You Need [52.01920740114261]
  本稿では,複数選択肢の内容に基づいた簡易かつ効果的なデータ漏洩検出手法を提案する。 本手法は,モデルトレーニングデータや重みを使用せずに,ブラックボックス条件下で動作することができる。 我々は,4つのベンチマークデータセットを用いて,31個の主要なオープンソースLCMのデータ漏洩の程度を評価する。
  論文  参考訳（メタデータ） (2024-09-03T11:09:44Z)
• Nob-MIAs: Non-biased Membership Inference Attacks Assessment on Large Language Models with Ex-Post Dataset Construction [37.69303106863453]
  メンバーシップ推論攻撃 (MIA) は、特定の文書が与えられたLarge Language Models (LLM) プリトレーニングで使用されたかどうかを検出することを目的としている。 本稿では,LLMにおけるMIAの評価について述べる。 我々は、より公平なMIA評価のために、非バイアス'と非分類'のデータセットを作成するアルゴリズムを提案し、検証する。
  論文  参考訳（メタデータ） (2024-08-12T07:49:28Z)
• SoK: Membership Inference Attacks on LLMs are Rushing Nowhere (and How to Fix It) [16.673210422615348]
  LLMに対するメンバーシップ推論攻撃(MIA)を行うための10以上の新しい手法が提案されている。 固定された-しかしランダム化された-レコードやモデルに依存する従来のMIAとは対照的に、これらの手法は主にポストホックで収集されたデータセットに基づいて評価される。 このランダム化の欠如は、メンバーと非メンバー間の分散シフトの懸念を引き起こす。
  論文  参考訳（メタデータ） (2024-06-25T23:12:07Z)
• Do Membership Inference Attacks Work on Large Language Models? [141.2019867466968]
  メンバーシップ推論攻撃(MIA)は、特定のデータポイントがターゲットモデルのトレーニングデータのメンバーであるかどうかを予測しようとする。 我々は、Pileで訓練された言語モデルに対して、MIAの大規模評価を行い、そのパラメータは160Mから12Bまでである。 様々な LLM サイズや領域にまたがるほとんどの設定において,MIA はランダムな推測よりもほとんど優れていないことがわかった。
  論文  参考訳（メタデータ） (2024-02-12T17:52:05Z)
• Membership Inference Attacks against Synthetic Data through Overfitting Detection [84.02632160692995]
  我々は、攻撃者が基礎となるデータ分布についてある程度の知識を持っていると仮定する現実的なMIA設定について論じる。 生成モデルの局所的なオーバーフィッティングをターゲットとして,メンバシップを推論することを目的とした密度ベースMIAモデルであるDOMIASを提案する。
  論文  参考訳（メタデータ） (2023-02-24T11:27:39Z)
• Canary in a Coalmine: Better Membership Inference with Ensembled Adversarial Queries [53.222218035435006]
  私たちは、差別的で多様なクエリを最適化するために、逆ツールを使用します。 我々の改善は既存の方法よりもはるかに正確な会員推定を実現している。
  論文  参考訳（メタデータ） (2022-10-19T17:46:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。