論文の概要: Scaling Up Membership Inference: When and How Attacks Succeed on Large Language Models

• arxiv url: http://arxiv.org/abs/2411.00154v1
• Date: Thu, 31 Oct 2024 18:59:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:51:33.277173
• Title: Scaling Up Membership Inference: When and How Attacks Succeed on Large Language Models
• Title（参考訳）: メンバシップ推論のスケールアップ - 大規模言語モデルによる攻撃の時期と方法
• Authors: Haritz Puerto, Martin Gubri, Sangdoo Yun, Seong Joon Oh,
• Abstract要約: メンバーシップ推論アタック(MIA)は、モデルのトレーニングセットで与えられたデータサンプルのメンバシップを検証する。 最近の研究は、現在のMIA法は大規模言語モデル(LLM)では機能しないと結論付けている。
• 参考スコア（独自算出の注目度）: 37.420266437306374
• License:
• Abstract: Membership inference attacks (MIA) attempt to verify the membership of a given data sample in the training set for a model. MIA has become relevant in recent years, following the rapid development of large language models (LLM). Many are concerned about the usage of copyrighted materials for training them and call for methods for detecting such usage. However, recent research has largely concluded that current MIA methods do not work on LLMs. Even when they seem to work, it is usually because of the ill-designed experimental setup where other shortcut features enable "cheating." In this work, we argue that MIA still works on LLMs, but only when multiple documents are presented for testing. We construct new benchmarks that measure the MIA performances at a continuous scale of data samples, from sentences (n-grams) to a collection of documents (multiple chunks of tokens). To validate the efficacy of current MIA approaches at greater scales, we adapt a recent work on Dataset Inference (DI) for the task of binary membership detection that aggregates paragraph-level MIA features to enable MIA at document and collection of documents level. This baseline achieves the first successful MIA on pre-trained and fine-tuned LLMs.
• Abstract（参考訳）: メンバーシップ推論アタック(MIA)は、モデルのトレーニングセットで与えられたデータサンプルのメンバシップを検証する。 MIAは近年,大規模言語モデル(LLM)の急速な発展に伴って,関連性が高まっている。 著作権のある資料を教育用として使用することや、そのような使用を検出する方法を求める声も少なくない。 しかし、最近の研究は、現在のMIA法はLLMでは機能しないと結論付けている。 うまく機能しているように見えるが、これは通常、他のショートカット機能で「焼く」ことができるような、未設計の実験的な設定のためである。 この研究では、MIAはLLM上でも動作するが、テスト用に複数のドキュメントが提示された場合にのみ動作すると論じている。 我々は,文(n-gram)から文書(トークンの複数チャンク)まで,データサンプルの連続的なスケールでMIAパフォーマンスを測定する新しいベンチマークを構築した。 文書レベルのMIA特徴を集約し,文書レベルでのMIAを可能にするバイナリメンバシップ検出の課題に対して,データセット推論(DI)に関する最近の研究に,より大規模なMIAアプローチの有効性を検証した。 このベースラインは、事前訓練および微調整されたLLM上での最初のMIAを成功させる。

関連論文リスト

• Detecting Training Data of Large Language Models via Expectation Maximization [62.28028046993391]
  メンバーシップ推論攻撃(MIA)は、特定のインスタンスがターゲットモデルのトレーニングデータの一部であるかどうかを判断することを目的としている。 大規模言語モデル(LLM)にMIAを適用することは、事前学習データの大規模化と、会員シップのあいまいさによって、ユニークな課題をもたらす。 EM-MIAは,予測最大化アルゴリズムを用いて,メンバーシップスコアとプレフィックススコアを反復的に洗練するLLMの新しいMIA手法である。
  論文  参考訳（メタデータ） (2024-10-10T03:31:16Z)
• MIA-Tuner: Adapting Large Language Models as Pre-training Text Detector [32.15773300068426]
  既存の手法では、様々な高度なMIAスコア関数を設計し、高い検出性能を実現している。 より正確な事前学習データ検出器としてLLM自体を指示する命令ベースのMIA手法であるMIA-Tunerを提案する。 既存の手法とMIA-Tunerによってもたらされるプライバシーリスクを軽減すべく、2つの命令ベースのセーフガードを設計する。
  論文  参考訳（メタデータ） (2024-08-16T11:09:56Z)
• SoK: Membership Inference Attacks on LLMs are Rushing Nowhere (and How to Fix It) [16.673210422615348]
  LLMに対するメンバーシップ推論攻撃(MIA)を行うための10以上の新しい手法が提案されている。 固定された-しかしランダム化された-レコードやモデルに依存する従来のMIAとは対照的に、これらの手法は主にポストホックで収集されたデータセットに基づいて評価される。 このランダム化の欠如は、メンバーと非メンバー間の分散シフトの懸念を引き起こす。
  論文  参考訳（メタデータ） (2024-06-25T23:12:07Z)
• LLM Dataset Inference: Did you train on my dataset? [42.97830562143777]
  本研究では,大規模言語モデルの学習に使用されるデータセットを正確に識別する新しいデータセット推論手法を提案する。 提案手法は, 統計的に有意なp値0.1を持つパイルの異なる部分集合の列車と試験セットを, 偽陽性を伴わずに識別する。
  論文  参考訳（メタデータ） (2024-06-10T16:34:43Z)
• Are you still on track!? Catching LLM Task Drift with Activations [55.75645403965326]
  タスクドリフトは攻撃者がデータを流出させたり、LLMの出力に影響を与えたりすることを可能にする。 そこで, 簡易線形分類器は, 分布外テストセット上で, ほぼ完全なLOC AUCでドリフトを検出することができることを示す。 このアプローチは、プロンプトインジェクション、ジェイルブレイク、悪意のある指示など、目に見えないタスクドメインに対して驚くほどうまく一般化する。
  論文  参考訳（メタデータ） (2024-06-02T16:53:21Z)
• MiniCheck: Efficient Fact-Checking of LLMs on Grounding Documents [62.02920842630234]
  GPT-4レベルの性能を持つが400倍の低コストでファクトチェックモデルを構築する方法を示す。 GPT-4を用いて合成トレーニングデータを構築することで,現実的かつ困難な事実エラーの事例を生成する。 評価のために, ファクトチェックとグラウンドグラウンド化に関する最近の研究から得られたデータセットを, 新たなベンチマーク LLM-AggreFact に統一する。
  論文  参考訳（メタデータ） (2024-04-16T17:59:10Z)
• Do Membership Inference Attacks Work on Large Language Models? [141.2019867466968]
  メンバーシップ推論攻撃(MIA)は、特定のデータポイントがターゲットモデルのトレーニングデータのメンバーであるかどうかを予測しようとする。 我々は、Pileで訓練された言語モデルに対して、MIAの大規模評価を行い、そのパラメータは160Mから12Bまでである。 様々な LLM サイズや領域にまたがるほとんどの設定において,MIA はランダムな推測よりもほとんど優れていないことがわかった。
  論文  参考訳（メタデータ） (2024-02-12T17:52:05Z)
• MME: A Comprehensive Evaluation Benchmark for Multimodal Large Language Models [73.86954509967416]
  マルチモーダル言語モデル(MLLM)は、マルチモーダルタスクを実行するために強力なLLMに依存している。 本稿では,MLLM 評価ベンチマーク MME について述べる。 知覚能力と認知能力の両方を合計14のサブタスクで測定する。
  論文  参考訳（メタデータ） (2023-06-23T09:22:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。