論文の概要: A Statistical and Multi-Perspective Revisiting of the Membership Inference Attack in Large Language Models

• arxiv url: http://arxiv.org/abs/2412.13475v1
• Date: Wed, 18 Dec 2024 03:39:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-19 16:49:29.810830
• Title: A Statistical and Multi-Perspective Revisiting of the Membership Inference Attack in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける会員推測攻撃の統計的・多面的再検討
• Authors: Bowen Chen, Namgi Han, Yusuke Miyao,
• Abstract要約: メンバーシップ推論攻撃(MIA)は、訓練された(メンバーでない)データと訓練されていない(非メンバー)データを区別する。 最近の研究では、異なる環境でのほぼランダムなパフォーマンスが報告され、大きなパフォーマンスの不整合が浮かび上がった。 テキストの特徴, 埋め込み, しきい値決定, 復号化力学の研究とともに, 様々な設定からMIA法を改訂し, 数千の実験を行った。
• 参考スコア（独自算出の注目度）: 10.276594755936529
• License:
• Abstract: The lack of data transparency in Large Language Models (LLMs) has highlighted the importance of Membership Inference Attack (MIA), which differentiates trained (member) and untrained (non-member) data. Though it shows success in previous studies, recent research reported a near-random performance in different settings, highlighting a significant performance inconsistency. We assume that a single setting doesn't represent the distribution of the vast corpora, causing members and non-members with different distributions to be sampled and causing inconsistency. In this study, instead of a single setting, we statistically revisit MIA methods from various settings with thousands of experiments for each MIA method, along with study in text feature, embedding, threshold decision, and decoding dynamics of members and non-members. We found that (1) MIA performance improves with model size and varies with domains, while most methods do not statistically outperform baselines, (2) Though MIA performance is generally low, a notable amount of differentiable member and non-member outliers exists and vary across MIA methods, (3) Deciding a threshold to separate members and non-members is an overlooked challenge, (4) Text dissimilarity and long text benefit MIA performance, (5) Differentiable or not is reflected in the LLM embedding, (6) Member and non-members show different decoding dynamics.
• Abstract（参考訳）: 大規模言語モデル(LLM)におけるデータ透明性の欠如は、トレーニングされた(メンバーでない)データと訓練されていない(メンバーでない)データを区別する、メンバーシップ推論攻撃(MIA)の重要性を強調している。 以前の研究では成功したが、最近の研究では、異なる環境でのほぼランダムなパフォーマンスを報告し、大きなパフォーマンスの不整合を浮き彫りにした。 一つの設定が巨大なコーパスの分布を表していないと仮定し、異なる分布を持つメンバーや非メンバーをサンプリングし、矛盾を引き起こす。 本研究では,テキストの特徴,埋め込み,しきい値の決定,およびメンバと非メンバの復号化のダイナミクスについて検討するとともに,各MIA法に対して数千の実験を行い,各設定からMIA法を統計的に再検討する。 その結果,(1)MIAの性能はモデルサイズで改善し,ドメインによって変化するが,ほとんどの手法は統計的に性能が向上しない。(2)MIA性能は概ね低いが,識別可能なメンバと非メンバのアウトリーチはMIAメソッドによって大きく異なり,(3)分離メンバと非メンバとのしきい値の決定は見落とされ,(4)テキストの相違性と長文のメリット,(5)差別化がLLM埋め込みに反映されるか,(6)メンバと非メンバは異なる復号ダイナミクスを示す。

関連論文リスト

• Self-Comparison for Dataset-Level Membership Inference in Large (Vision-)Language Models [73.94175015918059]
  本稿では,自己比較に基づくデータセットレベルのメンバシップ推定手法を提案する。 本手法では, 同一分布における地中構造データや非構造データへのアクセスは不要である。
  論文  参考訳（メタデータ） (2024-10-16T23:05:59Z)
• Detecting Training Data of Large Language Models via Expectation Maximization [62.28028046993391]
  メンバーシップ推論攻撃(MIA)は、特定のインスタンスがターゲットモデルのトレーニングデータの一部であるかどうかを判断することを目的としている。 大規模言語モデル(LLM)にMIAを適用することは、事前学習データの大規模化と、会員シップのあいまいさによって、ユニークな課題をもたらす。 EM-MIAは,予測最大化アルゴリズムを用いて,メンバーシップスコアとプレフィックススコアを反復的に洗練するLLMの新しいMIA手法である。
  論文  参考訳（メタデータ） (2024-10-10T03:31:16Z)
• Fine-tuning can Help Detect Pretraining Data from Large Language Models [7.7209640786782385]
  現在のメソッドでは、PerplexityやMin-k%といったスコアリング関数を設計することで、メンバと非メンバを区別している。 本研究では,FSD(Fun-Tuned Score Deviation)と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-10-09T15:36:42Z)
• Con-ReCall: Detecting Pre-training Data in LLMs via Contrastive Decoding [118.75567341513897]
  既存のメソッドは通常、ターゲットテキストを分離して分析するか、非メンバーコンテキストでのみ分析する。 Con-ReCallは、メンバと非メンバのコンテキストによって誘導される非対称な分布シフトを利用する新しいアプローチである。
  論文  参考訳（メタデータ） (2024-09-05T09:10:38Z)
• CLLMFS: A Contrastive Learning enhanced Large Language Model Framework for Few-Shot Named Entity Recognition [3.695767900907561]
  CLLMFSは、Few-Shot Named Entity RecognitionのためのContrastive LearningEnhanced Large Language Modelフレームワークである。 Low-Rank Adaptation (LoRA)と、数発のNER用に特別に調整された対照的な学習メカニズムを統合している。 提案手法は,F1スコアの現行性能を2.58%から97.74%まで向上させた。
  論文  参考訳（メタデータ） (2024-08-23T04:44:05Z)
• LLM Dataset Inference: Did you train on my dataset? [42.97830562143777]
  本研究では,大規模言語モデルの学習に使用されるデータセットを正確に識別する新しいデータセット推論手法を提案する。 提案手法は, 統計的に有意なp値0.1を持つパイルの異なる部分集合の列車と試験セットを, 偽陽性を伴わずに識別する。
  論文  参考訳（メタデータ） (2024-06-10T16:34:43Z)
• Do Membership Inference Attacks Work on Large Language Models? [141.2019867466968]
  メンバーシップ推論攻撃(MIA)は、特定のデータポイントがターゲットモデルのトレーニングデータのメンバーであるかどうかを予測しようとする。 我々は、Pileで訓練された言語モデルに対して、MIAの大規模評価を行い、そのパラメータは160Mから12Bまでである。 様々な LLM サイズや領域にまたがるほとんどの設定において,MIA はランダムな推測よりもほとんど優れていないことがわかった。
  論文  参考訳（メタデータ） (2024-02-12T17:52:05Z)
• Revisiting Demonstration Selection Strategies in In-Context Learning [66.11652803887284]
  大規模言語モデル(LLM)は、インコンテキスト学習(ICL)を用いて広範囲のタスクを実行するという印象的な能力を示している。 本研究ではまず,データとモデルの両方の側面から,この分散に寄与する要因を再検討し,実演の選択がデータとモデルに依存していることを確かめる。 本研究では,データとモデルに依存した実演選択手法である textbfTopK + ConE を提案する。
  論文  参考訳（メタデータ） (2024-01-22T16:25:27Z)
• Active Learning Principles for In-Context Learning with Large Language Models [65.09970281795769]
  本稿では,アクティブ・ラーニング・アルゴリズムが,文脈内学習における効果的な実演選択手法としてどのように機能するかを検討する。 ALによる文脈内サンプル選択は,不確実性の低い高品質な事例を優先し,試験例と類似性を有することを示す。
  論文  参考訳（メタデータ） (2023-05-23T17:16:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。