論文の概要: Tag&Tab: Pretraining Data Detection in Large Language Models Using Keyword-Based Membership Inference Attack

• arxiv url: http://arxiv.org/abs/2501.08454v1
• Date: Tue, 14 Jan 2025 21:55:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-16 15:53:00.517288
• Title: Tag&Tab: Pretraining Data Detection in Large Language Models Using Keyword-Based Membership Inference Attack
• Title（参考訳）: Tag&Tab: キーワードベースメンバーシップ推論攻撃を用いた大規模言語モデルにおけるデータ検出の事前学習
• Authors: Sagiv Antebi, Edan Habler, Asaf Shabtai, Yuval Elovici,
• Abstract要約: 大規模言語モデル(LLM)はデジタルタスク支援ツールとして欠かせないものとなっている。 LLMにおける事前学習データの検出に関する最近の研究は、主に文レベルまたは段落レベルのメンバシップ推論攻撃に焦点を当てている。 LLMプレトレーニングの一部として使用されているデータを検出する新しい手法であるTag&Tabを提案する。
• 参考スコア（独自算出の注目度）: 26.083244046813512
• License:
• Abstract: Large language models (LLMs) have become essential digital task assistance tools. Their training relies heavily on the collection of vast amounts of data, which may include copyright-protected or sensitive information. Recent studies on the detection of pretraining data in LLMs have primarily focused on sentence-level or paragraph-level membership inference attacks (MIAs), usually involving probability analysis of the target model prediction tokens. However, the proposed methods often demonstrate poor performance, specifically in terms of accuracy, failing to account for the semantic importance of textual content and word significance. To address these shortcomings, we propose Tag&Tab, a novel approach for detecting data that has been used as part of the LLM pretraining. Our method leverages advanced natural language processing (NLP) techniques to tag keywords in the input text - a process we term Tagging. Then, the LLM is used to obtain the probabilities of these keywords and calculate their average log-likelihood to determine input text membership, a process we refer to as Tabbing. Our experiments on three benchmark datasets (BookMIA, MIMIR, and the Pile) and several open-source LLMs of varying sizes demonstrate an average increase in the AUC scores ranging from 4.1% to 12.1% over state-of-the-art methods. Tag&Tab not only sets a new standard for data leakage detection in LLMs, but its outstanding performance is a testament to the importance of words in MIAs on LLMs.
• Abstract（参考訳）: 大規模言語モデル(LLM)はデジタルタスク支援ツールとして欠かせないものとなっている。 彼らのトレーニングは、著作権保護や機密情報を含む膨大な量のデータの収集に大きく依存している。 LLMにおける事前学習データの検出に関する最近の研究は、主に文レベルまたは段落レベルのメンバシップ推論攻撃(MIA)に焦点を当てており、通常はターゲットモデル予測トークンの確率分析に関係している。 しかし,提案手法は,テキスト内容の意味的重要性や単語の重要性を考慮せず,特に精度の面では性能が劣っていることを示すことが多い。 これらの欠点に対処するために,LLMプレトレーニングの一部として使用されるデータ検出のための新しいアプローチであるTag&Tabを提案する。 提案手法は,入力テキスト中のキーワードをタグ付けするために,高度な自然言語処理(NLP)技術を利用する。 次に, LLM を用いてこれらのキーワードの確率を求め, 平均ログ類似度を計算し, 入力テキストのメンバシップを決定する。 本研究は,3つのベンチマークデータセット(BookMIA,MIMIR,Pile)と,異なるサイズのオープンソースLCMを用いた実験により,最先端手法よりも平均4.1%から12.1%のAUCスコアが増加したことを示す。 Tag&Tab は LLM におけるデータ漏洩検出の新しい標準を設定するだけでなく,その優れた性能は LLM における MIA における単語の重要性を証明している。

関連論文リスト

• Self-Comparison for Dataset-Level Membership Inference in Large (Vision-)Language Models [73.94175015918059]
  本稿では,自己比較に基づくデータセットレベルのメンバシップ推定手法を提案する。 本手法では, 同一分布における地中構造データや非構造データへのアクセスは不要である。
  論文  参考訳（メタデータ） (2024-10-16T23:05:59Z)
• Detecting Training Data of Large Language Models via Expectation Maximization [62.28028046993391]
  メンバーシップ推論攻撃(MIA)は、特定のインスタンスがターゲットモデルのトレーニングデータの一部であるかどうかを判断することを目的としている。 大規模言語モデル(LLM)にMIAを適用することは、事前学習データの大規模化と、会員シップのあいまいさによって、ユニークな課題をもたらす。 EM-MIAは,予測最大化アルゴリズムを用いて,メンバーシップスコアとプレフィックススコアを反復的に洗練するLLMの新しいMIA手法である。
  論文  参考訳（メタデータ） (2024-10-10T03:31:16Z)
• Pretraining Data Detection for Large Language Models: A Divergence-based Calibration Method [108.56493934296687]
  本研究では,乱数から発散する概念に触発された偏差に基づくキャリブレーション手法を導入し,プリトレーニングデータ検出のためのトークン確率のキャリブレーションを行う。 我々は,中国語テキスト上でのLLMの検出手法の性能を評価するために,中国語のベンチマークであるPatentMIAを開発した。
  論文  参考訳（メタデータ） (2024-09-23T07:55:35Z)
• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• Sampling-based Pseudo-Likelihood for Membership Inference Attacks [36.62066767969338]
  メンバーシップ推論攻撃(MIA)は、与えられたテキストがモデルのトレーニングデータに含まれるかどうかを決定する。 LLMによって生成されたテキストのみを用いてSPLを計算し,漏洩を検出するMIAのためのサンプリングベースPseudo-Likelihood(textbfSPL)手法を提案する。
  論文  参考訳（メタデータ） (2024-04-17T11:12:59Z)
• Elephants Never Forget: Testing Language Models for Memorization of Tabular Data [21.912611415307644]
  大規模言語モデル (LLM) は様々なタスクに適用できるが、データ汚染と記憶の重大な問題はしばしば誇張される。 本稿では, 条件分布モデリングの統計的テストや, 暗記を識別する4つのテストなど, 汚染度を評価するための様々な手法を紹介する。
  論文  参考訳（メタデータ） (2024-03-11T12:07:13Z)
• Evaluation of LLMs on Syntax-Aware Code Fill-in-the-Middle Tasks [12.629516072317331]
  Syntax-Aware Fill-in-the-Middle (SAFIM)は、コードFill-in-the-Middle(FIM)タスク上でLLM(Large Language Models)を評価するための新しいベンチマークである。 このベンチマークは、コードブロックや条件式などのプログラム構造の構文対応補完に焦点を当てている。
  論文  参考訳（メタデータ） (2024-03-07T05:05:56Z)
• Large Language Models for Data Annotation and Synthesis: A Survey [49.8318827245266]
  本調査は,データアノテーションと合成のための大規模言語モデルの有用性に焦点を当てる。 LLMがアノテートできるデータタイプの詳細な分類、LLM生成アノテーションを利用したモデルの学習戦略のレビュー、データアノテーションと合成にLLMを使用する際の主な課題と制限に関する詳細な議論を含む。
  論文  参考訳（メタデータ） (2024-02-21T00:44:04Z)
• LLMaAA: Making Large Language Models as Active Annotators [32.57011151031332]
  本稿では,大規模な言語モデルをアノテータとして利用し,それをアクティブな学習ループに配置して,アノテートを効率的に行うLLMaAAを提案する。 我々は、エンティティ認識と関係抽出という、2つの古典的NLPタスクの実験と分析を行う。 LLMaAAでは、LLM生成ラベルからトレーニングされたタスク固有のモデルが、数百の注釈付きサンプルで教師より優れている。
  論文  参考訳（メタデータ） (2023-10-30T14:54:15Z)
• Large Language Models as Data Preprocessors [9.99065004972981]
  大規模言語モデル (LLM) は人工知能において大きな進歩を遂げている。 本研究では、データマイニングおよび分析アプリケーションにおいて重要な段階である、データ前処理におけるその可能性について検討する。 我々は,最先端のプロンプトエンジニアリング技術を統合したデータ前処理のためのLLMベースのフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-30T23:28:43Z)
• AnnoLLM: Making Large Language Models to Be Better Crowdsourced Annotators [98.11286353828525]
  GPT-3.5シリーズのモデルは、様々なNLPタスクにまたがる顕著な少数ショットとゼロショットの能力を示している。 本稿では,2段階のアプローチを取り入れたAnnoLLMを提案する。 我々はAnnoLLMを用いた対話型情報検索データセットを構築した。
  論文  参考訳（メタデータ） (2023-03-29T17:03:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。