論文の概要: MC-PDD: Masked Corpus-Level Pretraining Data Detection for Black-Box Large Language Models

• arxiv url: http://arxiv.org/abs/2606.07996v1
• Date: Sat, 06 Jun 2026 06:27:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-09 14:42:05.606688
• Title: MC-PDD: Masked Corpus-Level Pretraining Data Detection for Black-Box Large Language Models
• Title（参考訳）: MC-PDD:ブラックボックス大言語モデルのためのマスクコーパスレベル事前学習データ検出
• Abstract要約: マスク付き言語モデリングパラダイムに触発された新しい手法であるMasked Corpus-level Pretraining Data Detection (MC-PDD)を紹介する。 MC-PDDは各テキストで高度に特定のトークンをマスクし、LLMに欠落したコンテンツを予測するよう促す。 そして、候補コーパスと基準非メンバーコーパスとの予測ヒット率の差が統計的に有意であるかどうかを評価する。
• 参考スコア（独自算出の注目度）: 42.7563448607861
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Pretraining is fundamental to the development of Large Language Models (LLMs), yet the opacity of pretraining data complicates model analysis and raises ethical, legal, and fairness concerns. Detecting whether specific datasets were used during pretraining is, therefore, critical. Existing state-of-the-art methods typically rely on access to model probability distributions, making them unsuitable for closed-source LLMs that provide only input-output interfaces. To address this limitation, we introduce Masked Corpus-level Pretraining Data Detection (MC-PDD), a novel method inspired by the masked language modeling paradigm. MC-PDD masks highly specific tokens in each text and prompts the LLM to predict the missing content. It then assesses whether the difference in prediction hit rates between a candidate corpus and a reference non-member corpus is statistically significant. Based on this comparison, MC-PDD determines whether the candidate texts were likely included in the model's pretraining data. Experimental results demonstrate clear and consistent differences in prediction hit rates between pretrained and unseen data across three datasets, for both open-source and closed-source LLMs. Despite operating under a stricter black-box setting, MC-PDD achieves performance comparable to existing detection methods. Our approach enables practical applications such as model auditing and data copyright verification using only standard API access. Upon acceptance, we will publicly release the code and datasets.
• Abstract（参考訳）: 事前学習は、Large Language Models (LLMs) の発展に不可欠であるが、事前学習データの不透明さは、モデル分析を複雑にし、倫理的、法的、公正性の懸念を提起する。 事前トレーニング中に特定のデータセットが使用されたかどうかを検出することは、非常に重要である。 既存の最先端の手法は一般にモデル確率分布へのアクセスに依存しており、入力出力インタフェースのみを提供するクローズドソースのLCMには適さない。 この制限に対処するために,マスク付き言語モデリングパラダイムに触発された新しい手法であるMasked Corpus-level Pretraining Data Detection (MC-PDD)を導入する。 MC-PDDは各テキストで高度に特定のトークンをマスクし、LLMに欠落したコンテンツを予測するよう促す。 そして、候補コーパスと基準非メンバーコーパスとの予測ヒット率の差が統計的に有意であるかどうかを評価する。 この比較に基づいて、MC-PDDは、候補テキストがモデルの事前学習データに含まれるかどうかを判定する。 実験結果から、オープンソースのLLMとクローズドソースLLMの両方において、3つのデータセット間で事前訓練されたデータと見えないデータの間の予測ヒット率の明確な一貫した相違が示された。 より厳格なブラックボックス設定の下で動作しているにもかかわらず、MC-PDDは既存の検出手法に匹敵する性能を達成する。 提案手法は,標準APIアクセスのみを使用して,モデル監査やデータ著作権検証などの実用的アプリケーションを実現する。 受け入れ次第、コードとデータセットを公開します。

関連論文リスト

• Identifying Pre-training Data in LLMs: A Neuron Activation-Based Detection Framework [17.364424086991207]
  大規模言語モデル(LLM)のパフォーマンスは、著作権のある資料やプライベート情報を含むトレーニングデータと密接に結びついている。 LLMにおけるトレーニングデータと非トレーニングデータの差分ニューロン活性化パターンを解析する新しいアルゴリズムであるNA-PDDを導入する。 また、厳密なデータ変換を用いて、トレーニングデータと非トレーニングデータ間の一貫した時間分布を確保するための、時間的偏りのないベンチマークであるCCNewsPDDを導入する。
  論文  参考訳（メタデータ） (2025-07-22T10:05:30Z)
• Hey, That's My Data! Label-Only Dataset Inference in Large Language Models [63.35066172530291]
  CatShiftはラベルのみのデータセット推論フレームワークである。 LLMは、新しいデータに晒されたとき、学習した知識を上書きする傾向にある。
  論文  参考訳（メタデータ） (2025-06-06T13:02:59Z)
• Detecting Training Data of Large Language Models via Expectation Maximization [62.28028046993391]
  本稿では,予測最大化アルゴリズムを用いて,メンバーシップスコアとプレフィックススコアを反復的に洗練する新しいメンバーシップ推論手法EM-MIAを紹介する。 EM-MIAはWikiMIAで最先端の結果を得る。
  論文  参考訳（メタデータ） (2024-10-10T03:31:16Z)
• Pretraining Data Detection for Large Language Models: A Divergence-based Calibration Method [108.56493934296687]
  本研究では,乱数から発散する概念に触発された偏差に基づくキャリブレーション手法を導入し,プリトレーニングデータ検出のためのトークン確率のキャリブレーションを行う。 我々は,中国語テキスト上でのLLMの検出手法の性能を評価するために,中国語のベンチマークであるPatentMIAを開発した。
  論文  参考訳（メタデータ） (2024-09-23T07:55:35Z)
• Training on the Benchmark Is Not All You Need [52.01920740114261]
  本稿では,複数選択肢の内容に基づいた簡易かつ効果的なデータ漏洩検出手法を提案する。 本手法は,モデルトレーニングデータや重みを使用せずに,グレーボックス条件下で動作可能である。 4つのベンチマークデータセットから35個の主要なオープンソースLCMのデータ漏洩度を評価する。
  論文  参考訳（メタデータ） (2024-09-03T11:09:44Z)
• Adaptive Pre-training Data Detection for Large Language Models via Surprising Tokens [1.2549198550400134]
  大きな言語モデル(LLM)は広く使われているが、プライバシー、セキュリティ、著作権については不透明なトレーニングデータのために懸念されている。 この問題に対する現在の解決策は、メンバーシップ推論攻撃(MIA)のような機械学習プライバシで探索されたテクニックを活用する。 本稿では、この信頼性を軽減し、同定を効果的に増幅する適応型事前学習データ検出法を提案する。
  論文  参考訳（メタデータ） (2024-07-30T23:43:59Z)
• Detecting Pretraining Data from Large Language Models [90.12037980837738]
  事前学習データ検出問題について検討する。 事前学習データを知ることなく、テキスト片とLCMへのブラックボックスアクセスを条件に、モデルが提供されたテキストでトレーニングされたかどうかを判断できますか? 簡単な仮説に基づく新しい検出手法Min-K% Probを提案する。
  論文  参考訳（メタデータ） (2023-10-25T17:21:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。