Fugu-MT 論文翻訳(概要): MC-PDD: Masked Corpus-Level Pretraining Data Detection for Black-Box Large Language Models

論文の概要: MC-PDD: Masked Corpus-Level Pretraining Data Detection for Black-Box Large Language Models

arxiv url: http://arxiv.org/abs/2606.07996v1
Date: Sat, 06 Jun 2026 06:27:54 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-09 14:42:05.606688
Title: MC-PDD: Masked Corpus-Level Pretraining Data Detection for Black-Box Large Language Models
Title（参考訳）: MC-PDD:ブラックボックス大言語モデルのためのマスクコーパスレベル事前学習データ検出
Authors: Kaixin Lan, Mu You, Tao Fang, Binkai Ou, Lidia S. Chao, Derek F. Wong,
Abstract要約: マスク付き言語モデリングパラダイムに触発された新しい手法であるMasked Corpus-level Pretraining Data Detection (MC-PDD)を紹介する。 MC-PDDは各テキストで高度に特定のトークンをマスクし、LLMに欠落したコンテンツを予測するよう促す。そして、候補コーパスと基準非メンバーコーパスとの予測ヒット率の差が統計的に有意であるかどうかを評価する。
参考スコア（独自算出の注目度）: 42.7563448607861
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Pretraining is fundamental to the development of Large Language Models (LLMs), yet the opacity of pretraining data complicates model analysis and raises ethical, legal, and fairness concerns. Detecting whether specific datasets were used during pretraining is, therefore, critical. Existing state-of-the-art methods typically rely on access to model probability distributions, making them unsuitable for closed-source LLMs that provide only input-output interfaces. To address this limitation, we introduce Masked Corpus-level Pretraining Data Detection (MC-PDD), a novel method inspired by the masked language modeling paradigm. MC-PDD masks highly specific tokens in each text and prompts the LLM to predict the missing content. It then assesses whether the difference in prediction hit rates between a candidate corpus and a reference non-member corpus is statistically significant. Based on this comparison, MC-PDD determines whether the candidate texts were likely included in the model's pretraining data. Experimental results demonstrate clear and consistent differences in prediction hit rates between pretrained and unseen data across three datasets, for both open-source and closed-source LLMs. Despite operating under a stricter black-box setting, MC-PDD achieves performance comparable to existing detection methods. Our approach enables practical applications such as model auditing and data copyright verification using only standard API access. Upon acceptance, we will publicly release the code and datasets.
Abstract（参考訳）: 事前学習は、Large Language Models (LLMs) の発展に不可欠であるが、事前学習データの不透明さは、モデル分析を複雑にし、倫理的、法的、公正性の懸念を提起する。事前トレーニング中に特定のデータセットが使用されたかどうかを検出することは、非常に重要である。既存の最先端の手法は一般にモデル確率分布へのアクセスに依存しており、入力出力インタフェースのみを提供するクローズドソースのLCMには適さない。この制限に対処するために,マスク付き言語モデリングパラダイムに触発された新しい手法であるMasked Corpus-level Pretraining Data Detection (MC-PDD)を導入する。 MC-PDDは各テキストで高度に特定のトークンをマスクし、LLMに欠落したコンテンツを予測するよう促す。そして、候補コーパスと基準非メンバーコーパスとの予測ヒット率の差が統計的に有意であるかどうかを評価する。この比較に基づいて、MC-PDDは、候補テキストがモデルの事前学習データに含まれるかどうかを判定する。実験結果から、オープンソースのLLMとクローズドソースLLMの両方において、3つのデータセット間で事前訓練されたデータと見えないデータの間の予測ヒット率の明確な一貫した相違が示された。より厳格なブラックボックス設定の下で動作しているにもかかわらず、MC-PDDは既存の検出手法に匹敵する性能を達成する。提案手法は,標準APIアクセスのみを使用して,モデル監査やデータ著作権検証などの実用的アプリケーションを実現する。受け入れ次第、コードとデータセットを公開します。

論文の概要: MC-PDD: Masked Corpus-Level Pretraining Data Detection for Black-Box Large Language Models

関連論文リスト