論文の概要: Pretraining Data Detection for Large Language Models: A Divergence-based Calibration Method

• arxiv url: http://arxiv.org/abs/2409.14781v3
• Date: Mon, 28 Oct 2024 04:53:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-06 21:01:15.860015
• Title: Pretraining Data Detection for Large Language Models: A Divergence-based Calibration Method
• Title（参考訳）: 大規模言語モデルに対する事前データ検出:ダイバージェンスに基づく校正法
• Authors: Weichao Zhang, Ruqing Zhang, Jiafeng Guo, Maarten de Rijke, Yixing Fan, Xueqi Cheng,
• Abstract要約: 本研究では,乱数から発散する概念に触発された偏差に基づくキャリブレーション手法を導入し,プリトレーニングデータ検出のためのトークン確率のキャリブレーションを行う。 我々は,中国語テキスト上でのLLMの検出手法の性能を評価するために,中国語のベンチマークであるPatentMIAを開発した。
• 参考スコア（独自算出の注目度）: 108.56493934296687
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As the scale of training corpora for large language models (LLMs) grows, model developers become increasingly reluctant to disclose details on their data. This lack of transparency poses challenges to scientific evaluation and ethical deployment. Recently, pretraining data detection approaches, which infer whether a given text was part of an LLM's training data through black-box access, have been explored. The Min-K\% Prob method, which has achieved state-of-the-art results, assumes that a non-training example tends to contain a few outlier words with low token probabilities. However, the effectiveness may be limited as it tends to misclassify non-training texts that contain many common words with high probabilities predicted by LLMs. To address this issue, we introduce a divergence-based calibration method, inspired by the divergence-from-randomness concept, to calibrate token probabilities for pretraining data detection. We compute the cross-entropy (i.e., the divergence) between the token probability distribution and the token frequency distribution to derive a detection score. We have developed a Chinese-language benchmark, PatentMIA, to assess the performance of detection approaches for LLMs on Chinese text. Experimental results on English-language benchmarks and PatentMIA demonstrate that our proposed method significantly outperforms existing methods. Our code and PatentMIA benchmark are available at \url{https://github.com/zhang-wei-chao/DC-PDD}.
• Abstract（参考訳）: 大規模言語モデル(LLMs)のトレーニングコーパスの規模が大きくなるにつれて、モデル開発者は、データの詳細を明らかにすることに消極的になる。 この透明性の欠如は、科学的評価と倫理的展開に課題をもたらす。 近年,所与のテキストがブラックボックスアクセスによるLLMのトレーニングデータの一部であったかどうかを推定する事前学習データ検出手法が検討されている。 最先端の結果を得たMin-K\% Prob法は、訓練されていない例は、トークン確率の低いいくつかの外れた単語を含む傾向があると仮定する。 しかし、LLMによって予測される高い確率を持つ多くの共通語を含む非訓練テキストを誤分類する傾向があるため、有効性は制限される可能性がある。 この問題に対処するために,偏差からランダム化の概念に触発された偏差に基づくキャリブレーション手法を導入し,プリトレーニングデータ検出のためのトークン確率のキャリブレーションを行う。 我々は、トークン確率分布とトークン周波数分布との交叉エントロピー(すなわち分岐)を計算し、検出スコアを導出する。 我々は,中国語テキスト上でのLLMの検出手法の性能を評価するために,中国語のベンチマークであるPatentMIAを開発した。 提案手法が既存の手法よりも優れていることを示す。 私たちのコードとPatentMIAベンチマークは、 \url{https://github.com/zhang-wei-chao/DC-PDD}で公開されています。

関連論文リスト

• Training on the Benchmark Is Not All You Need [52.01920740114261]
  本稿では,複数選択肢の内容に基づいた簡易かつ効果的なデータ漏洩検出手法を提案する。 本手法は,モデルトレーニングデータや重みを使用せずに,ブラックボックス条件下で動作することができる。 我々は,4つのベンチマークデータセットを用いて,31個の主要なオープンソースLCMのデータ漏洩の程度を評価する。
  論文  参考訳（メタデータ） (2024-09-03T11:09:44Z)
• Adaptive Pre-training Data Detection for Large Language Models via Surprising Tokens [1.2549198550400134]
  大きな言語モデル(LLM)は広く使われているが、プライバシー、セキュリティ、著作権については不透明なトレーニングデータのために懸念されている。 この問題に対する現在の解決策は、メンバーシップ推論攻撃(MIA)のような機械学習プライバシで探索されたテクニックを活用する。 本稿では、この信頼性を軽減し、同定を効果的に増幅する適応型事前学習データ検出法を提案する。
  論文  参考訳（メタデータ） (2024-07-30T23:43:59Z)
• Probing Language Models for Pre-training Data Detection [11.37731401086372]
  本稿では,モデルの内部アクティベーションを調べることで,事前学習データ検出のための探索手法を提案する。 我々の手法はシンプルで効果的であり、より信頼性の高い事前学習データ検出につながる。
  論文  参考訳（メタデータ） (2024-06-03T13:58:04Z)
• Min-K%++: Improved Baseline for Detecting Pre-Training Data from Large Language Models [15.50128790503447]
  我々はMin-K%++という名前の事前学習データ検出のための新しい理論的動機付け手法を提案する。 具体的には,各入力次元に沿ったモデル分布の局所的な最大値であることを示す。
  論文  参考訳（メタデータ） (2024-04-03T04:25:01Z)
• Detecting Pretraining Data from Large Language Models [90.12037980837738]
  事前学習データ検出問題について検討する。 事前学習データを知ることなく、テキスト片とLCMへのブラックボックスアクセスを条件に、モデルが提供されたテキストでトレーニングされたかどうかを判断できますか? 簡単な仮説に基づく新しい検出手法Min-K% Probを提案する。
  論文  参考訳（メタデータ） (2023-10-25T17:21:23Z)
• Tailoring Language Generation Models under Total Variation Distance [55.89964205594829]
  ニューラルネットワーク生成の標準パラダイムは、最適化方法として最大推定(MLE)を採用する。 言語生成に適用するための実践的境界を開発する。 本稿では,TVD推定のトレードオフのバランスをとるためのTaiLr の目標について紹介する。
  論文  参考訳（メタデータ） (2023-02-26T16:32:52Z)
• Sample Efficient Approaches for Idiomaticity Detection [6.481818246474555]
  本研究は, 慣用性検出の効率的な手法を探索する。 特に,いくつかの分類法であるPET(Pattern Exploit Training)と,文脈埋め込みの効率的な方法であるBERTRAM(BERTRAM)の影響について検討した。 実験の結果,PETは英語のパフォーマンスを向上するが,ポルトガル語やガリシア語では効果が低下し,バニラmBERTと同程度の総合的な性能が得られた。
  論文  参考訳（メタデータ） (2022-05-23T13:46:35Z)
• Conditional Bilingual Mutual Information Based Adaptive Training for Neural Machine Translation [66.23055784400475]
  トークンレベルの適応トレーニングアプローチはトークンの不均衡問題を緩和することができる。 条件付きバイリンガル相互情報(CBMI)という目標コンテキスト対応メトリックを提案する。 CBMIは、事前の統計計算なしで、モデルトレーニング中に効率的に計算することができる。
  論文  参考訳（メタデータ） (2022-03-06T12:34:10Z)
• Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
  数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。 本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
  論文  参考訳（メタデータ） (2020-02-27T10:22:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。