論文の概要: Proving Test Set Contamination in Black Box Language Models

• arxiv url: http://arxiv.org/abs/2310.17623v2
• Date: Fri, 24 Nov 2023 01:45:16 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-28 02:50:18.963446
• Title: Proving Test Set Contamination in Black Box Language Models
• Title（参考訳）: ブラックボックス言語モデルにおけるテストセット汚染の証明
• Authors: Yonatan Oren and Nicole Meister and Niladri Chatterji and Faisal Ladhak and Tatsunori B. Hashimoto
• Abstract要約: 本研究では,事前学習データやモデルの重み付けを使わずに,言語モデルにおけるテストセット汚染の証明可能な保証を提供することが可能であることを示す。 我々のアプローチは、データ汚染がない場合、交換可能なベンチマークの全ての順序が等しくなるという事実を活用する。
• 参考スコア（独自算出の注目度）: 20.576866080360247
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models are trained on vast amounts of internet data, prompting concerns and speculation that they have memorized public benchmarks. Going from speculation to proof of contamination is challenging, as the pretraining data used by proprietary models are often not publicly accessible. We show that it is possible to provide provable guarantees of test set contamination in language models without access to pretraining data or model weights. Our approach leverages the fact that when there is no data contamination, all orderings of an exchangeable benchmark should be equally likely. In contrast, the tendency for language models to memorize example order means that a contaminated language model will find certain canonical orderings to be much more likely than others. Our test flags potential contamination whenever the likelihood of a canonically ordered benchmark dataset is significantly higher than the likelihood after shuffling the examples. We demonstrate that our procedure is sensitive enough to reliably prove test set contamination in challenging situations, including models as small as 1.4 billion parameters, on small test sets of only 1000 examples, and datasets that appear only a few times in the pretraining corpus. Using our test, we audit five popular publicly accessible language models for test set contamination and find little evidence for pervasive contamination.
• Abstract（参考訳）: 大規模な言語モデルは大量のインターネットデータに基づいて訓練されており、公開ベンチマークを記憶しているという懸念や憶測を引き起こしている。 プロプライエタリなモデルで使用される事前学習データは一般にはアクセスできないため、憶測から汚染の証明まで難しい。 事前学習データやモデルの重み付けにアクセスせずに、言語モデルにおけるテストセットの汚染の証明可能な保証を提供できることを示す。 我々のアプローチは、データ汚染がない場合、交換可能なベンチマークの全ての順序が等しくなるという事実を活用する。 対照的に、言語モデルが例の順序を記憶する傾向は、汚染された言語モデルが特定の標準順序を他のモデルよりもずっと高い確率で見つけることを意味する。 我々のテストでは、正準順序付きベンチマークデータセットの確率が、サンプルをシャッフルした後の確率よりもかなり高いときに、潜在的な汚染をフラグする。 提案手法は,1000例の小さなテストセット上での14億のパラメータのモデルや,事前学習コーパスに数回しか現れないデータセットなど,困難な状況下でテストセットの汚染を確実に証明するのに十分であることを示す。 本試験では, 一般に普及している5つの言語モデルを用いて, テストセット汚染の検査を行い, 広汎な汚染の証拠はほとんど見つからなかった。

関連論文リスト

• Training on the Benchmark Is Not All You Need [52.01920740114261]
  本稿では,複数選択肢の内容に基づいた簡易かつ効果的なデータ漏洩検出手法を提案する。 本手法は,モデルトレーニングデータや重みを使用せずに,ブラックボックス条件下で動作することができる。 我々は,4つのベンチマークデータセットを用いて,31個の主要なオープンソースLCMのデータ漏洩の程度を評価する。
  論文  参考訳（メタデータ） (2024-09-03T11:09:44Z)
• PaCoST: Paired Confidence Significance Testing for Benchmark Contamination Detection in Large Language Models [41.772263447213234]
  大規模言語モデル(LLM)は膨大な量のデータに基づいて訓練されることが知られており、意図的または故意によく使われるベンチマークのデータを含むことがある。 このインクルージョンは、モデルリーダーボードの不正な高いスコアにつながるが、現実のアプリケーションではパフォーマンスに失望する。 LLMのベンチマーク汚染を効果的に検出するPaired Confidence Significance TestingであるPaCoSTを紹介する。
  論文  参考訳（メタデータ） (2024-06-26T13:12:40Z)
• GPT-HateCheck: Can LLMs Write Better Functional Tests for Hate Speech Detection? [50.53312866647302]
  HateCheckは、合成データに対してきめ細かいモデル機能をテストするスイートである。 GPT-HateCheckは,スクラッチからより多彩で現実的な機能テストを生成するフレームワークである。 クラウドソースのアノテーションは、生成されたテストケースが高品質であることを示しています。
  論文  参考訳（メタデータ） (2024-02-23T10:02:01Z)
• Evading Data Contamination Detection for Language Models is (too) Easy [9.024665800235855]
  大規模な言語モデルは、必然的に公開ベンチマークによる汚染につながる可能性がある。 本稿では,モデルプロバイダと汚染検出手法の両方の分類を提案する。 これは、私たちがEALで活用している既存のメソッドの脆弱性を明らかにします。
  論文  参考訳（メタデータ） (2024-02-05T09:10:32Z)
• Rethinking Benchmark and Contamination for Language Models with Rephrased Samples [49.18977581962162]
  大規模な言語モデルは、これまで人間が生成したすべてのデータに基づいて、ますます訓練されている。 多くの人は、事前トレーニングや微調整のデータセットが汚染される可能性があるとして、公開ベンチマークの信頼性を懸念している。
  論文  参考訳（メタデータ） (2023-11-08T17:35:20Z)
• Detecting Pretraining Data from Large Language Models [90.12037980837738]
  事前学習データ検出問題について検討する。 事前学習データを知ることなく、テキスト片とLCMへのブラックボックスアクセスを条件に、モデルが提供されたテキストでトレーニングされたかどうかを判断できますか? 簡単な仮説に基づく新しい検出手法Min-K% Probを提案する。
  論文  参考訳（メタデータ） (2023-10-25T17:21:23Z)
• Estimating Contamination via Perplexity: Quantifying Memorisation in Language Model Evaluation [2.4173424114751114]
  本稿では,全トレーニングセットにアクセスせずに汚染を定量化する新しい手法を提案する。 我々の分析は、一般的な読み理解、要約ベンチマークにおいて、最近の基礎モデルの顕著な記憶の証拠を提供する一方で、複数の選択が汚染されていないように見える。
  論文  参考訳（メタデータ） (2023-09-19T15:02:58Z)
• Few-shot Instruction Prompts for Pretrained Language Models to Detect Social Biases [55.45617404586874]
  我々は、事前訓練された言語モデル(LM)を誘導する数ショットの命令ベース手法を提案する。 大規模なLMは、微調整モデルとよく似た精度で、異なる種類の細粒度バイアスを検出できることを示す。
  論文  参考訳（メタデータ） (2021-12-15T04:19:52Z)
• Limits of Detecting Text Generated by Large-Scale Language Models [65.46403462928319]
  誤情報キャンペーンで使用される可能性があるため、長く一貫性のあるテキストを生成できる大規模な言語モデルが危険であると考える者もいる。 ここでは、仮説テスト問題として大規模言語モデル出力検出を定式化し、テキストを真あるいは生成されたものと分類する。
  論文  参考訳（メタデータ） (2020-02-09T19:53:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。