論文の概要: Data Contamination Through the Lens of Time

• arxiv url: http://arxiv.org/abs/2310.10628v1
• Date: Mon, 16 Oct 2023 17:51:29 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-17 12:29:02.790878
• Title: Data Contamination Through the Lens of Time
• Title（参考訳）: 時間のレンズによるデータ汚染
• Authors: Manley Roberts, Himanshu Thakur, Christine Herlihy, Colin White, Samuel Dooley
• Abstract要約: 大規模言語モデル(LLM)は一般に利用可能なベンチマークを評価することでしばしばサポートされる。 このプラクティスは、データ汚染の懸念、すなわち、トレーニングデータに明示的にまたは暗黙的に含まれている例を評価することを提起する。 GPTモデルにおけるトレーニングカットオフの自然実験を用いて, LLMにおけるデータ汚染の経時的解析を行った。
• 参考スコア（独自算出の注目度）: 21.933771085956426
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent claims about the impressive abilities of large language models (LLMs) are often supported by evaluating publicly available benchmarks. Since LLMs train on wide swaths of the internet, this practice raises concerns of data contamination, i.e., evaluating on examples that are explicitly or implicitly included in the training data. Data contamination remains notoriously challenging to measure and mitigate, even with partial attempts like controlled experimentation of training data, canary strings, or embedding similarities. In this work, we conduct the first thorough longitudinal analysis of data contamination in LLMs by using the natural experiment of training cutoffs in GPT models to look at benchmarks released over time. Specifically, we consider two code/mathematical problem-solving datasets, Codeforces and Project Euler, and find statistically significant trends among LLM pass rate vs. GitHub popularity and release date that provide strong evidence of contamination. By open-sourcing our dataset, raw results, and evaluation framework, our work paves the way for rigorous analyses of data contamination in modern models. We conclude with a discussion of best practices and future steps for publicly releasing benchmarks in the age of LLMs that train on webscale data.
• Abstract（参考訳）: 大規模言語モデル(llms)の印象的な能力に関する最近の主張は、公開ベンチマークの評価によってしばしば支持されている。 llmsはインターネットの広い範囲でトレーニングを行うため、このプラクティスはデータの汚染、すなわちトレーニングデータに明示的にまたは暗黙的に含まれている例の評価の懸念を引き起こす。 データ汚染は、トレーニングデータやカナリアストリングの制御実験、あるいは類似点の埋め込みといった部分的な試みであっても、測定と緩和が難しいことで知られています。 本研究は, GPTモデルにおけるトレーニングカットオフの自然実験を用いて, LLMにおけるデータ汚染の経時的解析を行い, 経時的評価を行った。 具体的には、2つのコード/数学的問題解決データセット、CodeforcesとProject Eulerを検討し、LLMパスレートとGitHubの人気とリリース日の間に統計的に有意な傾向を見出した。 データセット、生の結果、評価フレームワークをオープンソース化することで、現代のモデルにおけるデータ汚染の厳密な分析の道を開くことができる。 最後に、webスケールデータをトレーニングするllmの時代におけるベンチマークを公開するためのベストプラクティスと今後のステップについて論じる。

関連論文リスト

• Training on the Benchmark Is Not All You Need [52.01920740114261]
  本稿では,複数選択肢の内容に基づいた簡易かつ効果的なデータ漏洩検出手法を提案する。 本手法は,モデルトレーニングデータや重みを使用せずに,ブラックボックス条件下で動作することができる。 我々は,4つのベンチマークデータセットを用いて,31個の主要なオープンソースLCMのデータ漏洩の程度を評価する。
  論文  参考訳（メタデータ） (2024-09-03T11:09:44Z)
• Entropy Law: The Story Behind Data Compression and LLM Performance [115.70395740286422]
  モデル性能はトレーニングデータの圧縮比と負の相関関係にあり,トレーニング損失が小さくなるのが普通である。 エントロピー法則の知見に基づいて, 極めて効率的で普遍的なデータ選択法を提案する。 また,モデルトレーニング開始時の潜在的な性能リスクを検出するエントロピー法則の興味深い応用を提案する。
  論文  参考訳（メタデータ） (2024-07-09T08:14:29Z)
• Probing Language Models for Pre-training Data Detection [11.37731401086372]
  本稿では,モデルの内部アクティベーションを調べることで,事前学習データ検出のための探索手法を提案する。 我々の手法はシンプルで効果的であり、より信頼性の高い事前学習データ検出につながる。
  論文  参考訳（メタデータ） (2024-06-03T13:58:04Z)
• Benchmarking Benchmark Leakage in Large Language Models [24.015208839742343]
  本稿では,モデル予測精度をベンチマークで評価する2つの単純かつスケーラブルな指標であるPerplexityとN-gramの精度を利用した検出パイプラインを提案する。 テストセットの誤用さえも、トレーニングのかなりの例を明らかにし、潜在的に不公平な比較を行う。 ベンチマーク利用の明確なドキュメンテーションを促進するために,ベンチマーク透明性カードを提案する。
  論文  参考訳（メタデータ） (2024-04-29T16:05:36Z)
• How Much are Large Language Models Contaminated? A Comprehensive Survey and the LLMSanitize Library [68.10605098856087]
  大規模言語モデル(LLM)は、ビジネスアプリケーションやAIの資金調達でますます利用されている。 LLMの性能は、データへの以前の露出のために、少なくとも部分的には高性能である可能性があるため、もはや信頼性が低い可能性がある。 我々はLLMSanitizeというオープンソースのPythonライブラリをリリースし、主要な汚染検知アルゴリズムを実装した。
  論文  参考訳（メタデータ） (2024-03-31T14:32:02Z)
• How to Train Data-Efficient LLMs [56.41105687693619]
  事前学習言語モデル(LLM)に対するデータ効率のアプローチについて検討する。 Ask-LLMと密度サンプリングがそれぞれのカテゴリで最適であることがわかった。 何百もの評価タスクと事前学習作業を含む19個のサンプルを比較したところ,Ask-LLMと密度がそれぞれのカテゴリで最適な方法であることが判明した。
  論文  参考訳（メタデータ） (2024-02-15T02:27:57Z)
• Leak, Cheat, Repeat: Data Contamination and Evaluation Malpractices in Closed-Source LLMs [5.310555620116225]
  我々は OpenAI の GPT-3.5 と GPT-4 を用いた最初の系統解析を行った。 モデルのリリース後最初の1年間に、これらのモデルにリークされたデータ量について文書化します。 我々はこれらのモデルが263ベンチマークから$sim$4.7Mのサンプルに世界中で公開されていることを報告した。
  論文  参考訳（メタデータ） (2024-02-06T11:54:23Z)
• Rethinking Benchmark and Contamination for Language Models with Rephrased Samples [49.18977581962162]
  大規模な言語モデルは、これまで人間が生成したすべてのデータに基づいて、ますます訓練されている。 多くの人は、事前トレーニングや微調整のデータセットが汚染される可能性があるとして、公開ベンチマークの信頼性を懸念している。
  論文  参考訳（メタデータ） (2023-11-08T17:35:20Z)
• The GitHub Recent Bugs Dataset for Evaluating LLM-based Debugging Applications [20.339673903885483]
  大規模言語モデル(LLM)は、強力な自然言語処理とコード合成機能を示している。 LLMのトレーニングデータの詳細は公開されていないことが多く、既存のバグベンチマークが含まれているかどうかが懸念されている。 このデータセットには、OpenAIデータカットオフポイント後に収集された76の現実世界のJavaバグが含まれている。
  論文  参考訳（メタデータ） (2023-10-20T02:37:44Z)
• LLMs as Factual Reasoners: Insights from Existing Benchmarks and Beyond [135.8013388183257]
  そこで我々は,SummEditsと呼ばれる10ドメインのベンチマークで不整合検出ベンチマークを作成し,実装する新しいプロトコルを提案する。 ほとんどのLLMはSummEditsで苦労しており、パフォーマンスはランダムに近い。 最も優れたモデルであるGPT-4は、推定された人間のパフォーマンスよりも8%低い。
  論文  参考訳（メタデータ） (2023-05-23T21:50:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。