論文の概要: Evaluation data contamination in LLMs: how do we measure it and (when) does it matter?

• arxiv url: http://arxiv.org/abs/2411.03923v1
• Date: Wed, 06 Nov 2024 13:54:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-07 19:23:44.597234
• Title: Evaluation data contamination in LLMs: how do we measure it and (when) does it matter?
• Title（参考訳）: LLMにおけるデータ汚染の評価 : その測定方法と(いつ)重要か?
• Authors: Aaditya K. Singh, Muhammed Yusuf Kocyigit, Andrew Poulton, David Esiobu, Maria Lomeli, Gergely Szilvasy, Dieuwke Hupkes,
• Abstract要約: どのサンプルを汚染されるべきか、それがベンチマークスコアに与える影響を正確に定義することは困難である。 本稿では,ConTAMと呼ばれる新しい分析手法を提案する。 汚染は最近のLCMリリースで報告されたよりもはるかに大きな効果を示し、異なるスケールで異なるモデルに利益をもたらす可能性がある。
• 参考スコア（独自算出の注目度）: 10.691754344782387
• License:
• Abstract: Hampering the interpretation of benchmark scores, evaluation data contamination has become a growing concern in the evaluation of LLMs, and an active area of research studies its effects. While evaluation data contamination is easily understood intuitively, it is surprisingly difficult to define precisely which samples should be considered contaminated and, consequently, how it impacts benchmark scores. We propose that these questions should be addressed together and that contamination metrics can be assessed based on whether models benefit from the examples they mark contaminated. We propose a novel analysis method called ConTAM, and show with a large scale survey of existing and novel n-gram based contamination metrics across 13 benchmarks and 7 models from 2 different families that ConTAM can be used to better understand evaluation data contamination and its effects. We find that contamination may have a much larger effect than reported in recent LLM releases and benefits models differently at different scales. We also find that considering only the longest contaminated substring provides a better signal than considering a union of all contaminated substrings, and that doing model and benchmark specific threshold analysis greatly increases the specificity of the results. Lastly, we investigate the impact of hyperparameter choices, finding that, among other things, both using larger values of n and disregarding matches that are infrequent in the pre-training data lead to many false negatives. With ConTAM, we provide a method to empirically ground evaluation data contamination metrics in downstream effects. With our exploration, we shed light on how evaluation data contamination can impact LLMs and provide insight into the considerations important when doing contamination analysis. We end our paper by discussing these in more detail and providing concrete suggestions for future work.
• Abstract（参考訳）: 評価データ汚染は, ベンチマークスコアの解釈を損なうことなく, LLMの評価において懸念が高まり, 研究の活発な領域でその効果が研究されている。 データ汚染の評価は直感的に容易に理解できるが、どのサンプルを汚染とみなすべきかを正確に定義することは驚くほど困難である。 我々は,これらの問題に共に対処すべきであり,汚染指標が汚染された事例からモデルが恩恵を受けるかどうかに基づいて評価できることを提案する。 本稿では,ConTAMと呼ばれる新しい分析手法を提案するとともに,データ汚染とその影響をよりよく理解するために,13のベンチマークと2つの異なる家系の7つのモデルに対して,既存のn-gramベースの汚染指標を大規模に調査する。 汚染は最近のLCMリリースで報告されたよりもはるかに大きな効果を示し、異なるスケールで異なるモデルに利益をもたらす可能性がある。 また、最も長い汚染されたサブストリングのみを考慮すると、全ての汚染されたサブストリングの結合を考えるよりも優れた信号が得られ、モデルおよびベンチマーク特定しきい値解析を行うことで結果の特異性が大きく向上することがわかった。 最後に, パラメータ選択の影響について検討し, n の値が大きいことと, 事前学習データに欠かせない一致を無視することの両方が, 多くの偽陰性を引き起こすことを示した。 ConTAMにより、下流効果における評価データ汚染指標を実証的にグルーピングする方法を提供する。 調査では,データ汚染がLCMにどのように影響するかについて光を当て,汚染分析を行う上で重要な考察について考察した。 我々は、これらをさらに詳細に議論し、将来の作業に具体的な提案を提供することで、論文を締めくくります。

関連論文リスト

• CAP: Data Contamination Detection via Consistency Amplification [20.135264289668463]
  大規模言語モデル(LLM)は広く使われているが、データの汚染に関する懸念は信頼性に疑問を呈している。 本稿では,データセットの漏洩量を測定するためのPCR(Performance Consistency Ratio)を導入した新しいフレームワークである Consistency Amplification-based Data Contamination Detection (CAP)を提案する。 CAPは様々なベンチマークに適用でき、ホワイトボックスモデルとブラックボックスモデルの両方で動作する。
  論文  参考訳（メタデータ） (2024-10-19T06:33:33Z)
• Unlearnable Examples Detection via Iterative Filtering [84.59070204221366]
  ディープニューラルネットワークは、データ中毒攻撃に弱いことが証明されている。 混合データセットから有毒なサンプルを検出することは極めて有益であり、困難である。 UE識別のための反復フィルタリング手法を提案する。
  論文  参考訳（メタデータ） (2024-08-15T13:26:13Z)
• A Taxonomy for Data Contamination in Large Language Models [12.643103231497813]
  増大する懸念は、事前学習コーパスに評価データセットを含めることができるデータ汚染である。 このようなデータを検知し、除去するプロセスである汚染除去は、潜在的な解決策である。 下流タスクにおける言語モデルの性能に異なる種類の汚染がどのような影響を及ぼすかは、完全には理解されていない。
  論文  参考訳（メタデータ） (2024-07-11T17:50:34Z)
• Generalization or Memorization: Data Contamination and Trustworthy Evaluation for Large Language Models [42.958880063727996]
  CDD は LLM の出力分布による汚染検出の略である。 評価におけるデータ汚染の影響を軽減するため、TED:出力分布による信頼に値する評価も提示する。
  論文  参考訳（メタデータ） (2024-02-24T23:54:41Z)
• KIEval: A Knowledge-grounded Interactive Evaluation Framework for Large Language Models [53.84677081899392]
  KIEvalは、大規模言語モデルのための知識ベースでインタラクティブな評価フレームワークである。 動的汚染耐性評価を達成するために、LSMを動力とする"インターアクター"の役割を初めて取り入れている。 5つのデータセットにわたる7つのLLMの大規模な実験により、KIEvalの有効性と一般化が検証された。
  論文  参考訳（メタデータ） (2024-02-23T01:30:39Z)
• Investigating Data Contamination for Pre-training Language Models [46.335755305642564]
  我々は,一連のGPT-2モデルを事前学習することで,事前学習段階におけるデータ汚染の影響について検討する。 評価データから,テキスト汚染 (テキスト, 評価サンプルの入力テキスト) と接地トラス汚染 (テキスト, 入力に要求されるプロンプトと所望の出力) の両方の効果を強調した。
  論文  参考訳（メタデータ） (2024-01-11T17:24:49Z)
• Interpretable Causal Inference for Analyzing Wearable, Sensor, and Distributional Data [62.56890808004615]
  本研究では,信頼性とロバストな意思決定を確実にする,分散データ解析の解釈可能な手法を開発した。 ADD MALTSの有用性について,糖尿病リスク軽減のための連続グルコースモニターの有効性について検討した。
  論文  参考訳（メタデータ） (2023-12-17T00:42:42Z)
• Rethinking Benchmark and Contamination for Language Models with Rephrased Samples [49.18977581962162]
  大規模な言語モデルは、これまで人間が生成したすべてのデータに基づいて、ますます訓練されている。 多くの人は、事前トレーニングや微調整のデータセットが汚染される可能性があるとして、公開ベンチマークの信頼性を懸念している。
  論文  参考訳（メタデータ） (2023-11-08T17:35:20Z)
• NLP Evaluation in trouble: On the Need to Measure LLM Data Contamination for each Benchmark [19.875954121100005]
  我々は、注釈付きベンチマークを用いた自然言語処理(NLP)タスクの古典的評価が問題となっていると論じる。 最悪のデータ汚染は、Large Language Model(LLM)がベンチマークのテスト分割に基づいてトレーニングされ、同じベンチマークで評価された時に発生する。 このポジションペーパーは、異なるレベルのデータ汚染を定義し、コミュニティの努力を主張する。
  論文  参考訳（メタデータ） (2023-10-27T09:48:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。