論文の概要: PaCoST: Paired Confidence Significance Testing for Benchmark Contamination Detection in Large Language Models

• arxiv url: http://arxiv.org/abs/2406.18326v1
• Date: Wed, 26 Jun 2024 13:12:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-27 13:29:21.671524
• Title: PaCoST: Paired Confidence Significance Testing for Benchmark Contamination Detection in Large Language Models
• Title（参考訳）: PaCoST:大規模言語モデルにおけるベンチマーク汚染検出のための信頼度テスト
• Authors: Huixuan Zhang, Yun Lin, Xiaojun Wan,
• Abstract要約: 大規模言語モデル(LLM)は膨大な量のデータに基づいて訓練されることが知られており、意図的または故意によく使われるベンチマークのデータを含むことがある。 このインクルージョンは、モデルリーダーボードの不正な高いスコアにつながるが、現実のアプリケーションではパフォーマンスに失望する。 LLMのベンチマーク汚染を効果的に検出するPaired Confidence Significance TestingであるPaCoSTを紹介する。
• 参考スコア（独自算出の注目度）: 41.772263447213234
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are known to be trained on vast amounts of data, which may unintentionally or intentionally include data from commonly used benchmarks. This inclusion can lead to cheatingly high scores on model leaderboards, yet result in disappointing performance in real-world applications. To address this benchmark contamination problem, we first propose a set of requirements that practical contamination detection methods should follow. Following these proposed requirements, we introduce PaCoST, a Paired Confidence Significance Testing to effectively detect benchmark contamination in LLMs. Our method constructs a counterpart for each piece of data with the same distribution, and performs statistical analysis of the corresponding confidence to test whether the model is significantly more confident under the original benchmark. We validate the effectiveness of PaCoST and apply it on popular open-source models and benchmarks. We find that almost all models and benchmarks we tested are suspected contaminated more or less. We finally call for new LLM evaluation methods.
• Abstract（参考訳）: 大規模言語モデル(LLM)は膨大な量のデータに基づいて訓練されることが知られており、意図的または故意によく使われるベンチマークのデータを含むことがある。 このインクルージョンは、モデルリーダーボードの不正な高いスコアにつながるが、現実のアプリケーションではパフォーマンスに失望する。 このベンチマーク汚染問題に対処するために,我々はまず,実際の汚染検出手法が従うべき要件のセットを提案する。 これらの要件に従えば, LLMのベンチマーク汚染を効果的に検出するPaired Confidence Significance TestingであるPaCoSTを導入する。 提案手法は,同一の分布を持つ各データに対する対応性を構築し,対応する信頼度を統計的に解析し,そのモデルが元のベンチマークで有意に信頼性が高いかどうかを検証する。 我々はPaCoSTの有効性を検証し、人気のあるオープンソースモデルやベンチマークに適用する。 テストしたほぼすべてのモデルとベンチマークが、多かれ少なかれ汚染されていると疑われていることが分かりました。 最終的に新しいLCM評価手法を提唱する。

関連論文リスト

• ConStat: Performance-Based Contamination Detection in Large Language Models [7.305342793164905]
  コンスタット(ConStat)は、参照モデルの集合に対する一次ベンチマークと参照ベンチマークのパフォーマンスを比較することで、汚染を確実に検出し、定量化する統計手法である。 多様なモデルアーキテクチャ,ベンチマーク,汚染シナリオの広範な評価において,ConStatの有効性を実証する。
  論文  参考訳（メタデータ） (2024-05-25T15:36:37Z)
• KIEval: A Knowledge-grounded Interactive Evaluation Framework for Large Language Models [53.84677081899392]
  KIEvalは、大規模言語モデルのための知識ベースでインタラクティブな評価フレームワークである。 動的汚染耐性評価を達成するために、LSMを動力とする"インターアクター"の役割を初めて取り入れている。 5つのデータセットにわたる7つのLLMの大規模な実験により、KIEvalの有効性と一般化が検証された。
  論文  参考訳（メタデータ） (2024-02-23T01:30:39Z)
• Evading Data Contamination Detection for Language Models is (too) Easy [9.024665800235855]
  大規模な言語モデルは、必然的に公開ベンチマークによる汚染につながる可能性がある。 本稿では,モデルプロバイダと汚染検出手法の両方の分類を提案する。 これは、私たちがEALで活用している既存のメソッドの脆弱性を明らかにします。
  論文  参考訳（メタデータ） (2024-02-05T09:10:32Z)
• Rethinking Benchmark and Contamination for Language Models with Rephrased Samples [49.18977581962162]
  大規模な言語モデルは、これまで人間が生成したすべてのデータに基づいて、ますます訓練されている。 多くの人は、事前トレーニングや微調整のデータセットが汚染される可能性があるとして、公開ベンチマークの信頼性を懸念している。
  論文  参考訳（メタデータ） (2023-11-08T17:35:20Z)
• Don't Make Your LLM an Evaluation Benchmark Cheater [142.24553056600627]
  大規模言語モデル(LLM)は人工知能のフロンティアを大幅に進歩させ、モデルキャパシティを著しく向上させた。 モデル性能を評価するために, LLMの能力レベルを測定するための評価ベンチマークを構築するのが典型的な方法である。 評価ベンチマークを用いて不適切なリスクと影響について検討し,評価結果を誤って解釈する。
  論文  参考訳（メタデータ） (2023-11-03T14:59:54Z)
• NLP Evaluation in trouble: On the Need to Measure LLM Data Contamination for each Benchmark [19.875954121100005]
  我々は、注釈付きベンチマークを用いた自然言語処理(NLP)タスクの古典的評価が問題となっていると論じる。 最悪のデータ汚染は、Large Language Model(LLM)がベンチマークのテスト分割に基づいてトレーニングされ、同じベンチマークで評価された時に発生する。 このポジションペーパーは、異なるレベルのデータ汚染を定義し、コミュニティの努力を主張する。
  論文  参考訳（メタデータ） (2023-10-27T09:48:29Z)
• LLMs as Factual Reasoners: Insights from Existing Benchmarks and Beyond [135.8013388183257]
  そこで我々は,SummEditsと呼ばれる10ドメインのベンチマークで不整合検出ベンチマークを作成し,実装する新しいプロトコルを提案する。 ほとんどのLLMはSummEditsで苦労しており、パフォーマンスはランダムに近い。 最も優れたモデルであるGPT-4は、推定された人間のパフォーマンスよりも8%低い。
  論文  参考訳（メタデータ） (2023-05-23T21:50:06Z)
• Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
  数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。 本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
  論文  参考訳（メタデータ） (2020-02-27T10:22:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。