論文の概要: MMLU-CF: A Contamination-free Multi-task Language Understanding Benchmark

• arxiv url: http://arxiv.org/abs/2412.15194v1
• Date: Thu, 19 Dec 2024 18:58:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-20 13:31:53.270695
• Title: MMLU-CF: A Contamination-free Multi-task Language Understanding Benchmark
• Title（参考訳）: MMLU-CF: 汚染のないマルチタスク言語理解ベンチマーク
• Authors: Qihao Zhao, Yangyu Huang, Tengchao Lv, Lei Cui, Qinzheng Sun, Shaoguang Mao, Xin Zhang, Ying Xin, Qiufeng Yin, Scarlett Li, Furu Wei,
• Abstract要約: 我々は,MMLU-CFと呼ばれる汚染のない,より困難なベンチマークを提案する。 このベンチマークは、意図しないデータ漏洩と悪意のないデータ漏洩の両方を回避することで、LLMの世界の知識に対する理解を再評価する。 GPT-4o は 5 ショットスコア73.4% と 0 ショットスコア71.9% しか達成できない。
• 参考スコア（独自算出の注目度）: 57.999567012489706
• License:
• Abstract: Multiple-choice question (MCQ) datasets like Massive Multitask Language Understanding (MMLU) are widely used to evaluate the commonsense, understanding, and problem-solving abilities of large language models (LLMs). However, the open-source nature of these benchmarks and the broad sources of training data for LLMs have inevitably led to benchmark contamination, resulting in unreliable evaluation results. To alleviate this issue, we propose a contamination-free and more challenging MCQ benchmark called MMLU-CF. This benchmark reassesses LLMs' understanding of world knowledge by averting both unintentional and malicious data leakage. To avoid unintentional data leakage, we source data from a broader domain and design three decontamination rules. To prevent malicious data leakage, we divide the benchmark into validation and test sets with similar difficulty and subject distributions. The test set remains closed-source to ensure reliable results, while the validation set is publicly available to promote transparency and facilitate independent verification. Our evaluation of mainstream LLMs reveals that the powerful GPT-4o achieves merely a 5-shot score of 73.4% and a 0-shot score of 71.9% on the test set, which indicates the effectiveness of our approach in creating a more rigorous and contamination-free evaluation standard. The GitHub repository is available at https://github.com/microsoft/MMLU-CF and the dataset refers to https://huggingface.co/datasets/microsoft/MMLU-CF.
• Abstract（参考訳）: 大量マルチタスク言語理解(MMLU)のようなマルチチョイス質問(MCQ)データセットは、大規模言語モデル(LLM)の常識、理解、問題解決能力を評価するために広く使われている。 しかし、これらのベンチマークのオープンソースの性質とLLMのトレーニングデータの幅広いソースは、必然的にベンチマーク汚染を引き起こし、信頼性の低い評価結果をもたらしている。 この問題を軽減するために,MMLU-CFと呼ばれる汚染のない,より困難なMCQベンチマークを提案する。 このベンチマークは、意図しないデータ漏洩と悪意のないデータ漏洩の両方を回避することで、LLMの世界の知識に対する理解を再評価する。 意図しないデータ漏洩を避けるため、より広い領域からデータを抽出し、3つの除染ルールを設計する。 悪質なデータ漏洩を防止するため、ベンチマークを検証とテストセットに分割し、同様の難易度と対象分布を示す。 テストセットは信頼できる結果を保証するためにクローズドソースのままであり、検証セットは透明性を促進し、独立した検証を促進するために公開されています。 GPT-4o は 5 ショットスコア73.4% と 0 ショットスコア71.9% に過ぎず,より厳密で汚染のない評価基準を作成する上でのアプローチの有効性を示す。 GitHubリポジトリはhttps://github.com/microsoft/MMLU-CFで利用可能であり、データセットはhttps://huggingface.co/datasets/microsoft/MMLU-CFを参照している。

関連論文リスト

• CAP: Data Contamination Detection via Consistency Amplification [20.135264289668463]
  大規模言語モデル(LLM)は広く使われているが、データの汚染に関する懸念は信頼性に疑問を呈している。 本稿では,データセットの漏洩量を測定するためのPCR(Performance Consistency Ratio)を導入した新しいフレームワークである Consistency Amplification-based Data Contamination Detection (CAP)を提案する。 CAPは様々なベンチマークに適用でき、ホワイトボックスモデルとブラックボックスモデルの両方で動作する。
  論文  参考訳（メタデータ） (2024-10-19T06:33:33Z)
• Training on the Benchmark Is Not All You Need [52.01920740114261]
  本稿では,複数選択肢の内容に基づいた簡易かつ効果的なデータ漏洩検出手法を提案する。 本手法は,モデルトレーニングデータや重みを使用せずに,ブラックボックス条件下で動作することができる。 我々は,4つのベンチマークデータセットを用いて,31個の主要なオープンソースLCMのデータ漏洩の程度を評価する。
  論文  参考訳（メタデータ） (2024-09-03T11:09:44Z)
• Inference-Time Decontamination: Reusing Leaked Benchmarks for Large Language Model Evaluation [61.350306618479365]
  ベンチマークの漏洩は、大規模言語モデルの真のパフォーマンスの正確な評価を防ぐことができる。 この問題に対処するため,ITD(Inference-Time Decontamination)を提案する。 ITDは、GSM8Kで22.9%、MMLUで19.0%の膨張精度を低下させる。
  論文  参考訳（メタデータ） (2024-06-20T04:35:59Z)
• Investigating Data Contamination in Modern Benchmarks for Large Language Models [27.479260572913724]
  近年の観測は、膨らませたベンチマークスコアとLLMの実際の性能の相違を裏付けている。 我々は,オープンソースのLLMとプロプライエタリなLLMの両方に適した2つの手法を提案し,データ汚染について検討した。 いくつかの商用LCMは、様々なテストセットに欠けているオプションを驚くほど推測できる。
  論文  参考訳（メタデータ） (2023-11-16T11:03:04Z)
• Rethinking Benchmark and Contamination for Language Models with Rephrased Samples [49.18977581962162]
  大規模な言語モデルは、これまで人間が生成したすべてのデータに基づいて、ますます訓練されている。 多くの人は、事前トレーニングや微調整のデータセットが汚染される可能性があるとして、公開ベンチマークの信頼性を懸念している。
  論文  参考訳（メタデータ） (2023-11-08T17:35:20Z)
• Assessing the Reliability of Large Language Model Knowledge [78.38870272050106]
  大規模言語モデル(LLM)は、知識探索タスクにおける高い性能のため、知識ベースとして扱われてきた。 LLMが実際に正しい答えを連続的に生成する能力をどのように評価するか。 LLMの信頼性を直接測定するための新しい指標であるMOdel kNowledge relIabiliTy score (MONITOR)を提案する。
  論文  参考訳（メタデータ） (2023-10-15T12:40:30Z)
• LLMs as Factual Reasoners: Insights from Existing Benchmarks and Beyond [135.8013388183257]
  そこで我々は,SummEditsと呼ばれる10ドメインのベンチマークで不整合検出ベンチマークを作成し,実装する新しいプロトコルを提案する。 ほとんどのLLMはSummEditsで苦労しており、パフォーマンスはランダムに近い。 最も優れたモデルであるGPT-4は、推定された人間のパフォーマンスよりも8%低い。
  論文  参考訳（メタデータ） (2023-05-23T21:50:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。