論文の概要: How Can I Publish My LLM Benchmark Without Giving the True Answers Away?

• arxiv url: http://arxiv.org/abs/2505.18102v1
• Date: Fri, 23 May 2025 16:57:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-26 18:08:34.23875
• Title: How Can I Publish My LLM Benchmark Without Giving the True Answers Away?
• Title（参考訳）: LLMベンチマークを本当に答えることなく公開するにはどうすればいいのか?
• Authors: Takashi Ishida, Thanawat Lodkaew, Ikko Yamane,
• Abstract要約: 大規模言語モデル(LLM)ベンチマークをインターネット上で公開することで、将来のLLMを汚染するリスクがある。 一般的な緩和策は、ベンチマークを非公開にし、参加者がモデルや予測をオーガナイザに提出できるようにすることである。 質問に対する根本的回答を完全に開示することなく,ベンチマークを公開する方法を提案する。
• 参考スコア（独自算出の注目度）: 6.854732863866882
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Publishing a large language model (LLM) benchmark on the Internet risks contaminating future LLMs: the benchmark may be unintentionally (or intentionally) used to train or select a model. A common mitigation is to keep the benchmark private and let participants submit their models or predictions to the organizers. However, this strategy will require trust in a single organization and still permits test-set overfitting through repeated queries. To overcome this issue, we propose a way to publish benchmarks without completely disclosing the ground-truth answers to the questions, while still maintaining the ability to openly evaluate LLMs. Our main idea is to inject randomness to the answers by preparing several logically correct answers, and only include one of them as the solution in the benchmark. This reduces the best possible accuracy, i.e., Bayes accuracy, of the benchmark. Not only is this helpful to keep us from disclosing the ground truth, but this approach also offers a test for detecting data contamination. In principle, even fully capable models should not surpass the Bayes accuracy. If a model surpasses this ceiling despite this expectation, this is a strong signal of data contamination. We present experimental evidence that our method can detect data contamination accurately on a wide range of benchmarks, models, and training methodologies.
• Abstract（参考訳）: 大規模な言語モデル(LLM)ベンチマークをインターネット上で公開することで、将来のLSMを汚染するリスクがある。 一般的な緩和策は、ベンチマークを非公開にし、参加者がモデルや予測をオーガナイザに提出できるようにすることである。 しかし、この戦略は単一の組織への信頼を必要とし、繰り返しクエリを通じてテストセットのオーバーフィッティングを許可する。 そこで本稿では,LLMをオープンに評価する能力を維持しつつも,疑問に対する根本的な回答を完全に開示することなく,ベンチマークを公開する方法を提案する。 我々の主な考えは、いくつかの論理的に正しい答えを準備することで、答えにランダム性を注入し、その中の1つをベンチマークの解として含めることである。 これにより、ベンチマークの最高の精度、すなわちベイズ精度が低下する。 これは、根底にある真実を開示しないようにするのに役立つだけでなく、このアプローチはデータ汚染を検出するテストも提供する。 原則として、完全に有能なモデルでさえベイズ精度を超えてはいけない。 この期待にもかかわらずモデルがこの天井を超えた場合、これはデータ汚染の強いシグナルである。 本研究では, 幅広いベンチマーク, モデル, トレーニング手法を用いて, データの汚染を正確に検出できることを示す。

関連論文リスト

• Do Large Language Model Benchmarks Test Reliability? [66.1783478365998]
  モデル信頼性の定量化について検討する。 信頼性評価におけるこのギャップにより、我々はいわゆるプラチナベンチマークの概念を提案する。 我々は、これらのプラチナベンチマークにおいて、幅広いモデルを評価し、実際、フロンティアLSMは、単純なタスクで失敗を示す。
  論文  参考訳（メタデータ） (2025-02-05T18:58:19Z)
• Training on the Benchmark Is Not All You Need [52.01920740114261]
  本稿では,複数選択肢の内容に基づいた簡易かつ効果的なデータ漏洩検出手法を提案する。 本手法は,モデルトレーニングデータや重みを使用せずに,グレーボックス条件下で動作可能である。 4つのベンチマークデータセットから35個の主要なオープンソースLCMのデータ漏洩度を評価する。
  論文  参考訳（メタデータ） (2024-09-03T11:09:44Z)
• PaCoST: Paired Confidence Significance Testing for Benchmark Contamination Detection in Large Language Models [41.772263447213234]
  大規模言語モデル(LLM)は膨大な量のデータに基づいて訓練されることが知られており、意図的または故意によく使われるベンチマークのデータを含むことがある。 このインクルージョンは、モデルリーダーボードの不正な高いスコアにつながるが、現実のアプリケーションではパフォーマンスに失望する。 LLMのベンチマーク汚染を効果的に検出するPaired Confidence Significance TestingであるPaCoSTを紹介する。
  論文  参考訳（メタデータ） (2024-06-26T13:12:40Z)
• Investigating Data Contamination in Modern Benchmarks for Large Language Models [27.479260572913724]
  近年の観測は、膨らませたベンチマークスコアとLLMの実際の性能の相違を裏付けている。 我々は,オープンソースのLLMとプロプライエタリなLLMの両方に適した2つの手法を提案し,データ汚染について検討した。 いくつかの商用LCMは、様々なテストセットに欠けているオプションを驚くほど推測できる。
  論文  参考訳（メタデータ） (2023-11-16T11:03:04Z)
• Rethinking Benchmark and Contamination for Language Models with Rephrased Samples [49.18977581962162]
  大規模な言語モデルは、これまで人間が生成したすべてのデータに基づいて、ますます訓練されている。 多くの人は、事前トレーニングや微調整のデータセットが汚染される可能性があるとして、公開ベンチマークの信頼性を懸念している。
  論文  参考訳（メタデータ） (2023-11-08T17:35:20Z)
• LLMs as Factual Reasoners: Insights from Existing Benchmarks and Beyond [135.8013388183257]
  そこで我々は,SummEditsと呼ばれる10ドメインのベンチマークで不整合検出ベンチマークを作成し,実装する新しいプロトコルを提案する。 ほとんどのLLMはSummEditsで苦労しており、パフォーマンスはランダムに近い。 最も優れたモデルであるGPT-4は、推定された人間のパフォーマンスよりも8%低い。
  論文  参考訳（メタデータ） (2023-05-23T21:50:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。