論文の概要: AntiLeak-Bench: Preventing Data Contamination by Automatically Constructing Benchmarks with Updated Real-World Knowledge

• arxiv url: http://arxiv.org/abs/2412.13670v1
• Date: Wed, 18 Dec 2024 09:53:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-19 16:49:10.915391
• Title: AntiLeak-Bench: Preventing Data Contamination by Automatically Constructing Benchmarks with Updated Real-World Knowledge
• Title（参考訳）: AntiLeak-Bench: リアルタイム知識の更新によるベンチマークの自動構築によるデータ汚染防止
• Authors: Xiaobao Wu, Liangming Pan, Yuxi Xie, Ruiwen Zhou, Shuai Zhao, Yubo Ma, Mingzhe Du, Rui Mao, Anh Tuan Luu, William Yang Wang,
• Abstract要約: 既存の研究は、新たに収集されたデータが既存の知識を含む可能性があるため、汚染のない評価を保証することができない。 本稿では,自動アンチリーチベンチマークフレームワークであるAntiLeak-Benchを提案する。
• 参考スコア（独自算出の注目度）: 68.39683427262335
• License:
• Abstract: Data contamination hinders fair LLM evaluation by introducing test data into newer models' training sets. Existing studies solve this challenge by updating benchmarks with newly collected data. However, they fail to guarantee contamination-free evaluation as the newly collected data may contain pre-existing knowledge, and their benchmark updates rely on intensive human labor. To address these issues, we in this paper propose AntiLeak-Bench, an automated anti-leakage benchmarking framework. Instead of simply using newly collected data, we construct samples with explicitly new knowledge absent from LLMs' training sets, which thus ensures strictly contamination-free evaluation. We further design a fully automated workflow to build and update our benchmark without human labor. This significantly reduces the cost of benchmark maintenance to accommodate emerging LLMs. Through extensive experiments, we highlight that data contamination likely exists before LLMs' cutoff time and demonstrate AntiLeak-Bench effectively overcomes this challenge.
• Abstract（参考訳）: データ汚染は、新しいモデルのトレーニングセットにテストデータを導入することによって、公平なLCM評価を妨げる。 既存の研究では、新たに収集されたデータでベンチマークを更新することで、この問題を解決している。 しかし、新たに収集されたデータは既存の知識を含む可能性があるため、汚染のない評価を保証することができず、彼らのベンチマーク更新は集中的な人的労働に依存している。 本稿では,これらの問題に対処するため,自動アンチリアシ・ベンチマークフレームワークであるAntiLeak-Benchを提案する。 新たに収集したデータを単純に使用するのではなく、LSMsのトレーニングセットにない明確な新しい知識を持つサンプルを構築し、厳密な汚染のない評価を確実にする。 さらに、人的負担なしにベンチマークを構築し、更新するための、完全に自動化されたワークフローを設計します。 これにより、新たなLLMに対応するためのベンチマークのメンテナンスコストが大幅に削減される。 広範な実験を通じて、LLMの遮断前にデータ汚染が存在する可能性を強調し、AntiLeak-Benchがこの課題を効果的に克服することを実証する。

関連論文リスト

• LiveBench: A Challenging, Contamination-Free LLM Benchmark [101.21578097087699]
  最近の情報ソースから頻繁に更新された質問を含む最初のベンチマークであるLiveBenchをリリースする。 我々は、多くの著名なクローズドソースモデルと、0.5Bから110Bまでの数十のオープンソースモデルを評価した。 質問は毎月追加され、更新されるので、時間とともに新しいタスクとより難しいバージョンのタスクをリリースします。
  論文  参考訳（メタデータ） (2024-06-27T16:47:42Z)
• Inference-Time Decontamination: Reusing Leaked Benchmarks for Large Language Model Evaluation [61.350306618479365]
  ベンチマークの漏洩は、大規模言語モデルの真のパフォーマンスの正確な評価を防ぐことができる。 この問題に対処するため,ITD(Inference-Time Decontamination)を提案する。 ITDは、GSM8Kで22.9%、MMLUで19.0%の膨張精度を低下させる。
  論文  参考訳（メタデータ） (2024-06-20T04:35:59Z)
• CLEAN-EVAL: Clean Evaluation on Contaminated Large Language Models [12.367149496971408]
  clean-Evalは、データ汚染の問題を緩和し、よりクリーンな方法でモデルを評価する。 clean-Eval は LLM を使用して、汚染されたデータを候補セットに逆変換する。 次にセマンティック検出器を使用して、生成された低品質サンプルをフィルタリングする。 ベスト候補は最終的にBLEURTスコアに基づいてこのセットから選択される。
  論文  参考訳（メタデータ） (2023-11-15T17:50:30Z)
• Rethinking Benchmark and Contamination for Language Models with Rephrased Samples [49.18977581962162]
  大規模な言語モデルは、これまで人間が生成したすべてのデータに基づいて、ますます訓練されている。 多くの人は、事前トレーニングや微調整のデータセットが汚染される可能性があるとして、公開ベンチマークの信頼性を懸念している。
  論文  参考訳（メタデータ） (2023-11-08T17:35:20Z)
• NLP Evaluation in trouble: On the Need to Measure LLM Data Contamination for each Benchmark [19.875954121100005]
  我々は、注釈付きベンチマークを用いた自然言語処理(NLP)タスクの古典的評価が問題となっていると論じる。 最悪のデータ汚染は、Large Language Model(LLM)がベンチマークのテスト分割に基づいてトレーニングされ、同じベンチマークで評価された時に発生する。 このポジションペーパーは、異なるレベルのデータ汚染を定義し、コミュニティの努力を主張する。
  論文  参考訳（メタデータ） (2023-10-27T09:48:29Z)
• ReEval: Automatic Hallucination Evaluation for Retrieval-Augmented Large Language Models via Transferable Adversarial Attacks [91.55895047448249]
  本稿では,LLMベースのフレームワークであるReEvalについて述べる。 本稿では、ChatGPTを用いてReEvalを実装し、2つの人気のあるオープンドメインQAデータセットのバリエーションを評価する。 我々の生成したデータは人間可読であり、大きな言語モデルで幻覚を引き起こすのに役立ちます。
  論文  参考訳（メタデータ） (2023-10-19T06:37:32Z)
• Data Contamination Through the Lens of Time [21.933771085956426]
  大規模言語モデル(LLM)は一般に利用可能なベンチマークを評価することでしばしばサポートされる。 このプラクティスは、データ汚染の懸念、すなわち、トレーニングデータに明示的にまたは暗黙的に含まれている例を評価することを提起する。 GPTモデルにおけるトレーニングカットオフの自然実験を用いて, LLMにおけるデータ汚染の経時的解析を行った。
  論文  参考訳（メタデータ） (2023-10-16T17:51:29Z)
• LLMs as Factual Reasoners: Insights from Existing Benchmarks and Beyond [135.8013388183257]
  そこで我々は,SummEditsと呼ばれる10ドメインのベンチマークで不整合検出ベンチマークを作成し,実装する新しいプロトコルを提案する。 ほとんどのLLMはSummEditsで苦労しており、パフォーマンスはランダムに近い。 最も優れたモデルであるGPT-4は、推定された人間のパフォーマンスよりも8%低い。
  論文  参考訳（メタデータ） (2023-05-23T21:50:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。