論文の概要: LLM Benchmark Datasets Should Be Contamination-Resistant

• arxiv url: http://arxiv.org/abs/2605.19999v1
• Date: Tue, 19 May 2026 15:33:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-20 15:03:09.488791
• Title: LLM Benchmark Datasets Should Be Contamination-Resistant
• Title（参考訳）: LLMベンチマークデータセットは汚染に抵抗すべきである
• Authors: Ali Al-Lawati, Jason Lucas, Dongwon Lee, Suhang Wang,
• Abstract要約: ベンチマークデータセットは$textit-resistant$、つまり$textitunlearnable$であるべきですが、$textitinference$をサポートします。 本稿では, ベンチマークデータセット汚染の広範囲性を強調し, 汚染耐性データセットの特性について概説する。
• 参考スコア（独自算出の注目度）: 27.38195431514163
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Benchmark datasets are critical for reproducible, reliable, and discriminative evaluation of LLMs. However, recent studies reveal that many benchmark datasets are included in pretraining corpora, i.e., $\textit{contaminated}$, which diminishes their value as reliable measures of model generalization. In this paper, we argue that benchmark datasets should be $\textit{contamination-resistant}$, i.e., $\textit{unlearnable}$, but support $\textit{inference}$. To accomplish this, we first highlight the wide prevalence of benchmark dataset contamination and outline the properties of contamination-resistant datasets. Second, we highlight how the asymmetry between the inference and training pipelines in the Transformer architecture can be leveraged to support contamination-resistance. Third, we outline mathematical advancements to make these datasets interoperable across various LLM architectures. Based on the above, we call on the community to ensure the reliability of LLM benchmarking by: (i) advancing novel contamination-resistant methodologies, (ii) developing supporting methods and platforms, and (iii) adopting contamination-resistant benchmarks into existing evaluation pipelines.
• Abstract（参考訳）: ベンチマークデータセットは、LLMの再現性、信頼性、識別性評価に重要である。 しかし、最近の研究では、多くのベンチマークデータセットが事前学習コーパス(例えば$\textit{contaminated}$)に含まれており、モデル一般化の信頼性尺度としての価値が低下していることが明らかになっている。 本稿では、ベンチマークデータセットは$\textit{contamination-resistant}$、すなわち$\textit{unlearnable}$であるべきだが、$\textit{inference}$をサポートするべきだと論じる。 これを実現するために、まず、ベンチマークデータセット汚染の広範囲性を強調し、汚染耐性データセットの特性を概説する。 第二に、Transformerアーキテクチャにおける推論とトレーニングパイプラインの非対称性が、汚染耐性をサポートするためにどのように活用できるかを強調した。 第3に、これらのデータセットを様々なLLMアーキテクチャ間で相互運用可能にする数学的進歩について概説する。 以上に基づいて、私たちはLLMベンチマークの信頼性を確保するためにコミュニティに呼びかけます。 一 新規な汚染耐性の方法の進歩 二 支援方法及びプラットフォームの開発、及び 三 既存の評価パイプラインに汚染耐性ベンチマークを適用すること。

関連論文リスト

• ComplexMCP: Evaluation of LLM Agents in Dynamic, Interdependent, and Large-Scale Tool Sandbox [61.862814740220806]
  $textbfComplexMCP$は厳格な条件下でエージェントを評価するために設計されたベンチマークである。 Model Context Protocol (MCP)上に構築された$textbfComplexMCP$は300以上の精巧にテストされたツールを提供する。
  論文  参考訳（メタデータ） (2026-05-11T16:20:51Z)
• LLMAR: A Tuning-Free Recommendation Framework for Sparse and Text-Rich Industrial Domains [0.0]
  産業用B2Bアプリケーションは極端なデータ空間に直面するが、リッチなテキストインタラクションが特徴である。 チューニング不要なフレームワーク LLMAR (LLM-Annotated Recommendation) を提案する。 推論駆動(Inference-Driven)、リフレクションループ(Reflection Loop)、コスト効果アーキテクチャ(Cost-Effective Architecture)の3つのコアコントリビューションを紹介します。
  論文  参考訳（メタデータ） (2026-03-25T02:49:27Z)
• Benchmark Leakage Trap: Can We Trust LLM-based Recommendation? [9.574427977779235]
  本稿は,LLM ベースの推薦におけるベンチマークデータ漏洩という,これまで見過ごされてきた問題を特定し,検討する。 データ漏洩はLLMベースのレコメンデーションにおいて重要な要因であり、真のモデルパフォーマンスに影響を与える可能性がある。
  論文  参考訳（メタデータ） (2026-02-14T06:34:19Z)
• LNE-Blocking: An Efficient Framework for Contamination Mitigation Evaluation on Large Language Models [42.94267844722955]
  我々は,潜在的に漏洩したデータセットを汚染する前にモデル性能を復元する新しいフレームワークである textbfLNE-Blocking を提案する。 私たちのフレームワークは、モデルの性能を効率的に回復する最初のフレームワークです。
  論文  参考訳（メタデータ） (2025-09-18T17:59:16Z)
• Dynamic Benchmarking of Reasoning Capabilities in Code Large Language Models Under Data Contamination [18.006532081289627]
  潜在的なデータ汚染下でのコードLLMを評価するための新しいベンチマークスイートであるツールを提案する。 ツールは複数のエージェントを使用して、コアロジックを変更することなくコンテキストを抽出し、変更し、意味的に等価なバリエーションを生成する。 その結果、ツールが汚染リスク下での推論能力を効果的にベンチマークし、多様な問題セットを生成し、一貫性と信頼性を保証できることが判明した。
  論文  参考訳（メタデータ） (2025-03-06T06:56:59Z)
• Mitigating Forgetting in LLM Fine-Tuning via Low-Perplexity Token Learning [65.23593936798662]
  LLM生成データによる微調整により,目標タスクの性能が向上し,非目標タスクの劣化が低減されることを示す。 微調整後のLSMにおける破滅的忘れを緩和するために、トークンの難易度低減に基づく経験的説明を提供する最初の研究である。
  論文  参考訳（メタデータ） (2025-01-24T08:18:56Z)
• The Dual-use Dilemma in LLMs: Do Empowering Ethical Capacities Make a Degraded Utility? [54.18519360412294]
  大きな言語モデル(LLM)は、安全のための有害な要求を拒否することと、ユーティリティのための正当な要求を収容することのバランスをとる必要がある。 本稿では,DPO(Direct Preference Optimization)に基づくアライメントフレームワークを提案する。 我々は,DeepSeek-R1をベンチマークでテストした結果を解析し,この高い評価を得たモデルがもたらす批判的倫理的懸念を明らかにする。
  論文  参考訳（メタデータ） (2025-01-20T06:35:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。