論文の概要: LNE-Blocking: An Efficient Framework for Contamination Mitigation Evaluation on Large Language Models

• arxiv url: http://arxiv.org/abs/2509.15218v1
• Date: Thu, 18 Sep 2025 17:59:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-19 17:26:53.394931
• Title: LNE-Blocking: An Efficient Framework for Contamination Mitigation Evaluation on Large Language Models
• Title（参考訳）: LNE-Blocking:大規模言語モデルによる汚染緩和評価のための効率的なフレームワーク
• Authors: Ruijie Hou, Yueyang Jiao, Hanxu Hu, Yingming Li, Wai Lam, Huajian Zhang, Hongyuan Lu,
• Abstract要約: 我々は,潜在的に漏洩したデータセットを汚染する前にモデル性能を復元する新しいフレームワークである textbfLNE-Blocking を提案する。 私たちのフレームワークは、モデルの性能を効率的に回復する最初のフレームワークです。
• 参考スコア（独自算出の注目度）: 42.94267844722955
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The problem of data contamination is now almost inevitable during the development of large language models (LLMs), with the training data commonly integrating those evaluation benchmarks even unintentionally. This problem subsequently makes it hard to benchmark LLMs fairly. Instead of constructing contamination-free datasets (quite hard), we propose a novel framework, \textbf{LNE-Blocking}, to restore model performance prior to contamination on potentially leaked datasets. Our framework consists of two components: contamination detection and disruption operation. For the prompt, the framework first uses the contamination detection method, \textbf{LNE}, to assess the extent of contamination in the model. Based on this, it adjusts the intensity of the disruption operation, \textbf{Blocking}, to elicit non-memorized responses from the model. Our framework is the first to efficiently restore the model's greedy decoding performance. This comes with a strong performance on multiple datasets with potential leakage risks, and it consistently achieves stable recovery results across different models and varying levels of data contamination. We release the code at https://github.com/RuijieH/LNE-Blocking to facilitate research.
• Abstract（参考訳）: データ汚染の問題は、大規模言語モデル(LLM)の開発においてほぼ必然的に発生し、トレーニングデータは、これらの評価ベンチマークを通常、意図せずに統合する。 この問題はその後、LSMを公平にベンチマークすることを困難にしている。 汚染のないデータセットを構築する代わりに、潜在的に漏洩するデータセットに汚染される前にモデル性能を復元する新しいフレームワークである「textbf{LNE-Blocking}」を提案する。 本フレームワークは, 汚染検出と破壊操作の2つのコンポーネントから構成される。 プロンプトのために、このフレームワークはまず、モデルにおける汚染の程度を評価するために、汚染検出方法である \textbf{LNE} を使用する。 これに基づいて、モデルから記憶されない応答を引き出すために、ディスラプション演算の強度である \textbf{Blocking} を調整する。 私たちのフレームワークは、モデルの性能を効率的に回復する最初のフレームワークです。 これは、潜在的なリークリスクのある複数のデータセットで強力なパフォーマンスを伴い、さまざまなモデルにわたる安定したリカバリ結果とさまざまなレベルのデータ汚染を一貫して達成する。 我々は、研究を容易にするために、https://github.com/RuijieH/LNE-Blockingでコードをリリースします。

関連論文リスト

• VeriContaminated: Assessing LLM-Driven Verilog Coding for Data Contamination [15.52442661491358]
  大規模言語モデル(LLM)はコード生成に革命をもたらし、様々な確立されたベンチマークフレームワークで例外的な結果を得た。 しかし、データ汚染に関する懸念は、これらの評価の有効性に関する疑問を提起する。 我々は、Verilogコード生成のための最先端(SOTA)評価フレームワークを解析する。
  論文  参考訳（メタデータ） (2025-03-17T12:26:49Z)
• A Survey on Data Contamination for Large Language Models [12.431575579432458]
  大規模言語モデル(LLM)は、テキスト生成やコード合成など、様々な分野で大きな進歩を見せている。 データ汚染による性能評価の信頼性は精査されている。
  論文  参考訳（メタデータ） (2025-02-20T10:23:27Z)
• AntiLeakBench: Preventing Data Contamination by Automatically Constructing Benchmarks with Updated Real-World Knowledge [68.39683427262335]
  既存の研究は、新たに収集されたデータが既存の知識を含む可能性があるため、汚染のない評価を保証することができない。 本稿では,自動アンチリーチベンチマークフレームワークであるAntiLeak-Benchを提案する。
  論文  参考訳（メタデータ） (2024-12-18T09:53:12Z)
• KIEval: A Knowledge-grounded Interactive Evaluation Framework for Large Language Models [53.84677081899392]
  KIEvalは、大規模言語モデルのための知識ベースでインタラクティブな評価フレームワークである。 動的汚染耐性評価を達成するために、LSMを動力とする"インターアクター"の役割を初めて取り入れている。 5つのデータセットにわたる7つのLLMの大規模な実験により、KIEvalの有効性と一般化が検証された。
  論文  参考訳（メタデータ） (2024-02-23T01:30:39Z)
• Rethinking Benchmark and Contamination for Language Models with Rephrased Samples [49.18977581962162]
  大規模な言語モデルは、これまで人間が生成したすべてのデータに基づいて、ますます訓練されている。 多くの人は、事前トレーニングや微調整のデータセットが汚染される可能性があるとして、公開ベンチマークの信頼性を懸念している。
  論文  参考訳（メタデータ） (2023-11-08T17:35:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。