論文の概要: Towards Contamination Resistant Benchmarks

• arxiv url: http://arxiv.org/abs/2505.08389v1
• Date: Tue, 13 May 2025 09:35:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-14 20:57:54.507615
• Title: Towards Contamination Resistant Benchmarks
• Title（参考訳）: 汚染耐性ベンチマークに向けて
• Authors: Rahmatullah Musawi, Sheng Lu,
• Abstract要約: 大規模言語モデル(LLM)を適切に評価することは、その可能性を理解し、安全性などの懸念に対処するために重要である。 汚染は評価の信頼性を損なう重要な問題です 本稿では, カエサル暗号に基づくベンチマーク(例えば, シフトが 1 のとき "ab" から "bc" など)を提案する。
• 参考スコア（独自算出の注目度）: 0.6906005491572401
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The rapid development of large language models (LLMs) has transformed the landscape of natural language processing. Evaluating LLMs properly is crucial for understanding their potential and addressing concerns such as safety. However, LLM evaluation is confronted by various factors, among which contamination stands out as a key issue that undermines the reliability of evaluations. In this work, we introduce the concept of contamination resistance to address this challenge. We propose a benchmark based on Caesar ciphers (e.g., "ab" to "bc" when the shift is 1), which, despite its simplicity, is an excellent example of a contamination resistant benchmark. We test this benchmark on widely used LLMs under various settings, and we find that these models struggle with this benchmark when contamination is controlled. Our findings reveal issues in current LLMs and raise important questions regarding their true capabilities. Our work contributes to the development of contamination resistant benchmarks, enabling more rigorous LLM evaluation and offering insights into the true capabilities and limitations of LLMs.
• Abstract（参考訳）: 大規模言語モデル(LLM)の急速な発展により、自然言語処理の展望が変化した。 LLMを適切に評価することは、その可能性を理解し、安全性などの懸念に対処するために重要である。 しかし, LLM の評価は, 汚染が評価の信頼性を損なう重要な問題であるとして, 様々な要因に直面している。 本稿では,この課題に対処するために,汚染耐性の概念を紹介する。 本稿では, カエサル暗号に基づくベンチマーク(例えば, ab から bc へのシフト)を提案し, 単純性にもかかわらず, 汚染耐性ベンチマークの優れた例である。 このベンチマークは, 様々な環境下で広く使用されているLCMでテストし, 汚染の制御に苦慮していることがわかった。 本研究は,現在のLCMの問題点を明らかにするとともに,その真の能力に関する重要な疑問を提起するものである。 我々の研究は汚染耐性ベンチマークの開発に寄与し、より厳密なLCM評価を可能にし、LSMの真の性能と限界に関する洞察を提供する。

関連論文リスト

• Preference Leakage: A Contamination Problem in LLM-as-a-judge [69.96778498636071]
  審査員としてのLLM(Large Language Models)とLLMに基づくデータ合成は、2つの基本的なLLM駆動型データアノテーション法として登場した。 本研究では, 合成データ生成器とLCMに基づく評価器の関連性に起因するLCM-as-a-judgeの汚染問題である選好リークを明らかにする。
  論文  参考訳（メタデータ） (2025-02-03T17:13:03Z)
• Can You Trust LLM Judgments? Reliability of LLM-as-a-Judge [0.3759936323189418]
  大規模言語モデル(LLM)はますます強力でユビキタスなものになってきていますが、その性質はアウトプットの信頼性に課題をもたらします。 マクドナルドのオメガを利用したLCM判定の信頼性を厳格に評価するための新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2024-12-17T03:37:31Z)
• ConMe: Rethinking Evaluation of Compositional Reasoning for Modern VLMs [95.15814662348245]
  構成推論(CR)は属性、関係、単語の順序の重要さを把握する。 近年の視覚言語モデル (VLM) は、そのような推論タスクにおいて顕著な習熟性を示している。
  論文  参考訳（メタデータ） (2024-06-12T12:54:27Z)
• Is LLM-as-a-Judge Robust? Investigating Universal Adversarial Attacks on Zero-shot LLM Assessment [8.948475969696075]
  LLM(Large Language Models)は、筆記試験やベンチマークシステムなどの実世界の状況で使用される強力なゼロショットアセスメントである。 本研究では,LLMを判断し,膨らませたスコアを判断するために,短い普遍的対数句を欺くことができることを示す。 判定-LLMは,絶対スコアリングに使用する場合,これらの攻撃に対して有意に感受性が高いことが判明した。
  論文  参考訳（メタデータ） (2024-02-21T18:55:20Z)
• LLMs May Perform MCQA by Selecting the Least Incorrect Option [29.202758753639078]
  大規模言語モデル(LLM)は、様々なタスクにわたるパフォーマンスを著しく向上させた。 LLMを評価するためのベンチマークとして、MCQA(Multiple Choice Question Answering)が採用され、大きな注目を集めている。 しかし、この評価手法の堅牢性に関する懸念は続いている。
  論文  参考訳（メタデータ） (2024-02-02T12:07:00Z)
• Assessing the Reliability of Large Language Model Knowledge [78.38870272050106]
  大規模言語モデル(LLM)は、知識探索タスクにおける高い性能のため、知識ベースとして扱われてきた。 LLMが実際に正しい答えを連続的に生成する能力をどのように評価するか。 LLMの信頼性を直接測定するための新しい指標であるMOdel kNowledge relIabiliTy score (MONITOR)を提案する。
  論文  参考訳（メタデータ） (2023-10-15T12:40:30Z)
• Are Large Language Models Really Robust to Word-Level Perturbations? [68.60618778027694]
  本稿では,事前学習した報酬モデルを診断ツールとして活用する,新たな合理的評価手法を提案する。 より長い会話は、質問を理解する能力の観点から言語モデルの包括的把握を示す。 この結果から,LLMは日常言語でよく使われる単語レベルの摂動に対する脆弱性をしばしば示している。
  論文  参考訳（メタデータ） (2023-09-20T09:23:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。