論文の概要: Novel Claim or Déjà Vu? Rethinking "Contamination-Free'' Dynamic Evaluation for Multimodal Automated Fact-Checking

• arxiv url: http://arxiv.org/abs/2607.23514v1
• Date: Sun, 26 Jul 2026 07:29:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-28 22:34:15.138066
• Title: Novel Claim or Déjà Vu? Rethinking "Contamination-Free'' Dynamic Evaluation for Multimodal Automated Fact-Checking
• Title（参考訳）: 新規クレームかデジャ・ヴか?マルチモーダル・オートマチック・ファクト・チェッキングにおける「汚染フリー」の動的評価の再考
• Abstract要約: 本研究では, 最先端(SOTA) 静的 AVeriTeC ベンチマークと新たに構築した動的 ClaimReview2025Q4 ベンチマークの両方において, 汚染リスクを実証的に検討した。 実験の結果は16点となり,3つの重要な結果が得られた。
• 参考スコア（独自算出の注目度）: 12.773909437454115
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal automated fact-checking (MAFC) verifies claims by retrieving and reasoning over external evidence. However, most existing static benchmarks risk contamination: they primarily consist of outdated claims verifiable using an LLM's internal knowledge without external evidence. This can inflate performance estimates and fail to reflect true capability on novel claims that require up-to-date information. To address this, emerging dynamic benchmarks collect claims published after LLMs' knowledge cut-off dates, assuming they are uncontaminated. This work revisits this assumption by empirically studying contamination risks in both the state-of-the-art (SOTA) static AVeriTeC benchmark and our newly constructed dynamic ClaimReview2025Q4 benchmark, as well as their impact on MAFC evaluation. Our experiments yield 16 findings, highlighting three key results: (1) Dynamic evaluation reduces but does not eliminate contamination risks, as 17.09\%--29.30\% of post-cut-off claims remain potentially contaminated; (2) Many newly published claims can be verified either directly or by synthesizing multiple pieces of public knowledge available before the cut-off; and (3) Contamination can induce statistically significant inflation in MAFC performance, increasing Macro-F1 by up to 11.34 points and distorting system rankings. In light of these findings, we re-evaluate SOTA LLMs under a strictly contamination-controlled setting. Our study provides practical guidelines for trustworthy MAFC evaluation.
• Abstract（参考訳）: マルチモーダル自動ファクトチェック(MAFC)は、外部証拠の検索と推論によってクレームを検証する。 しかし、既存のほとんどの静的ベンチマークは汚染を危険にさらす: それらは主に、外部の証拠のない LLM の内部知識を用いて検証可能な古いクレームから成り立っている。 これにより、パフォーマンスの見積を膨らませることができ、最新の情報を必要とする新しいクレームに真の能力を反映できない。 これを解決するために、新興の動的ベンチマークは、LLMsの知識の遮断日後に公表されたクレームを、汚染されていないと仮定して収集する。 本研究は, 最先端 (SOTA) 静的 AVeriTeC ベンチマークと新たに構築した動的 ClaimReview2025Q4 ベンチマークの両方の汚染リスクと MAFC 評価への影響を実証的に検討することによって, この仮定を再検討する。 1) 動的評価は17.09 %--29.30 %のポストカットオフのクレームが汚染される可能性があること,(2) 新規に公表されたクレームは,カット前に利用可能な複数の公開知識を直接あるいは合成することにより, (3) 汚染はMAFCのパフォーマンスにおいて統計的に顕著なインフレーションを誘発し, マクロF1を最大11.34ポイントまで増加させ, システムランキングを歪めることができる。 これらの知見を踏まえ, 厳密な汚染制御条件下でのSOTA LLMの再評価を行った。 本研究は,信頼性の高いMAFC評価のための実践的ガイドラインを提供する。

関連論文リスト

• Understanding before verifying: Claim normalization for automated citation verification [6.671634770419851]
  Claim-Normalized Citation Verification (CNCV) はクレーム正規化、根拠付きエビデンス検索、引用分類からなる新しい3段階のフレームワークである。 我々は,CNCVを18個の分類器で評価し,人間の注釈付き引用インスタンスの因子的実験を行った。
  論文  参考訳（メタデータ） (2026-08-31T01:58:59Z)
• When Benchmarks Leak: Inference-Time Decontamination for LLMs [4.071875179293035]
  DeconIEPは入力埋め込み空間に小さな有界摂動を適用することにより、評価中に完全に動作する。 入力埋め込み空間に小さな有界摂動を適用することで、評価中に完全に動作する除染フレームワークであるDeconIEPを提案する。
  論文  参考訳（メタデータ） (2026-01-27T08:19:40Z)
• Scalable and Reliable Evaluation of AI Knowledge Retrieval Systems: RIKER and the Coherent Simulated Universe [0.0]
  RIKER (Retrieval Intelligence and Knowledge extract Rating) は、パラダイムの逆転に基づくベンチマークであり、複製可能な方法論である。 このアプローチは、人間のアノテーションや参照モデルなしで決定論的スコアリングとスケーラブルな評価を可能にする。
  論文  参考訳（メタデータ） (2025-12-22T11:58:50Z)
• On The Fragility of Benchmark Contamination Detection in Reasoning Models [20.455365567122985]
  LRMのリーダーボードは、評価を競合に転換し、開発者がベンチマークスイート上で直接最適化するインセンティブを与えている。 より高いランキングを達成するためのショートカットは、評価ベンチマークをトレーニングデータに組み込むことで、ベンチマーク汚染と呼ばれる膨らませたパフォーマンスを得る。 LRMに対する汚染検出の回避は極めて容易であることが判明した。
  論文  参考訳（メタデータ） (2025-09-30T21:40:54Z)
• LLMEval-3: A Large-Scale Longitudinal Study on Robust and Fair Evaluation of Large Language Models [51.55869466207234]
  静的ベンチマークにおけるLLM(Large Language Models)の既存の評価は、データの汚染やリーダーボードのオーバーフィッティングに弱い。 LLMの動的評価のためのフレームワークであるLLMEval-3を紹介する。 LLEval-3は、220kの卒業生レベルの質問からなるプロプライエタリなバンク上に構築されており、評価実行毎に未確認のテストセットを動的にサンプリングする。
  論文  参考訳（メタデータ） (2025-08-07T14:46:30Z)
• How Much Do Large Language Model Cheat on Evaluation? Benchmarking Overestimation under the One-Time-Pad-Based Framework [8.76693832650115]
  大規模言語モデル(LLM)を評価する際の過大評価が懸念されている。 本稿では,暗号におけるワンタイムパッド暗号化にインスパイアされた動的評価フレームワークArxivRollを提案する。
  論文  参考訳（メタデータ） (2025-07-25T12:39:03Z)
• The Dual-use Dilemma in LLMs: Do Empowering Ethical Capacities Make a Degraded Utility? [54.18519360412294]
  大きな言語モデル(LLM)は、安全のための有害な要求を拒否することと、ユーティリティのための正当な要求を収容することのバランスをとる必要がある。 本稿では,DPO(Direct Preference Optimization)に基づくアライメントフレームワークを提案する。 我々は,DeepSeek-R1をベンチマークでテストした結果を解析し,この高い評価を得たモデルがもたらす批判的倫理的懸念を明らかにする。
  論文  参考訳（メタデータ） (2025-01-20T06:35:01Z)
• AntiLeakBench: Preventing Data Contamination by Automatically Constructing Benchmarks with Updated Real-World Knowledge [68.39683427262335]
  既存の研究は、新たに収集されたデータが既存の知識を含む可能性があるため、汚染のない評価を保証することができない。 本稿では,自動アンチリーチベンチマークフレームワークであるAntiLeak-Benchを提案する。
  論文  参考訳（メタデータ） (2024-12-18T09:53:12Z)
• A Comprehensive Survey of Contamination Detection Methods in Large Language Models [68.10605098856087]
  近年のLarge Language Models(LLM)の台頭に伴い、多くの新しい機会が生まれつつありますが、新たな課題もあります。 LLMの性能は、データへの以前の露出のために、少なくとも部分的には高性能である可能性があるため、もはや信頼性が低い可能性がある。 この制限は、NLPの分野での実際の能力向上を阻害するが、汚染を効率的に検出する方法が不足している。
  論文  参考訳（メタデータ） (2024-03-31T14:32:02Z)
• KIEval: A Knowledge-grounded Interactive Evaluation Framework for Large Language Models [53.84677081899392]
  KIEvalは、大規模言語モデルのための知識ベースでインタラクティブな評価フレームワークである。 動的汚染耐性評価を達成するために、LSMを動力とする"インターアクター"の役割を初めて取り入れている。 5つのデータセットにわたる7つのLLMの大規模な実験により、KIEvalの有効性と一般化が検証された。
  論文  参考訳（メタデータ） (2024-02-23T01:30:39Z)
• ReEval: Automatic Hallucination Evaluation for Retrieval-Augmented Large Language Models via Transferable Adversarial Attacks [91.55895047448249]
  本稿では,LLMベースのフレームワークであるReEvalについて述べる。 本稿では、ChatGPTを用いてReEvalを実装し、2つの人気のあるオープンドメインQAデータセットのバリエーションを評価する。 我々の生成したデータは人間可読であり、大きな言語モデルで幻覚を引き起こすのに役立ちます。
  論文  参考訳（メタデータ） (2023-10-19T06:37:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。