論文の概要: DVD: A Robust Method for Detecting Variant Contamination in Large Language Model Evaluation

• arxiv url: http://arxiv.org/abs/2601.04895v1
• Date: Thu, 08 Jan 2026 12:48:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-09 17:01:53.206258
• Title: DVD: A Robust Method for Detecting Variant Contamination in Large Language Model Evaluation
• Title（参考訳）: DVD:大規模言語モデル評価における変数汚染検出のためのロバスト手法
• Authors: Renzhao Liang, Jingru Chen, Bo Jia, Bo Deng, Chenggang Xie, Yidong Wang, Ke Jin, Xin Wang, Linfeng Zhang, Cunxiang Wang,
• Abstract要約: textbfDVDは、温度サンプリングによって誘導される局所的な出力分布をモデル化する単一サンプル検出器である。 我々は,Omni-MATH と SuperGPQA の2つの領域にわたる変異汚染の最初のベンチマークを構築した。 textbfDVDは、パープレキシティベース、Min-$k$%++、編集距離(CDD)、埋め込み類似性ベースラインを一貫して上回る。
• 参考スコア（独自算出の注目度）: 24.086354908256293
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Evaluating large language models (LLMs) is increasingly confounded by \emph{variant contamination}: the training corpus contains semantically equivalent yet lexically or syntactically altered versions of test items. Unlike verbatim leakage, these paraphrased or structurally transformed variants evade existing detectors based on sampling consistency or perplexity, thereby inflating benchmark scores via memorization rather than genuine reasoning. We formalize this problem and introduce \textbf{DVD} (\textbf{D}etection via \textbf{V}ariance of generation \textbf{D}istribution), a single-sample detector that models the local output distribution induced by temperature sampling. Our key insight is that contaminated items trigger alternation between a \emph{memory-adherence} state and a \emph{perturbation-drift} state, yielding abnormally high variance in the synthetic difficulty of low-probability tokens; uncontaminated items remain in drift with comparatively smooth variance. We construct the first benchmark for variant contamination across two domains Omni-MATH and SuperGPQA by generating and filtering semantically equivalent variants, and simulate contamination via fine-tuning models of different scales and architectures (Qwen2.5 and Llama3.1). Across datasets and models, \textbf{DVD} consistently outperforms perplexity-based, Min-$k$\%++, edit-distance (CDD), and embedding-similarity baselines, while exhibiting strong robustness to hyperparameters. Our results establish variance of the generation distribution as a principled and practical fingerprint for detecting variant contamination in LLM evaluation.
• Abstract（参考訳）: 大規模な言語モデル (LLMs) の評価は、"emph{variant contamination}" によってますます強化されている: トレーニングコーパスには、意味論的に等価だが、語彙的にも構文的にも変更されたテスト項目が含まれている。 動詞の漏れとは異なり、これらのパラフレーズまたは構造的に変換された変種はサンプリング一貫性やパープレキシティに基づいて既存の検出器を回避し、真の推論ではなく記憶によってベンチマークスコアを膨らませる。 この問題を定式化し、温度サンプリングによって誘導される局所的な出力分布をモデル化する単サンプル検出器である \textbf{DVD} (\textbf{D}etection via \textbf{V}ariance of generation \textbf{D}istribution) を導入する。 我々のキーとなる洞察は、汚染されたアイテムが \emph{Memory-adherence} 状態と \emph{perturbation-drift} 状態とを交互に引き起こし、低確率トークンの合成難易度に異常に高い分散をもたらすことである。 意味論的に等価な変種を生成・フィルタリングすることにより、2つの領域のOmni-MATHとSuperGPQAをまたいだ変種汚染の最初のベンチマークを構築し、異なるスケールとアーキテクチャの微調整モデル(Qwen2.5とLlama3.1)を用いて汚染をシミュレートする。 データセットとモデル全体にわたって、 \textbf{DVD}は、常にパープレキシティベース、Min-$k$\%++、エディット-ディスタンス(CDD)、埋め込み-類似性ベースラインを上回り、ハイパーパラメータに強い堅牢性を示す。 本研究は, LLM評価における変異汚染検出のための基本的かつ実用的な指紋として, 生成分布のばらつきを確立した。

関連論文リスト

• Optimal Detection for Language Watermarks with Pseudorandom Collision [28.84134119819056]
  階層的な2層分割によって構造を捉える統計的枠組みを導入する。 その中核は最小単位の概念であり、単位間の独立として扱うことができる最小の群は、単位内部への依存を許容する。 Gumbel-maxおよび逆変換透かしの適用により、我々のフレームワークはクローズドフォーム最適規則を生成する。
  論文  参考訳（メタデータ） (2025-10-24T20:21:52Z)
• Efficient semantic uncertainty quantification in language models via diversity-steered sampling [46.23327887393273]
  本稿では,デコード中に意味的に冗長な出力を回避できるダイバーシティステアリング・サンプリング手法を提案する。 主要なアイデアは、モデルの提案分布に連続的な意味-類似性ペナルティを注入することである。 モジュラーであり、ベースLSMへの勾配アクセスを必要としないため、このフレームワークは不確実性評価のためのドロップインエンハンスメントとして機能することを約束している。
  論文  参考訳（メタデータ） (2025-10-24T10:06:21Z)
• Vec2Summ: Text Summarization via Probabilistic Sentence Embeddings [2.2029818765681086]
  Vec2Summはセマンティック埋め込み空間における1つの平均ベクトルを用いて文書コレクションを表現する。 生成言語モデルを用いて流動的な要約を再構築する。 Vec2Summは、局所的に焦点を絞った順序不変コーパスのためのコヒーレントなサマリーを生成する。
  論文  参考訳（メタデータ） (2025-08-09T15:31:02Z)
• From Invariant Representations to Invariant Data: Provable Robustness to Spurious Correlations via Noisy Counterfactual Matching [14.679039741833305]
  トレーニングデータから急激な相関関係を学習するモデルは、新しい環境にデプロイすると失敗することが多い。 我々は、不変表現の学習から不変データペアの活用へと焦点を移す、データ中心の代替案を提案する。 ノイズの反事実マッチングは、少数の反事実ペアでさえも活用することで、堅牢性を向上させる。
  論文  参考訳（メタデータ） (2025-05-30T17:42:32Z)
• Invariant Anomaly Detection under Distribution Shifts: A Causal Perspective [6.845698872290768]
  異常検出(AD、Anomaly Detection)は、異常なサンプルを識別する機械学習タスクである。 分散シフトの制約の下では、トレーニングサンプルとテストサンプルが同じ分布から引き出されるという仮定が崩壊する。 我々は,異常検出モデルのレジリエンスを,異なる種類の分布シフトに高めようとしている。
  論文  参考訳（メタデータ） (2023-12-21T23:20:47Z)
• Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution [67.9215891673174]
  離散空間に対するスコアマッチングを自然に拡張する新たな損失として,スコアエントロピーを提案する。 標準言語モデリングタスク上で,Score Entropy Discrete Diffusionモデルをテストする。
  論文  参考訳（メタデータ） (2023-10-25T17:59:12Z)
• Tailoring Language Generation Models under Total Variation Distance [55.89964205594829]
  ニューラルネットワーク生成の標準パラダイムは、最適化方法として最大推定(MLE)を採用する。 言語生成に適用するための実践的境界を開発する。 本稿では,TVD推定のトレードオフのバランスをとるためのTaiLr の目標について紹介する。
  論文  参考訳（メタデータ） (2023-02-26T16:32:52Z)
• A comprehensive comparative evaluation and analysis of Distributional Semantic Models [61.41800660636555]
  我々は、静的DSMによって生成されたり、BERTによって生成された文脈化されたベクトルを平均化して得られるような、型分布ベクトルの包括的評価を行う。 その結果、予測ベースモデルの優越性は現実よりも明らかであり、ユビキタスではないことが明らかとなった。 我々は認知神経科学からRepresentational similarity Analysis(RSA)の方法論を借りて、分布モデルによって生成された意味空間を検査する。
  論文  参考訳（メタデータ） (2021-05-20T15:18:06Z)
• Bridging the Gap Between Clean Data Training and Real-World Inference for Spoken Language Understanding [76.89426311082927]
  既存のモデルはクリーンデータに基づいてトレーニングされ、クリーンデータトレーニングと現実世界の推論の間にtextitgapが発生する。 本稿では,良質なサンプルと低品質のサンプルの両方が類似ベクトル空間に埋め込まれた領域適応法を提案する。 広く使用されているデータセット、スニップス、および大規模な社内データセット(1000万のトレーニング例)に関する実験では、この方法は実世界の(騒々しい)コーパスのベースラインモデルを上回るだけでなく、堅牢性、すなわち、騒々しい環境下で高品質の結果を生み出すことを実証しています。
  論文  参考訳（メタデータ） (2021-04-13T17:54:33Z)
• On the Discrepancy between Density Estimation and Sequence Generation [92.70116082182076]
  log-likelihoodは、同じファミリー内のモデルを考えるとき、BLEUと非常に相関している。 異なる家族間でのモデルランキングの相関はみられない。
  論文  参考訳（メタデータ） (2020-02-17T20:13:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。