論文の概要: DVD: A Robust Method for Detecting Variant Contamination in Large Language Model Evaluation

• arxiv url: http://arxiv.org/abs/2601.04895v1
• Date: Thu, 08 Jan 2026 12:48:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-09 17:01:53.206258
• Title: DVD: A Robust Method for Detecting Variant Contamination in Large Language Model Evaluation
• Title（参考訳）: DVD:大規模言語モデル評価における変数汚染検出のためのロバスト手法
• Abstract要約: textbfDVDは、温度サンプリングによって誘導される局所的な出力分布をモデル化する単一サンプル検出器である。 我々は,Omni-MATH と SuperGPQA の2つの領域にわたる変異汚染の最初のベンチマークを構築した。 textbfDVDは、パープレキシティベース、Min-$k$%++、編集距離(CDD)、埋め込み類似性ベースラインを一貫して上回る。
• 参考スコア（独自算出の注目度）: 24.086354908256293
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Evaluating large language models (LLMs) is increasingly confounded by \emph{variant contamination}: the training corpus contains semantically equivalent yet lexically or syntactically altered versions of test items. Unlike verbatim leakage, these paraphrased or structurally transformed variants evade existing detectors based on sampling consistency or perplexity, thereby inflating benchmark scores via memorization rather than genuine reasoning. We formalize this problem and introduce \textbf{DVD} (\textbf{D}etection via \textbf{V}ariance of generation \textbf{D}istribution), a single-sample detector that models the local output distribution induced by temperature sampling. Our key insight is that contaminated items trigger alternation between a \emph{memory-adherence} state and a \emph{perturbation-drift} state, yielding abnormally high variance in the synthetic difficulty of low-probability tokens; uncontaminated items remain in drift with comparatively smooth variance. We construct the first benchmark for variant contamination across two domains Omni-MATH and SuperGPQA by generating and filtering semantically equivalent variants, and simulate contamination via fine-tuning models of different scales and architectures (Qwen2.5 and Llama3.1). Across datasets and models, \textbf{DVD} consistently outperforms perplexity-based, Min-$k$\%++, edit-distance (CDD), and embedding-similarity baselines, while exhibiting strong robustness to hyperparameters. Our results establish variance of the generation distribution as a principled and practical fingerprint for detecting variant contamination in LLM evaluation.
• Abstract（参考訳）: 大規模な言語モデル (LLMs) の評価は、"emph{variant contamination}" によってますます強化されている: トレーニングコーパスには、意味論的に等価だが、語彙的にも構文的にも変更されたテスト項目が含まれている。 動詞の漏れとは異なり、これらのパラフレーズまたは構造的に変換された変種はサンプリング一貫性やパープレキシティに基づいて既存の検出器を回避し、真の推論ではなく記憶によってベンチマークスコアを膨らませる。 この問題を定式化し、温度サンプリングによって誘導される局所的な出力分布をモデル化する単サンプル検出器である \textbf{DVD} (\textbf{D}etection via \textbf{V}ariance of generation \textbf{D}istribution) を導入する。 我々のキーとなる洞察は、汚染されたアイテムが \emph{Memory-adherence} 状態と \emph{perturbation-drift} 状態とを交互に引き起こし、低確率トークンの合成難易度に異常に高い分散をもたらすことである。 意味論的に等価な変種を生成・フィルタリングすることにより、2つの領域のOmni-MATHとSuperGPQAをまたいだ変種汚染の最初のベンチマークを構築し、異なるスケールとアーキテクチャの微調整モデル(Qwen2.5とLlama3.1)を用いて汚染をシミュレートする。 データセットとモデル全体にわたって、 \textbf{DVD}は、常にパープレキシティベース、Min-$k$\%++、エディット-ディスタンス(CDD)、埋め込み-類似性ベースラインを上回り、ハイパーパラメータに強い堅牢性を示す。 本研究は, LLM評価における変異汚染検出のための基本的かつ実用的な指紋として, 生成分布のばらつきを確立した。

関連論文リスト

• MLLM-Guided Semantic Correction for Text-to-Video Generation [66.7723669725808]
  マルチモーダルな大規模言語モデルフィードバックを統合した,トレーニングフリーで解釈可能な中間世代補正フレームワークを提案する。 セマンティック・アセスメント・スーパーバイザ (Semantic Assessment Supervisor) とセマンティック・アセスメント・アシスタント (Semantic Modification Assistant) という,セマンティック・アセスメント・スーパーバイザ (Semantic Assessment Supervisor) の2つの重要なモジュールを提案する。 本手法は, モデルパラメータを変更することなく, セマンティックアライメント, 視覚的忠実度, 時間的一貫性を改善する。
  論文  参考訳（メタデータ） (2026-08-17T12:54:10Z)
• Prototype-Anchored Generalized Manifold Regression for Unknown-Domain Object Detection [58.25418970608328]
  単一ソースドメイン上でトレーニングされた検出器を複数の未確認領域に転送することを目的としたシングルドメイン一般化オブジェクト検出(Single-DGOD)について検討する。 既存の手法は主に、トレーニング分布を拡大するために、データ拡張やテキストプロンプトといったシミュレーション駆動の戦略に依存している。 本稿では, 未知領域の一般化を多様体回帰問題として定式化する, Visual-Text Dual Chain-of-Thought (MR-DCoT) を用いたマニフォールド回帰を提案する。
  論文  参考訳（メタデータ） (2026-07-08T09:27:15Z)
• Uncertainty-based Debiasing and Unlearning for Decontamination [12.593872705071114]
  不確実性に基づく除染(UBD)は、汚染されたモデルやサンプルが汚染された知識を必要とせず、サンプルごとの記憶を推定する。 UBDは、パラフレーズや選択置換ベースラインよりも、汚染されていないモデルの出力分布にかなり近いサンプル単位の出力分布を生成する。
  論文  参考訳（メタデータ） (2026-06-22T13:26:29Z)
• Semantic DLM+: Improving Diffusion Language Models through Bias-variance Trade-off in Transition Kernel Design [59.05127237532803]
  拡散言語モデル(DLM)は、自己回帰言語モデルの代替として、強力なスケーリング能力を示している。 本稿では,この感度を一般化誤差の原理解析により検討し,3つの重要な因子を同定する。 本稿では,サンプリング中にグローバルな遷移と意味頻度のペナルティを付加するSemDLM+を提案する。
  論文  参考訳（メタデータ） (2026-06-13T14:41:55Z)
• Hacking Generative Perplexity: Why Unconditional Text Evaluation Needs Distributional Metrics [49.443264461057645]
  拡散および連続フローベースの言語モデルは、言語モデリングに対する非自己回帰的な主要な代替手段として現れている。 両方のパラダイムの進歩は、生成的複雑度(gen-PPL)によって圧倒的に追跡される。 我々は、この指標は正しくないと主張している。構築により、gen-PPLは、文法性やセマンティックコヒーレンスではなく、スコアARの下でのみ予測可能性を測定する。
  論文  参考訳（メタデータ） (2026-06-07T02:35:56Z)
• Towards Generalized Image Manipulation Localization via Score-based Model [38.03898206912958]
  IMLにスコアベース生成モデルを導入する新しいフレームワークであるDiffIMLを提案する。 この定式化の下では、拡散モデルは学習したスコア関数の効果的な数値解法として機能する。 8つの非生成的および3つの生成的ベンチマークの実験は、DiffIMLが一貫して最先端の手法より優れていることを示した。
  論文  参考訳（メタデータ） (2026-05-16T08:39:54Z)
• Sharp Convergence Rates for Masked Diffusion Models [53.117058231393834]
  制約を克服するオイラー法に対する全変分に基づく解析法を開発した。 その結果、スコア推定の仮定を緩和し、パラメータ依存性を改善し、収束保証を確立する。 全体としては,CTMC軌道に沿った直接テレビによる誤り分解と,FHSのためのデカップリングに基づく経路解析を導入している。
  論文  参考訳（メタデータ） (2026-02-26T00:47:51Z)
• Beyond Raw Detection Scores: Markov-Informed Calibration for Boosting Machine-Generated Text Detection [105.14032334647932]
  機械生成テキスト(MGT)は偽情報やフィッシングなどのリスクを生じさせ、信頼性の高い検出の必要性を強調している。 MGTの統計的に区別可能な特徴を抽出するメトリックベース法は、オーバーフィットしがちな複雑なモデルベース法よりも実用的であることが多い。 本稿では,2つのコンテキスト検出スコアの関係をモデル化したマルコフ情報を用いたスコアキャリブレーション手法を提案する。
  論文  参考訳（メタデータ） (2026-02-08T16:06:12Z)
• Denoising diffusion networks for normative modeling in neuroimaging [1.0195618602298684]
  ほとんどの神経画像パイプラインは画像由来表現型(IDP)の1つのモデルに適合する IDPの統一条件密度推定器として拡散確率モデル(DDPM)を提案する。 ヘテロセダスティックおよびマルチモーダルな年齢効果を持つ合成ベンチマークと,英国バイオバンクフリーサーファー表現型を用いて,次元2～200のスケールで評価した。
  論文  参考訳（メタデータ） (2026-01-24T06:19:10Z)
• Optimal Detection for Language Watermarks with Pseudorandom Collision [28.84134119819056]
  階層的な2層分割によって構造を捉える統計的枠組みを導入する。 その中核は最小単位の概念であり、単位間の独立として扱うことができる最小の群は、単位内部への依存を許容する。 Gumbel-maxおよび逆変換透かしの適用により、我々のフレームワークはクローズドフォーム最適規則を生成する。
  論文  参考訳（メタデータ） (2025-10-24T20:21:52Z)
• Efficient semantic uncertainty quantification in language models via diversity-steered sampling [46.23327887393273]
  本稿では,デコード中に意味的に冗長な出力を回避できるダイバーシティステアリング・サンプリング手法を提案する。 主要なアイデアは、モデルの提案分布に連続的な意味-類似性ペナルティを注入することである。 モジュラーであり、ベースLSMへの勾配アクセスを必要としないため、このフレームワークは不確実性評価のためのドロップインエンハンスメントとして機能することを約束している。
  論文  参考訳（メタデータ） (2025-10-24T10:06:21Z)
• Vec2Summ: Text Summarization via Probabilistic Sentence Embeddings [2.2029818765681086]
  Vec2Summはセマンティック埋め込み空間における1つの平均ベクトルを用いて文書コレクションを表現する。 生成言語モデルを用いて流動的な要約を再構築する。 Vec2Summは、局所的に焦点を絞った順序不変コーパスのためのコヒーレントなサマリーを生成する。
  論文  参考訳（メタデータ） (2025-08-09T15:31:02Z)
• Diversity by Design: Addressing Mode Collapse Improves scRNA-seq Perturbation Modeling on Well-Calibrated Metrics [1.756284691863048]
  最近のベンチマークでは、単一セルの摂動応答のモデルは、データセットの平均を単に予測することで、しばしば性能が向上することが示された。 制御参照デルタと非重み付きエラーメトリクスの報酬モードは、制御がバイアスを受けたり、生物学的信号がスパースであったりすると、崩壊する。 高感度のニッチ信号における誤差を計測する全ての摂動に対して、差分式遺伝子(DEG)対応メトリクス、重み付き平均二乗誤差(WMSE)および重み付きデルタ$R2$(R2_w(Delta)$)を導入する。
  論文  参考訳（メタデータ） (2025-06-27T21:12:46Z)
• From Invariant Representations to Invariant Data: Provable Robustness to Spurious Correlations via Noisy Counterfactual Matching [14.679039741833305]
  トレーニングデータから急激な相関関係を学習するモデルは、新しい環境にデプロイすると失敗することが多い。 我々は、不変表現の学習から不変データペアの活用へと焦点を移す、データ中心の代替案を提案する。 ノイズの反事実マッチングは、少数の反事実ペアでさえも活用することで、堅牢性を向上させる。
  論文  参考訳（メタデータ） (2025-05-30T17:42:32Z)
• Invariant Anomaly Detection under Distribution Shifts: A Causal Perspective [6.845698872290768]
  異常検出(AD、Anomaly Detection)は、異常なサンプルを識別する機械学習タスクである。 分散シフトの制約の下では、トレーニングサンプルとテストサンプルが同じ分布から引き出されるという仮定が崩壊する。 我々は,異常検出モデルのレジリエンスを,異なる種類の分布シフトに高めようとしている。
  論文  参考訳（メタデータ） (2023-12-21T23:20:47Z)
• Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution [67.9215891673174]
  離散空間に対するスコアマッチングを自然に拡張する新たな損失として,スコアエントロピーを提案する。 標準言語モデリングタスク上で,Score Entropy Discrete Diffusionモデルをテストする。
  論文  参考訳（メタデータ） (2023-10-25T17:59:12Z)
• Tailoring Language Generation Models under Total Variation Distance [55.89964205594829]
  ニューラルネットワーク生成の標準パラダイムは、最適化方法として最大推定(MLE)を採用する。 言語生成に適用するための実践的境界を開発する。 本稿では,TVD推定のトレードオフのバランスをとるためのTaiLr の目標について紹介する。
  論文  参考訳（メタデータ） (2023-02-26T16:32:52Z)
• A comprehensive comparative evaluation and analysis of Distributional Semantic Models [61.41800660636555]
  我々は、静的DSMによって生成されたり、BERTによって生成された文脈化されたベクトルを平均化して得られるような、型分布ベクトルの包括的評価を行う。 その結果、予測ベースモデルの優越性は現実よりも明らかであり、ユビキタスではないことが明らかとなった。 我々は認知神経科学からRepresentational similarity Analysis(RSA)の方法論を借りて、分布モデルによって生成された意味空間を検査する。
  論文  参考訳（メタデータ） (2021-05-20T15:18:06Z)
• Bridging the Gap Between Clean Data Training and Real-World Inference for Spoken Language Understanding [76.89426311082927]
  既存のモデルはクリーンデータに基づいてトレーニングされ、クリーンデータトレーニングと現実世界の推論の間にtextitgapが発生する。 本稿では,良質なサンプルと低品質のサンプルの両方が類似ベクトル空間に埋め込まれた領域適応法を提案する。 広く使用されているデータセット、スニップス、および大規模な社内データセット(1000万のトレーニング例)に関する実験では、この方法は実世界の(騒々しい)コーパスのベースラインモデルを上回るだけでなく、堅牢性、すなわち、騒々しい環境下で高品質の結果を生み出すことを実証しています。
  論文  参考訳（メタデータ） (2021-04-13T17:54:33Z)
• On the Discrepancy between Density Estimation and Sequence Generation [92.70116082182076]
  log-likelihoodは、同じファミリー内のモデルを考えるとき、BLEUと非常に相関している。 異なる家族間でのモデルランキングの相関はみられない。
  論文  参考訳（メタデータ） (2020-02-17T20:13:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。