論文の概要: No Memorization, No Detection: Output Distribution-Based Contamination Detection in Small Language Models

• arxiv url: http://arxiv.org/abs/2603.03203v3
• Date: Tue, 10 Mar 2026 23:39:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-12 14:12:43.968852
• Title: No Memorization, No Detection: Output Distribution-Based Contamination Detection in Small Language Models
• Title（参考訳）: 記憶なし, 検出なし:小言語モデルにおける出力分布に基づく汚染検出
• Authors: Omer Sela,
• Abstract要約: CDDまたは出力分布による汚染検出は、モデルのサンプル出力のピーク値を測定することによって、データの汚染を識別する。 CDDの有効性は、微調整が動詞の暗記を生成するかどうかに大きく左右される。 確率に基づく手法、特にパープレキシティとMin-k% Probは、任意の手法がチャンスを超える全ての条件においてCDDより優れていることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: CDD, or Contamination Detection via output Distribution, identifies data contamination by measuring the peakedness of a model's sampled outputs. We study the conditions under which this approach succeeds and fails on small language models ranging from 70M to 410M parameters. Using controlled contamination experiments on GSM8K, HumanEval, and MATH, we find that CDD's effectiveness depends critically on whether fine-tuning produces verbatim memorization. In the majority of conditions we test, CDD performs at chance level even when the data is verifiably contaminated and detectable by simpler methods. We show that probability-based methods, specifically perplexity and Min-k\% Prob, outperform CDD in all conditions where any method exceeds chance, suggesting that CDD's peakedness-based approach is insufficient for contamination detection in small language models. Our code is available at https://github.com/Sela-Omer/Contamination-Detection-Small-LM
• Abstract（参考訳）: CDDまたは出力分布による汚染検出は、モデルのサンプル出力のピーク値を測定することによって、データの汚染を識別する。 本研究では,70M から 410M のパラメータを含む小言語モデルにおいて,このアプローチが成功し,失敗する条件について検討する。 GSM8K、HumanEval、MATHの汚染制御実験を用いて、CDDの有効性は、微調整が動詞の暗記を生じさせるかどうかに批判的に依存することがわかった。 テストしたほとんどの条件では、CDDは、データが検証可能で、より単純な方法で検出可能であっても、偶然のレベルで動作します。 確率に基づく手法,特にパープレキシティとMin-k\% Probは,任意の手法がチャンスを超える全ての条件においてCDDより優れており,CDDのピーク性に基づくアプローチは,小言語モデルにおける汚染検出に不十分であることを示す。 私たちのコードはhttps://github.com/Sela-Omer/Contamination-Detection-Small-LMで利用可能です。

関連論文リスト

• MemLens: Uncovering Memorization in LLMs with Activation Trajectories [39.5728313604839]
  生成中の数値トークンの確率軌跡を解析してメモリ化を検出するために,MemLensを提案する。 提案手法では, 汚染試料はショートカットの挙動を示し, 信頼性の高い解答にロックする。 汚染された試料とクリーンな試料は, 別々に分離された推理軌道を示す。
  論文  参考訳（メタデータ） (2025-09-25T08:55:18Z)
• Noisy Test-Time Adaptation in Vision-Language Models [73.14136220844156]
  テスト時間適応(TTA)は、テスト中のターゲットデータのみに依存することにより、ソースデータとターゲットデータの分散シフトに対処することを目的としている。 本稿では、ゼロショット方式で、テスト時にノイズのあるサンプルをターゲットとするデータにモデルを適応させることに焦点を当てたゼロショットノイズTTA(ZS-NTTA)を提案する。 本稿では, 冷凍機の出力を擬似ラベルとして利用し, ノイズ検出器の訓練を行う適応ノイズ検出器(AdaND)を提案する。
  論文  参考訳（メタデータ） (2025-02-20T14:37:53Z)
• Capacity Control is an Effective Memorization Mitigation Mechanism in Text-Conditional Diffusion Models [15.477246927584499]
  採用。 プレトレインファインチューンパラダイムにおけるPEFT(Efficient Fine-Tuning)は,メモリ化を著しく低減する。 その結果,PEFTは記憶度を低下させるだけでなく,下流の音質を向上させることが示唆された。
  論文  参考訳（メタデータ） (2024-10-29T15:47:31Z)
• Unlearnable Examples Detection via Iterative Filtering [84.59070204221366]
  ディープニューラルネットワークは、データ中毒攻撃に弱いことが証明されている。 混合データセットから有毒なサンプルを検出することは極めて有益であり、困難である。 UE識別のための反復フィルタリング手法を提案する。
  論文  参考訳（メタデータ） (2024-08-15T13:26:13Z)
• Extracting Training Data from Unconditional Diffusion Models [76.85077961718875]
  拡散確率モデル(DPM)は、生成人工知能(AI)の主流モデルとして採用されている。 本研究の目的は,1) 理論解析のための記憶量,2) 情報ラベルとランダムラベルを用いた条件記憶量,3) 記憶量測定のための2つのより良い評価指標を用いて,DPMにおける記憶量の理論的理解を確立することである。 提案手法は,理論解析に基づいて,SIDE (textbfSurrogate condItional Data extract) と呼ばれる新しいデータ抽出手法を提案する。
  論文  参考訳（メタデータ） (2024-06-18T16:20:12Z)
• DICE: Detecting In-distribution Contamination in LLM's Fine-tuning Phase for Math Reasoning [40.57095898475888]
  大規模言語モデル(LLM)の性能向上に寄与する分布内汚染 本研究では, LLMの内部状態を利用して汚染を検出・検出する新しい手法であるDICEを提案する。 実験により、DICEは様々なLSMおよび数学推論データセットにまたがる分布内汚染を検出するのに高い精度を示している。
  論文  参考訳（メタデータ） (2024-06-06T15:55:53Z)
• Fact-Checking the Output of Large Language Models via Token-Level Uncertainty Quantification [116.77055746066375]
  大型言語モデル(LLM)は幻覚、すなわちその出力に誤った主張を生じさせることで有名である。 本稿では,トークンレベルの不確実性定量化に基づくファクトチェックと幻覚検出パイプラインを提案する。
  論文  参考訳（メタデータ） (2024-03-07T17:44:17Z)
• Generalization or Memorization: Data Contamination and Trustworthy Evaluation for Large Language Models [42.958880063727996]
  CDD は LLM の出力分布による汚染検出の略である。 評価におけるデータ汚染の影響を軽減するため、TED:出力分布による信頼に値する評価も提示する。
  論文  参考訳（メタデータ） (2024-02-24T23:54:41Z)
• Exploring Model Dynamics for Accumulative Poisoning Discovery [62.08553134316483]
  そこで我々は,モデルレベルの情報を通して,防衛を探索するための新しい情報尺度,すなわち,記憶の離散性(Memorization Discrepancy)を提案する。 暗黙的にデータ操作の変更をモデル出力に転送することで、メモリ識別は許容できない毒のサンプルを発見することができる。 我々は、その性質を徹底的に探求し、累積中毒に対する防御のために、離散型サンプル補正(DSC)を提案する。
  論文  参考訳（メタデータ） (2023-06-06T14:45:24Z)
• On Calibrating Diffusion Probabilistic Models [78.75538484265292]
  拡散確率モデル(DPM)は様々な生成タスクにおいて有望な結果を得た。 そこで本研究では,任意の事前学習DPMを校正する簡単な方法を提案する。 キャリブレーション法は1回だけ行い, 得られたモデルをサンプリングに繰り返し使用することができる。
  論文  参考訳（メタデータ） (2023-02-21T14:14:40Z)
• SensorSCAN: Self-Supervised Learning and Deep Clustering for Fault Diagnosis in Chemical Processes [2.398451252047814]
  本研究では,教師なし故障検出・診断のための新しい手法であるSensorSCANを提案する。 我々は、テネシー・イーストマン・プロセスの2つの公開データセットに、さまざまな欠点のあるモデルの性能を実演する。 本手法は,故障の数が事前に分かっていない実世界のアプリケーションに適している。
  論文  参考訳（メタデータ） (2022-08-17T10:24:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。