論文の概要: How Much Is Left Matters: False Positives and False Negatives in Partial-Prompt Contamination Tests
- arxiv url: http://arxiv.org/abs/2611.10307v2
- Date: Wed, 11 Nov 2026 21:10:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:32.867918
- Title: How Much Is Left Matters: False Positives and False Negatives in Partial-Prompt Contamination Tests
- Title(参考訳): 部分汚染試験における偽陽性と偽陰性
- Abstract要約: 我々は、MATH-500と最近の AIME 2025/2026 問題を用いて、7つのオープンウェイトモデルの試験を行った。
提案手法は,長さ階層化されたレポート,60%以上のプレフィックス,スタイルマッチングされたポストカットオフコントロール,およびクロスファミリーキャリブレーションを推奨する。
- 参考スコア(独自算出の注目度): 0.5013248430919224
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Partial-prompt completion, where a model receives the first part of a benchmark problem and is checked for whether it reproduces the rest, is a widely used test for benchmark contamination. We audit this test on seven open-weight models using MATH-500 and recent AIME 2025/2026 problems, which serve as true negatives. Memorization flags depend strongly on how much text remains: for every model, problems with at most 8 leftover words are flagged several times more often than problems with at least 25 (31.5% vs. 5.5% for Qwen2.5-7B-Instruct), and half to three-quarters of all ROUGE-based flags come from short leftovers. On true negatives, a ROUGE-L >= 0.75 threshold flags up to 6.7% of problems at a 60% prefix, and at an 80% prefix even exact match flags 8.6% (pooled over models; 6.2% on AIME 2026, which postdates every model), against 0% at 40-60%. The test also misses contamination upstream: models distilled from Qwen2.5-Math, whose base is heavily flagged in prior work, show almost no model-specific recall. Calibrating each model against models from other families removes most flags while isolating a consistent Qwen2.5-specific signal at every prefix length. We recommend length-stratified reporting, prefixes of at most 60%, style-matched post-cutoff controls, and cross-family calibration.
- Abstract(参考訳): モデルがベンチマーク問題の最初の部分を受け取り、残りの部分を再現するかどうかをチェックする部分プロンプト補完は、ベンチマーク汚染のための広く使われているテストである。
我々は、MATH-500と最近の AIME 2025/2026 問題を用いて、7つのオープンウェイトモデルを用いて、本試験を監査する。
記憶フラグはテキストの残量に強く依存している: 全てのモデルにおいて、少なくとも8つの残余語を持つ問題は、25以上の問題(Qwen2.5-7B-Instructの5.5%に対して31.5%)よりも数倍頻繁にフラグ付けされ、ROUGEベースのフラグの4分の3は短い残余から来ている。
真の負では、ROUGE-L >= 0.75 閾値フラグは、60%のプレフィックスで最大6.7%、80%のプレフィックスでも正確なマッチフラグは8.6%(モデルよりもプールされている。
Qwen2.5-Mathから抽出したモデルは、以前の作業で基地が重くマークされているが、モデル固有のリコールはほとんどない。
各モデルを他の家族のモデルと比較すると、ほとんどのフラグが取り除かれ、各プレフィックス長で一貫したQwen2.5固有の信号が分離される。
提案手法は,長さ階層化されたレポート,60%以上のプレフィックス,スタイルマッチングされたポストカットオフコントロール,およびクロスファミリーキャリブレーションを推奨する。
関連論文リスト
- Detection Is Not Enough: Reasoning Traces as Testable Program Hypotheses [0.0]
言語モデルがデプロイされると、参照ソリューションが存在しないため、それが書き込む推論トレースがその答えを判断する唯一の証拠である。
参照ソリューションも判断モデルも重み更新もなしで、単一のトレースがどの程度の精度で検証できるかを問う。
GSM8K上の冷凍LLaMA-2-7Bチャットの場合、検出はそのようなパイプラインを制限するものではない。
論文 参考訳(メタデータ) (2026-10-21T08:25:41Z) - Fast Models, Slow Evidence: A Paired and Self-Audited Evaluation of System-1 Decision Models for LLM Agent Harnesses [6.778374627376906]
System-1決定モデルは、クラス確率で単一のフォワードパスでそのような質問に答える。
オープンウェイト (Laya) モデルとホスト (Jev) System-1 モデルとのペア評価を行った。
論文 参考訳(メタデータ) (2026-10-01T05:57:14Z) - Measuring the Checker: Mutation Analysis for GPU-Kernel Benchmark Oracles [86.41218924166775]
LLM生成のGPUカーネルのベンチマークは、ランダムな入力とゆるやかな浮動小数点耐性で正確性を決定する。
最近の研究は、これらのチェッカーは弱く、手動でパッチを当てることに同意している。
本稿では,カーネルベンチマークの精度指標として突然変異解析を導入する。
論文 参考訳(メタデータ) (2026-09-02T10:30:05Z) - When Self-Consistency Backfires: Majority Vote Hurts the Majority of Hard Science Problems for Small LLMs [0.0]
多数決による自己整合性は、小命令チューニングモデルのGPQAダイアモンド問題において、プロブレム毎の精度を低下させる。
このバージョンでは、最も自然な修復も失敗し、v1が1つとして扱われた3つの信号障害を分離する。
論文 参考訳(メタデータ) (2026-08-11T20:08:51Z) - No Usable Linear "Capitulation Direction" in Two Small LLMs: A Validation Protocol for Activation-Steering Claims, and a Cross-Family Behavioral Study of Sycophancy Under Pushback [0.0]
言語モデルは、ユーザーが押し戻すと、しばしば正しい答えを放棄します。
我々は、異なる家庭の2つの小さな指導訓練モデルでこれを研究する。
測定ハザードの定量化: 降水量の過小評価を18~24ポイントまで下げる。
論文 参考訳(メタデータ) (2026-07-16T17:15:23Z) - Off-the-Shelf LLMs as Process Scorers: Training-Free Alternative to PRMs for Mathematical Reasoning [51.88950852117154]
Chunk-Level Guided Generationは、既製の大規模言語モデルをプロセススコアラとして使用する、トレーニング不要の代替手段である。
本研究では,系統的な長さバイアスのため,大モデル確率の可変長推論ステップが信頼できないことを示す。
Chunk-Level Guided Generation は PRM guided search よりもかなり短い推論トレースを生成する。
論文 参考訳(メタデータ) (2026-06-01T04:43:36Z) - DyePack: Provably Flagging Test Set Contamination in LLMs Using Backdoors [52.85182605005619]
トレーニング中にベンチマークテストセットを使用したモデルを識別するためにバックドアアタックを利用するフレームワークであるDiePackを紹介します。
銀行が染料パックにお金を混ぜて強盗をマークするのと同じように、DiePackはバックドアのサンプルとテストデータとを混ぜて、その上で訓練されたモデルのフラグを立てる。
我々はDiePackを3つのデータセットにわたる5つのモデルで評価し、複数の選択とオープンな生成タスクの両方をカバーした。
論文 参考訳(メタデータ) (2025-05-29T02:22:14Z) - Selective Question Answering under Domain Shift [90.021577320085]
モデルがドメイン外の入力に対して過度に信頼されているため、モデルのソフトマックス確率のみに基づくアテンションポリシーは不適切である。
キャリブレータをトレーニングして、QAモデルがアースする入力を識別し、エラーを予測した場合に停止する。
提案手法は,80%の精度を維持しながら56%の質問に回答するが,それに対してモデルの確率を直接使用する場合,80%の精度で48%しか回答しない。
論文 参考訳(メタデータ) (2020-06-16T19:13:21Z) - TACRED Revisited: A Thorough Evaluation of the TACRED Relation
Extraction Task [80.38130122127882]
TACREDはリレーショナル抽出(RE)において最も大きく、最も広く使われているクラウドソースデータセットの1つである
パフォーマンスの天井に到達したのか、改善の余地はあるのか?
ラベルエラーは絶対F1テストエラーの8%を占めており、例の50%以上を可逆化する必要がある。
論文 参考訳(メタデータ) (2020-04-30T15:07:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。