論文の概要: What Should We Remove? Evaluating the Reliability and Costs of RLVR Data Decontamination
- arxiv url: http://arxiv.org/abs/2610.21229v1
- Date: Thu, 15 Oct 2026 04:19:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-16 19:13:16.177077
- Title: What Should We Remove? Evaluating the Reliability and Costs of RLVR Data Decontamination
- Title（参考訳）: 削除すべきことは何か? RLVRデータ汚染の信頼性とコスト評価
- Abstract要約: 検証可能な報酬(RLVR)数学コーパスを用いた強化学習は、ベンチマークオーバーラップのために定期的にスクリーニングされる。
我々は16のオープンなRLVR計算コーパスを1,949の質問を含む6つのベンチマークに対して監査した。
我々は,正確な,語彙的,意味的マッチングに基づく8つのポリシーを評価する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reinforcement learning with verifiable rewards (RLVR) math corpora are routinely screened for benchmark overlap, but the reliability and data-loss costs of cleaning policies remain underexamined. We audit sixteen open RLVR math corpora comprising 1,673,514 corpus-specific training items against six benchmarks containing 1,949 questions. We evaluate eight policies based on exact, lexical, and semantic matching using 594 independently and blindly dual-reviewed training-benchmark pairs. Calibration and held-out sets have disjoint benchmark questions and training-example families. A separate review of all 83 candidate matches for 80 sampled training items measures item-level false removal. At cosine threshold 0.80, 52 of 59 sampled removals (88%) were confirmed false removals; this is not a demonstrated population rate. No semantic threshold in our preregistered grid (0.80-0.98) meets the 90% conservative-precision target on calibration. The existing judge-adjudicated policy achieves 98.1% resolved precision and 98.2% candidate-frame recall on held-out corpora. It has zero confirmed false removals among six sampled removals, with one unresolved case; this does not establish zero risk. Within the evaluated candidate frame, this policy offers a more favorable precision-recall balance than the semantic-threshold alternatives tested. Recall does not measure contamination outside the candidate frame. We release reviewed labels, per-policy decisions, and coverage accounting to support evaluation of cleaning reliability and cost rather than overlap counts alone.
- Abstract（参考訳）: 検証可能な報奨(RLVR)数学コーパスを用いた強化学習は、ベンチマークオーバーラップのために定期的にスクリーニングされるが、クリーニングポリシーの信頼性とデータロスコストは過小評価されている。
我々は,1,949質問を含む6つのベンチマークに対して,1,673,514コーパス固有のトレーニング項目からなる16個のオープンなRLVR計算コーパスを監査した。
594と盲目的に2重レビューされたトレーニングベンチマークペアを用いて,精度,語彙,セマンティックマッチングに基づく8つのポリシーの評価を行った。
キャリブレーションとホールドアウトセットは、ベンチマークの質問とトレーニング・サンプルのファミリーに相容れない。
80のサンプルトレーニング項目に対する83の候補マッチの別個のレビューでは、アイテムレベルの偽削除が測定されている。
0.80では59例中52例(88%)が偽の除去が確認されたが、これは実証された人口率ではない。
事前登録格子のセマンティックしきい値(0.80-0.98)は、キャリブレーションにおける90%の保守的精度目標を満たす。
既存の判断調整政策では、98.1%の解決された精度と98.2%の候補フレームのリコールが保留されたコーパスで達成されている。
6つのサンプル除去のうち、偽の除去はゼロであり、未解決のケースが1つある。
評価された候補フレーム内では、このポリシーは、テストされたセマンティック・閾値の代替よりも、より好ましい精度とリコールのバランスを提供する。
リコールは、候補フレームの外での汚染を計測しない。
我々は、重複する数だけでなく、レビューされたラベル、政策ごとの決定、およびカバレッジ会計を公表し、クリーニングの信頼性とコストの評価を支援する。
関連論文リスト
- Rubric Judgments Lack Uncertainty: Conformal Weighting for LLM Evaluation [45.16601660676727]
不確実性認識重み付け(Uncertainty-Aware Weighting,URW)は、コンフォメーションキャリブレーションによる基準レベルの判定の不確かさを定量化する、トレーニング不要のフレームワークである。
URWはペアの好みの精度を一貫して改善し、より強力な下流アライメントを提供する。
論文 参考訳（メタデータ） (2026-10-15T04:06:12Z) - ReSolve: Reusing Candidate Reasoning through Selective Generative Moderation [35.56656941794163]
本稿では,選択的生成モデレーションにより候補推論を再利用する学習自由推論手法であるRegenerative ablationを紹介する。
個別にサンプリングされた2つの候補プールを用いて評価された130の競合数学問題のハイブリットスコアでは、Reは100と99の正解を得るが、同じ4つの候補に対して91と92が投票する。
論文 参考訳（メタデータ） (2026-10-01T06:19:29Z) - The Model Proposes, the Code Disposes: A Pre-Registered Ablation of a Verifier-and-Acceptance Stage in an LLM-Orchestrated Offensive-Security Agent [0.0]
決定的コードによって検証が強制されるモデル検証装置である検証受理段階が、LCMが主導する攻撃セキュリティエージェントが報告するものを変更するかどうかを評価する。
本報告では,15回の探索パイロット,20回の予備登録検定アブレーション,および2回の故意に脆弱な検査対象を40回実施した2×2因子分析を行った。
検証者はシステムが提供するものを変更し、決定論的コードは強制と監査性を提供します。
論文 参考訳（メタデータ） (2026-09-14T17:13:05Z) - Abstention Errors and Segment Support in CUAD: An Auditable Contract-Extraction Case Study [0.0]
本稿では,CUAD が発行した 102-contract test split に対する固定公開 RoBERTa チェックポイントの再現性評価について述べる。
30,464の返却候補文字列のうち19,562は注釈付き回答のない質問に現れる。
このシステムは2,938問のうち1,335問に答え、45.4%が偽陽性である。
論文 参考訳（メタデータ） (2026-09-07T21:26:53Z) - Cross-Fitted Residual Utility for Primary-Preserving Cognitive Decision Correction in Automatic Modulation Classification [1.547549252134621]
本稿では,クロスフィット型残効ユーティリティとプライマリ保存型認知決定ポリシーを用いて,推論後の問題について検討する。
構造化されたkan-Fourier分類器はデフォルトの確率を提供し、ニューラルおよび非ニューラル候補は観測可能な証拠を提供する。
RMLA、RMLB、HISARでは、完全なシステムは全体の精度を63.632%から66.332%、65.161%から66.168%、77.769%から79.867%に改善している。
論文 参考訳（メタデータ） (2026-08-03T11:07:37Z) - Share the Judge, Learn the Deferral: Where Specialization Helps LLM Evaluation [0.1269104766024433]
99,952 の公試例について検討した。
正しいルーブリックを供給すると、応答のみの制御よりもロックテストの精度が2.11ポイント向上する。
RewardBench 2では、報酬スコアを変更することなく0.6B-4B-8Bカスケードを通した正当性ヘッドの例を学習した。
論文 参考訳（メタデータ） (2026-07-30T10:29:22Z) - Looping Is Not Reliability: State-Bound Evidence and Typed Revision Contracts for Agentic Code Repair [36.56438114281786]
正しいパッチの発見と保持、検証、提出のギャップについて検討する。
我々はエビデンスバウンド型ループ契約を導出し、その機械的に強制可能なサブセットを参照実装でインスタンス化する。
論文 参考訳（メタデータ） (2026-07-27T16:05:23Z) - CoEval: Ranking Language Models for Custom Tasks Without Labeled Data or Trustworthy Benchmarks [47.027290803102666]
アンサンブル自己評価を通じて信頼性の高いタスク固有信号を提供するオープンフレームワークであるCoEvalを提案する。
モデルのプールは教師、学生、裁判官の3つの役割すべてを通して回転し、新鮮な汚染のないベンチマークを生成する。
論文 参考訳（メタデータ） (2026-06-02T13:41:43Z) - Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。
個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。
構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
論文 参考訳（メタデータ） (2026-05-15T17:08:27Z) - Pause and Reflect: Conformal Aggregation for Chain-of-Thought Reasoning [8.024041325202612]
自己整合性を考慮した思考の連鎖(CoT)推論は、複数のサンプル推論パスを集約することで性能を向上させる。
集約不確実性に直接対処するCoT推論のコンフォメーション手順を導入する。
提案手法は,多数決を推理経路よりも重み付けしたスコアアグリゲーションに置き換え,共形リスク制御を用いた棄権規則を校正する。
論文 参考訳（メタデータ） (2026-05-13T20:33:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。