論文の概要: When Can Old Evaluations Certify a New Model? Label-Efficient Release Decisions under Evaluator Drift

• arxiv url: http://arxiv.org/abs/2609.32267v1
• Date: Sat, 26 Sep 2026 05:47:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-07 18:17:37.412066
• Title: When Can Old Evaluations Certify a New Model? Label-Efficient Release Decisions under Evaluator Drift
• Title（参考訳）: 古い評価はいつ新しいモデルを証明することができるか?評価器ドリフト下でのラベル効率の良いリリース決定
• Abstract要約: 本稿では,歴史によってガイドされた賭けの専門家と,現在のラベルからのみ学習する専門家を混在させるシーケンシャルな認証手法を提案する。 このコントリビューションは、事前に記入された賭けや専門家の混合ではなく、ラベルの収集のみを導く歴史から有効になる歴史を分けるものである。
• 参考スコア（独自算出の注目度）: 0.1749935196721634
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Releasing a model update requires certifying that its current-population risk stays below a threshold. Trusted labels are expensive, while a cheap evaluator, such as an LLM judge, scores every example. Reusing evaluator errors from earlier audits is tempting, but when may such evidence replace current labels? It depends on the status of history. If the errors can change invisibly, no label-free test detects the change, and every valid, useful certifier must keep buying labels at a rate we characterize; if a bound on the change is assumed, label-free certification is valid at an explicit error cost. For the middle ground, where history is informative but untrusted, we propose \emph{portfolio vigilance}, a sequential certifier mixing a betting expert guided by history with one that learns only from current labels; history affects only how it bets, so validity holds for any history. The contribution is not prior-informed betting or expert mixtures, but separating history that may enter validity from history that may only guide label collection. In a canonical model, accurate history shortens decisions but never raises the evidence growth rate; stale history can destroy it. On held-out CIFAR-10N and DICES-990 data, portfolio vigilance needs 0.465 (95\% CI $[0.327,0.575]$) and 0.740 ($[0.618,0.877]$) times the labels of a matched prediction-powered monitor, with no observed false certification, and fewer labels on all six external blocks. Under corrupted advice it stays within 8.0\% of its better component, while trusting history alone costs up to 1.66 times as much. In post-confirmatory repeated-judge experiments on DICES-990 and ToxicChat, changing a fixed LLM judge's rubric moves its scores beyond run-to-run variation; the portfolio then needs 0.790 ($[0.667,0.909]$) and 0.631 ($[0.520,0.770]$) times the labels of the matched monitor, and fewer than trusting history alone.
• Abstract（参考訳）: モデル更新の緩和には、現在の人口リスクがしきい値以下であることを保証する必要がある。 信頼できるラベルは高価だが、LCMの審査員のような安価な評価役は全ての例を採点する。 以前の監査から評価器のエラーを再利用することは誘惑的だが、そのような証拠が現在のラベルを置き換えるのはいつか。 それは歴史の状況に依存する。 もしエラーが目視で変更できるなら、ラベルなしテストは変更を検出しず、有効な認証者は、私たちが特徴付ける速度でラベルを購入し続けなければならない。 歴史が情報的だが信頼できない中盤では、歴史によってガイドされた賭けの専門家と、現在のラベルからのみ学習する専門家を混合したシーケンシャルな証明である「emph{portfolio vigilance}」を提案する。 このコントリビューションは、事前に記入された賭けや専門家の混合ではなく、ラベルの収集のみを導く歴史から有効になる歴史を分けるものである。 標準的なモデルでは、正確な歴史は決定を短縮するが、証拠の伸び率を上げることはない。 CIFAR-10N と DICES-990 のデータでは、ポートフォリオの警戒には 0.465 (95\% CI $[0.327,0.575]$) と 0.740 ([0.618,0.877]$) のラベルが必要である。 腐敗したアドバイスの下では、より良いコンポーネントの8.0\%以内に留まり、履歴のみを信頼するコストは最大1.66倍である。 DICES-990とToxicChatでの確認後の繰り返しジャッジ実験では、固定LDM審査員のルーリックがランラン変動を超えてスコアを移動し、ポートフォリオは0.790([0.667,0.909]$)と0.631([0.520,0.770]$)をマッチしたモニターのラベルの2倍にし、履歴のみを信頼するよりも少ない。

関連論文リスト

• Laya as a Typed Probabilistic Assessor: An Independent Reproduction and a Preregistered Study of Calibration and Selective Escalation [0.010480658740597679]
  カードはリスクを過信とみなし、測定された方向は逆であり、その方向は、自信に満ちたカスケードのどちらが失敗するかを決定する。 1つの不整合温度は、誤校正の大部分を取り除き、出荷されたオプション単位のテーブルを上回っている。 E1の再現は解析凍結に先行し、E2-E8は前向きに事前登録され、22の検査のうち20の検査はBenjamini-Hochberg FDRの下で$q5$(2 descoped)で拒絶された。
  論文  参考訳（メタデータ） (2026-09-27T18:53:26Z)
• How Many Labels Does Model Choice Need? Certificates and Budgets for Selective Prediction [0.02538209532048866]
  信頼度は同じ誤差を重み付けする。 事前ラベルの低い境界は、不十分な予算を除外する。 信頼スコアの選択は、正確な選択のために1万のラベルの68-91%を読み取る。
  論文  参考訳（メタデータ） (2026-09-16T13:10:59Z)
• Error Certificates for KV-Cache Eviction via Randomized Design [3.860898721527665]
  KV-cacheの無効化は、トークンのトップ$kを重要なスコアで保持し、残りを削除します。 我々は、この設計が何を破壊したかを理解できないことを証明している。 ランダム化消去は識別可能性の回復を示す。
  論文  参考訳（メタデータ） (2026-07-23T16:16:59Z)
• Pay Only for Disagreement: Certified No-Regression Verdicts for Model Updates with Matching Label-Complexity Bounds [0.0]
  我々は、更新促進を認定されたペア・リスク・ディファレンス監査として定式化する。 ゼロラベル層は、ラベルのないトラフィックのみに対する耐性よりも不一致率が低い良質な更新を認証する。 次数 rho2/eps2 の有限サンプル妥当性とラベル-複素性境界をレートレベルで証明する。
  論文  参考訳（メタデータ） (2026-07-22T02:51:14Z)
• Practical estimation of the optimal classification error with soft labels and calibration [47.001801756596926]
  我々は,ベイズ誤差,最適誤差率を推定するために,ソフトラベルを用いた以前の研究を拡張した。 我々は、破損したソフトラベルによる推定という、より困難な問題に取り組みます。 私たちのメソッドはインスタンスフリーです。つまり、入力インスタンスへのアクセスを前提としません。
  論文  参考訳（メタデータ） (2025-05-27T06:04:57Z)
• Label-Retrieval-Augmented Diffusion Models for Learning from Noisy Labels [61.97359362447732]
  ノイズの多いラベルからの学習は、実際のアプリケーションのための機械学習において、重要かつ長年にわたる問題である。 本稿では,生成モデルの観点からラベルノイズ問題を再構成する。 我々のモデルは、標準的な実世界のベンチマークデータセットで新しいSOTA(State-of-the-art)結果を達成する。
  論文  参考訳（メタデータ） (2023-05-31T03:01:36Z)
• Learning with Proper Partial Labels [87.65718705642819]
  部分ラベル学習は、不正確なラベルを持つ弱い教師付き学習の一種である。 この適切な部分ラベル学習フレームワークには,従来の部分ラベル学習設定が数多く含まれていることを示す。 次に、分類リスクの統一的非バイアス推定器を導出する。
  論文  参考訳（メタデータ） (2021-12-23T01:37:03Z)
• Instance-Dependent Partial Label Learning [69.49681837908511]
  部分ラベル学習は、典型的には弱教師付き学習問題である。 既存のほとんどのアプローチでは、トレーニングサンプルの間違ったラベルがランダムに候補ラベルとして選択されていると仮定している。 本稿では,各例が実数で構成された潜在ラベル分布と関連していると仮定する。
  論文  参考訳（メタデータ） (2021-10-25T12:50:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。