論文の概要: Certifying Model Upgrades with Slice-Wise Non-Regression and Incumbent Fallback

• arxiv url: http://arxiv.org/abs/2609.13714v1
• Date: Sat, 12 Sep 2026 05:00:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:05.482689
• Title: Certifying Model Upgrades with Slice-Wise Non-Regression and Incumbent Fallback
• Title（参考訳）: Slice-Wise Non-Regression and Incumbent Fallback による認証モデルアップグレード
• Abstract要約: 本研究では,非回帰寛容性を考慮したチェックポイント選択について検討した。 提案手法では,候補探索を独立したペア評価から分離する再現可能なリリース手順を提案する。 共同リリース決定は、スライス数のボンフェロニのペナルティを必要としないが、スライス数によって認定能力は低下する可能性がある。
• 参考スコア（独自算出の注目度）: 2.8716825293247665
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: An updated model can improve an aggregate metric while degrading a slice that matters to a downstream user. We study checkpoint selection subject to non-regression tolerances relative to a retained incumbent. The central distinction is between failing to detect harm and certifying non-inferiority: the former can release harmful updates with high probability when evaluation is noisy. We give a reproducible release procedure that separates candidate search from independent, paired evaluation and returns the exact incumbent when certification fails. Applying established intersection-union and Learn-then-Test principles, we state finite-sample guarantees for one frozen candidate, a finite candidate library, and a prespecified testing order. A joint release decision does not require a slice-count Bonferroni penalty, although certification power can still decrease with the number of slices. In bounded-score simulations, a no-detected-harm gate releases a harmful candidate in 99.7% of trials in one 32-slice setting, compared with 2.6% for an exact non-inferiority gate at a 5% target. A constructed two-block family yields larger certified utility than a scalar path under matched candidate counts. Public digits experiments, including a subsequent continuation that improves average aggregate accuracy, return the incumbent in every run because certification is underpowered. These results establish an auditable protocol and its limitations; they do not establish benefits on foundation-model or multilingual translation upgrades.
• Abstract（参考訳）: 更新されたモデルは、下流のユーザにとって重要なスライスを劣化させながら、集約メトリックを改善することができる。 本研究では,非回帰寛容性を考慮したチェックポイント選択について検討した。 前者は、評価がノイズである場合に、有害な更新を高い確率でリリースすることができる。 提案手法では, 候補探索を独立したペア評価から分離し, 認証に失敗した場合に, 正確な既存情報を返却する再現可能なリリース手順を提案する。 確立された交叉結合と学習-then-Testの原則を適用して、凍結した候補1つ、有限候補ライブラリ、事前定義されたテスト順序に対する有限サンプル保証を述べる。 共同リリース決定は、スライス数のボンフェロニのペナルティを必要としないが、スライス数によって認定能力は低下する可能性がある。 有界スコアシミュレーションでは、検出されていないハームゲートは、1つの32スライス設定で99.7%の試験で有害な候補を放出する。 構築された2ブロックファミリーは、一致する候補数の下でスカラーパスよりも大きな認証ユーティリティを得る。 公開桁実験は、平均集計精度を向上させる後続の継続を含む実験であり、認証が不十分なため、実行毎に既存の数値を返す。 これらの結果は監査可能なプロトコルとその制限を確立し、基礎モデルや多言語翻訳のアップグレードの利点を確立できない。

関連論文リスト

• The Order Is the Guarantee: Verifier-Budgeted Code Deletion with Static-First Learned Proposals [12.095189927690988]
  本稿では,Al系が実行検証能力が有限である場合,コードを削除する方法の逆問題について検討する。 提案スケジューリングとして冗長コード削減を定式化する。 スケジューリングが検索を司る一方で、テストスイートのみが"保存行動"の意味を司ることを示す。
  論文  参考訳（メタデータ） (2026-08-05T09:16:29Z)
• Post-Hoc Trajectory-Risk Certification for Modular LLM-Based Security Agents [1.4915002678801434]
  ボンフェロニ配置は分布自由であるが,相関誤差下では保守的であることを示す。 粗いラベルの選択は、学習された依存なしにほぼ完璧な相関関係を作ることができる。 ステージ単位の証明書とペアの重なり合うバウンドを用いたモジュール証明書は、正の平均利得が0.6%となる。
  論文  参考訳（メタデータ） (2026-08-04T23:48:36Z)
• What Can Be Enforced? A Theory of Certified Runtime Safety for Tool-Using Agents [0.0]
  ガードレールは不可逆のツールコールの前に動作しますが、その保証は、どのポリシー状態が表現可能であるかによって異なります。 ピアソン表現攻撃はマージンを増すので、良性校正だけでは移動しない。 実験は静的診断、制御モデル列挙、表現書き直し、ペア化された閉ループ再実行を通じてこれらの区別を目標とする。
  論文  参考訳（メタデータ） (2026-07-24T19:14:26Z)
• MIST-RL: Mutation-based Incremental Suite Testing via Reinforcement Learning [19.054149750597933]
  MIST-RL (Mutation-based Incremental Suite Testing via Reinforcement Learning) は、"スケーリング・バイ・ユーティリティ(scaling-by-utility)"に重点を移すフレームワークである。 我々は,機能的に等価なアサーションを抑えながら,新たな欠陥を発見するモデルにインセンティブを与える,動的ペナルティと組み合わされた新たなインクリメンタル突然変異報酬を導入する。 HumanEval+とMBPP+の実験は、MIST-RLが最先端のベースラインより優れていることを示した。
  論文  参考訳（メタデータ） (2026-03-02T03:22:44Z)
• LEC: Linear Expectation Constraints for False-Discovery Control in Selective Prediction and Routing Systems [95.35293543918762]
  大規模言語モデル(LLM)はしばしば信頼できない答えを生成するが、不確実性のある手法は誤った予測と完全に区別することができない。 我々は、この問題を、偽発見率(FDR)制御のレンズを通して解決し、全ての許容された予測のうち、エラーの割合が目標のリスクレベルを超えないことを保証する。 本稿では,線形期待制約を強制することで,選択予測を制約付き決定問題として再解釈するLECを提案する。
  論文  参考訳（メタデータ） (2025-12-01T11:27:09Z)
• Reinforcement Learning with Verifiable yet Noisy Rewards under Imperfect Verifiers [90.50039419576807]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、人為的なラベル付けを避けるために、自動検証に対するポリシーを訓練する。 認証ハッキングの脆弱性を軽減するため、多くのRLVRシステムはトレーニング中にバイナリ$0,1$の報酬を破棄する。 この選択にはコストがかかる:textitfalse negatives(正しい回答、FNを拒絶)とtextitfalse positives(間違った回答、FPを受け入れる)を導入する。
  論文  参考訳（メタデータ） (2025-10-01T13:56:44Z)
• Reference-Free Rating of LLM Responses via Latent Information [53.463883683503106]
  本研究では,判断モデルに対して,自由テキスト応答にQuattスケールのスコアを割り当てるよう依頼する一般的な実践について検討する。 次に、内部モデル信号からスカラー評価を導出する潜在裁判官を提案し、評価する。 ペアとシングルレーティングのベンチマークの幅広いスイートの中で、潜在メソッドは標準のプロンプトにマッチするか、超えている。
  論文  参考訳（メタデータ） (2025-09-29T12:15:52Z)
• COIN: Uncertainty-Guarding Selective Question Answering for Foundation Models with Provable Risk Guarantees [51.5976496056012]
  COINは、統計的に有効な閾値を校正し、質問毎に1つの生成された回答をフィルタリングする不確実性保護選択フレームワークである。 COINはキャリブレーションセット上で経験的誤差率を推定し、信頼区間法を適用して真誤差率に高い確率上界を確立する。 リスク管理におけるCOINの堅牢性,許容回答を維持するための強いテストタイムパワー,キャリブレーションデータによる予測効率を実証する。
  論文  参考訳（メタデータ） (2025-06-25T07:04:49Z)
• Robust Conformal Prediction with a Single Binary Certificate [58.450154976190795]
  コンフォーマル予測(CP)は、任意のモデルの出力を、真のラベルを(調整可能な)高い確率でカバーすることを保証した予測セットに変換する。 我々は,MCサンプルが著しく低い場合でも,より小さな集合を生成する頑健な共形予測を提案する。
  論文  参考訳（メタデータ） (2025-03-07T08:41:53Z)
• (Almost) Provable Error Bounds Under Distribution Shift via Disagreement Discrepancy [8.010528849585937]
  我々は、ラベルのないテストデータを用いて、分散シフト中のディープニューラルネットワークのエラーに対して(ほぼ)保証された上限を導出する。 特に、我々の境界は単純で直感的な条件を必要とし、これは以前の経験的な研究によって十分に正当化される。 この損失は、マルチクラス不一致の最大化を必要とする将来のメソッドのドロップイン代替になることを期待しています。
  論文  参考訳（メタデータ） (2023-06-01T03:22:15Z)
• Certified Robustness to Label-Flipping Attacks via Randomized Smoothing [105.91827623768724]
  機械学習アルゴリズムは、データ中毒攻撃の影響を受けやすい。 任意の関数に対するランダム化スムージングの統一的なビューを示す。 本稿では,一般的なデータ中毒攻撃に対して,ポイントワイズで確実に堅牢な分類器を構築するための新しい戦略を提案する。
  論文  参考訳（メタデータ） (2020-02-07T21:28:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。