論文の概要: The Price of Correlated Tests: How Strict Should a Model Release Gate Be?

• arxiv url: http://arxiv.org/abs/2610.00993v1
• Date: Thu, 01 Oct 2026 03:27:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.879915
• Title: The Price of Correlated Tests: How Strict Should a Model Release Gate Be?
• Title（参考訳）: 関連するテストの価格:モデルリリースゲートはいかに複雑か?
• Abstract要約: 機械学習モデルが出荷される前には、自動テストスイートをパスしなければならないことが多い。 私たちはリリースゲートを設計上の問題として扱い、モデルが通過すべきテスト数を選択して、クリアされたモデルが記述された信頼性の目標を満たすようにします。 両方のクラスが同じ遅延相関を持つ場合、より厳密なゲートが常に信頼性を高めることを証明します。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Before a machine learning model ships, it often has to pass a suite of automated tests. Requiring every test to pass looks safe, yet it can reject many models that would have served users well, and it does not say how trustworthy a passing model actually is. We treat the release gate as a design problem: choose how many tests a model must pass so that cleared models meet a stated reliability target, while keeping as many good models as possible. A two-class latent-factor model makes both costs explicit and reduces each calculation to a one-dimensional integral. We prove that when both classes share the same latent correlation, a stricter gate always raises reliability, so the gate that keeps the most good models is the most lenient one that still meets the target. Under pass-all gating, any reliability target short of perfection is attainable within the model, but the share of good models kept tends to zero as the suite grows. Correlation between tests sets the price. In one configuration, a 99 percent target needs 8 independent tests, but 74 tests at a latent correlation of 0.3 and 5,182 at 0.5, where the gate keeps fewer than one good model in ten. We also give a validation procedure, built on exact binomial bounds, that certifies a gate from labelled data even when the gate is chosen from a fixed shortlist.
• Abstract（参考訳）: 機械学習モデルが出荷される前には、自動テストスイートをパスしなければならないことが多い。 パスするテストはすべて安全であるように思われるが、ユーザに提供する多くのモデルを拒否することができる。 私たちは、リリースゲートを設計上の問題として扱います: モデルが通過しなければならないテストの数を選択して、クリアされたモデルを可能な限り多くの優れたモデルを維持しながら、要求された信頼性の目標を満たすようにします。 2クラスの潜在因子モデルでは、どちらのコストも明示的にし、各計算を1次元積分に削減する。 両クラスが同じ遅延相関を持つ場合、より厳密なゲートは常に信頼性を高めるので、最も良いモデルを保持するゲートは、目標を満たす最も寛大なゲートである。 パスオールゲーティングの下では、完璧でない信頼性ターゲットはモデル内で達成可能だが、良いモデルのシェアはスイートが成長するにつれてゼロになる傾向にある。 テスト間の相関が価格を設定します。 1つの構成では、99%のターゲットは8つの独立したテストが必要ですが、74のテストは0.5で0.3と5,182の遅延相関で行われます。 また、固定されたショートリストからゲートを選択した場合でもラベル付きデータからゲートを認証する、正確な二項境界に基づいて構築された検証手順も提供する。

関連論文リスト

• Legible Failures: Detecting and Repairing In-Context Binding Errors [0.0]
  間違った答えは、モデルが必要な情報を欠いているか、保持していたかを示していない。 16の公的なチェックポイントで、それぞれが3つのシードで評価される頻度を測定します。 インコンテキストバインディングは、プローブが動作可能な設定であることに気付きました。
  論文  参考訳（メタデータ） (2026-09-10T08:20:15Z)
• Agent Behavioral Contracts II: Certifying Compositional Reliability Without Assuming Independence [0.0]
  1つのモデルの2つの例は、2つのエージェントのハンドオフにおいて、ミッションの90.0%で共失敗する。 異なるモデルの置換は、6つのコントラストのうち6つのコントラストの関連を減少させる。
  論文  参考訳（メタデータ） (2026-08-13T07:25:05Z)
• LLMs as a Jury: Cross-Model Consensus Can Outperform Process Reward Models for LLM Reasoning [6.241883798820154]
  モデル間コンセンサス(モデル間コンセンサス)について検討し、独立に訓練されたモデル(各モデルが一度解ける程度)が最終解に一致するかを検討した。 パネルをLCM判定として扱い、合意の構造は、他のモデルのスコアではなく、検証信号である。 3つのパネル統計値から平均絶対誤差0.03$までのコンセンサス精度を予測する。
  論文  参考訳（メタデータ） (2026-07-11T05:57:54Z)
• CIAware-Bench: Benchmarking Control Intervention Awareness Across Frontier LLMs [100.38986535324284]
  我々は、フロンティアモデル全体でのtextbfcontrol textbfintervention (CI) の認識を測定するベンチマークである textbfCIAware-Bench を紹介する。 CIAware-Benchは、モデルが自身の軌跡を制御介入によって修正されたものと区別できるかどうかをテストする。
  論文  参考訳（メタデータ） (2026-06-09T16:24:16Z)
• Do We Need Frontier Models to Verify Mathematical Proofs? [14.254472131009654]
  より小さなオープンソースモデルは、精度でフロンティアモデルに最大10%遅れていることが示されています。 そして、より小さなモデルが、実際にフロンティアモデルのレベルで証明を検証する数学的能力を持っていることを実証する。 我々は、小型モデルの特定の障害モードを克服し、その性能を9.1%の精度で15.9%の自己整合性で向上する特殊プロンプトのアンサンブルを合成する。
  論文  参考訳（メタデータ） (2026-04-02T18:31:44Z)
• DyePack: Provably Flagging Test Set Contamination in LLMs Using Backdoors [52.85182605005619]
  トレーニング中にベンチマークテストセットを使用したモデルを識別するためにバックドアアタックを利用するフレームワークであるDiePackを紹介します。 銀行が染料パックにお金を混ぜて強盗をマークするのと同じように、DiePackはバックドアのサンプルとテストデータとを混ぜて、その上で訓練されたモデルのフラグを立てる。 我々はDiePackを3つのデータセットにわたる5つのモデルで評価し、複数の選択とオープンな生成タスクの両方をカバーした。
  論文  参考訳（メタデータ） (2025-05-29T02:22:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。