論文の概要: Hard-Gate Candidacy in a Deployed Validator Suite

• arxiv url: http://arxiv.org/abs/2609.39037v1
• Date: Wed, 30 Sep 2026 05:41:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.244386
• Title: Hard-Gate Candidacy in a Deployed Validator Suite
• Title（参考訳）: デプロイされたバリデータスイートにおけるハードゲート候補
• Abstract要約: バリケータがデプロイメントパイプラインのハードゲートに昇格する前には、その発射によって、ユーザの作業順序に到達した出力と、そうでない出力が分離されることを示す必要があります。 その画面は、デプロイされた生成エージェントで13のバリデータに表示され、550のランタイムと350の静的ビルドがダウンストリームの結果によってラベル付けされている。 我々は,各チェックの辺縁分離$J=mathrmTPR-mathrmFPR$をNewcombe間隔で報告し,Fisherの正確な検査を行った。
• 参考スコア（独自算出の注目度）: 10.012788934490084
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Before a validator can be promoted to a hard gate on a deployment pipeline, it has to be shown that its firing separates outputs that reach users in working order from those that do not. We run that screen on 13 validators in a deployed generative agent, against 550 runtime and 350 static builds labelled by downstream outcome, and report each check's marginal separation $J=\mathrm{TPR}-\mathrm{FPR}$ with Newcombe intervals and Fisher exact tests. Two checks survive correction for multiple comparisons, two more are nominal only, and the remaining nine are not distinguishable from zero, three of them because they never fired on any sampled build. Execution itself is not random with respect to the property being gated, and this replicates: across four runs covering 1,867 builds and ten distinct runtime checks, probes were skipped on 144 of 895 broken builds and 1 of 972 acceptable builds (per-run rates 15.6% to 16.6% against at most 0.3%), every skip carrying the same unsafe-to-probe reason. Because a skipped check is recorded as a pass, this imposes a ceiling that no check quality can lift: a check that needs a live artifact cannot operationally detect more than about 84% of broken builds in this harness. For the one check with construct-specific labels, a detector built for blank output fires on 0 of 90 human-labelled blank builds (95% upper bound on sensitivity 3.3%), and the global frame statistic it approximates separates the classes only weakly (AUC 0.59), so the gap is not a threshold that needs tuning. The same gap appears one layer up: on a census of tens of thousands of judge-scored builds, 32.5% of rejections carry no recorded issue at all. We argue that evaluation records must distinguish a check that ran and passed from one that did not run, must carry the evidence for a rejection, and that an inventory of checks is not evidence about a gate.
• Abstract（参考訳）: バリケータがデプロイメントパイプラインのハードゲートに昇格する前には、その発射によって、ユーザの作業順序に到達した出力と、そうでない出力が分離されることを示す必要があります。 デプロイされた生成エージェントで13のバリデータを実行し、ダウンストリームの結果によってラベル付けされた550のランタイムと350の静的ビルドに対して実行し、各チェックのマージン分離を$J=\mathrm{TPR}-\mathrm{FPR}$で、Newcombe間隔とFisherの正確なテストで報告します。 2つのチェックは多重比較の補正に残り、2つのチェックは名目上のみであり、残りの9つは0と区別できない。 1,867のビルドと10のランタイムチェックを含む4回の実行中、プローブは895のビルドのうち144のビルドと972の許容されるビルド(少なくとも0.3%に対して15.6%から16.6%)でスキップされた。 スキップされたチェックはパスとして記録されるため、これはチェック品質を持ち上げることができない天井を課す。ライブアーティファクトを必要とするチェックは、このハーネスで壊れたビルドの84%以上を運用的に検出できない。 コンストラクタ固有のラベルを持つ1つのチェックでは、90個の人間ラベル付きブランクビルド(95%は感度3.3%で上限)の0にブランク出力用の検出器が構築され、グローバルフレーム統計では、クラスを弱く分離する(AUC 0.59)ため、調整を必要とするしきい値ではない。 同じギャップが1つの階層に現れ、数万件の審査員によるビルドの国勢調査では、32.5%の拒絶が記録された問題を持っていない。 我々は、評価記録は、走ってはいないチェックと通過したチェックを区別し、拒否の証拠を運ばなければならないし、チェックの在庫はゲートに関する証拠ではないと論じている。

関連論文リスト

• Where the Numbers Come From: Auditing Evaluation in Provenance-Based Intrusion Detection [42.49426058823369]
  証明に基づく侵入検知器のスコアを再現しても、そのアラームの出力やエンコーダが使用する情報についてそのスコアが何を言っているかは定かでない。 我々は、リリースした9つの実装を監査し、独自のコードを使用して4つの検出器を実行し、3つの測定効果を分離する。
  論文  参考訳（メタデータ） (2026-09-27T13:01:02Z)
• Agora: Git as Shared Memory for Collective AutoResearch [54.31992252587096]
  別々のセッションで作業する調査エージェントは、他の人が試したことと、構築可能な結果を知る必要がある。 各コミットは結果、洞察、仮説、検証、報告を記録し、それを以前の作業とリンクする。 約12日間に渡り,13人の言語モデル労働者がアゴラを重み移動問題の解決に利用したことを報告した。
  論文  参考訳（メタデータ） (2026-09-16T04:00:54Z)
• Clean Engineering, Unstable Measurement: A Preregistered Reliability Failure of Black-Box LLM Observers on Shared Endpoints [4.41537705949485]
  言語モデル審査員は、トレーニングデータをゲートし、世代をスコアし、リーダーボードを駆動する。 我々は、事前登録された2つのキャンペーンにおいて、すべてのしきい値が事前に固定された状態で、その仮定を監査した。 52,988件の要求を監査し、スピアマン0.400で0.90と一致した。 証拠を3段階のスナップショット識別はしご、8つの設計ルール、レポートチェックリストに抽出する。
  論文  参考訳（メタデータ） (2026-09-03T17:59:43Z)
• Measuring the Checker: Mutation Analysis for GPU-Kernel Benchmark Oracles [86.41218924166775]
  LLM生成のGPUカーネルのベンチマークは、ランダムな入力とゆるやかな浮動小数点耐性で正確性を決定する。 最近の研究は、これらのチェッカーは弱く、手動でパッチを当てることに同意している。 本稿では,カーネルベンチマークの精度指標として突然変異解析を導入する。
  論文  参考訳（メタデータ） (2026-09-02T10:30:05Z)
• Operational Proto-Introspection in Looped Language Models: Process-Quality Taps, Executable Branching, and the Readout-Control Boundary [0.0]
  言語モデルは、進行中の計算の質を読み取ることができるか? 外部介入は、その読み出しをより良い結果に変えることができるか? 凍結した2.6Bループ変換器,Ouro-RLTTで両質問を検証した。
  論文  参考訳（メタデータ） (2026-07-20T22:40:36Z)
• Where Does Agent Reliability Come From? A Cross-Benchmark Decomposition of Verification Loops, Specialist Models, and Scaffolding in a Production Enterprise Agent [0.0]
  アーキテクチャが検証ループをインストールする1つのプロダクションシステムについて検討する。 ループの端から端までを計測し、経験的検証器混同行列を生成する。
  論文  参考訳（メタデータ） (2026-07-19T03:20:33Z)
• Has This Checkpoint Been Abliterated? A Two-Signal Audit and Its Failure Map [0.676855875213031]
  我々は2つの安価な内部信号、基準アンコール型アクティベーションリフレクションギャップと、基準-候補重み差の重み回復エネルギーをしきい値のないチェックポイント監査に組み合わせた。 Qwen、DeepSeekで蒸留されたQwen、Llama、Gemmaにまたがる273のチェックポイントレジストリ上で、当社のz-sumは、37の良質なファイントゥーン、マージ、命令テューンから57の公的な省略をAUROC 0.95で分離しています。 監査は効果的なトリアージであり、改ざんを防ぎません。それは証明されていない参照を仮定し、そのクレームは評価したレジストリによって境界づけられます。
  論文  参考訳（メタデータ） (2026-07-02T08:15:25Z)
• Catching One in Five: LLM-as-Judge Blind Spots in Production Multi-Turn Transaction Agents [45.148328075418156]
  デプロイされた多ターン食品・飲料注文エージェントについて検討し,実際の品質問題の数を測定した。 私たちの盲点分類は、失敗はランダムではなく構造化されていることを示している。 プロダクションマルチターンエージェントでは、自動判断はリグレッションフロアであり、人間のレビューの代わりにはならない。
  論文  参考訳（メタデータ） (2026-06-09T02:11:01Z)
• CoEval: Ranking Language Models for Custom Tasks Without Labeled Data or Trustworthy Benchmarks [47.027290803102666]
  アンサンブル自己評価を通じて信頼性の高いタスク固有信号を提供するオープンフレームワークであるCoEvalを提案する。 モデルのプールは教師、学生、裁判官の3つの役割すべてを通して回転し、新鮮な汚染のないベンチマークを生成する。
  論文  参考訳（メタデータ） (2026-06-02T13:41:43Z)
• Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
  大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。 個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。 構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
  論文  参考訳（メタデータ） (2026-05-15T17:08:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。