論文の概要: Silent Success: A Release Gate That Passed on Checks It Never Ran, and Eight More
- arxiv url: http://arxiv.org/abs/2609.30307v1
- Date: Wed, 23 Sep 2026 02:17:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 18:27:51.061607
- Title: Silent Success: A Release Gate That Passed on Checks It Never Ran, and Eight More
- Title(参考訳): サイレントな成功:チェックをパスしたリリースゲートが上昇せず、さらに8つ
- Abstract要約: プロダクションリリースパイプラインのブロッキング品質ゲートがPASSを報告し、1つのサブゲートが2つのチェックのいずれかを実行せず、もう1つは8つのチェックのうち6つを実行した。
9つのケースが提示されるのは、このカテゴリの新規性ではなく、治療の収束、9つの異なる質問の欠落、1つの行動、1つのクエリ、コマンド、比較によって答えられる9つのケースのうち7つである。
- 参考スコア(独自算出の注目度): 2.1944266018812875
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A blocking quality gate in a production release pipeline reported PASS on a run in which one subgate had executed neither of its two checks and another had run six of its eight. Both keys that decided the run asked whether a violation had been observed, and both computed that from a population already stripped of the cases that failed to run, so absent data answered "no" and a run that checked almost nothing scored perfectly, for two weeks of green builds. Introducing a third value, pass, violate, and unable to determine, turned those silent passes into failures and put the shortfall into the exit status; separate work on the same specifications then found a detector firing with a margin of 0.000177 percentage points, its firing floor holding at the sixth decimal place. Eight further instances of the same form followed: five more from the same engagement, two in open-source projects, a gateway where a configured cache TTL was declared but never applied on the write path, and an inference server whose count of free cache slots was credited on every step for releases that returned nothing, and one committed by the author while writing this paper, using tooling built to prevent exactly it. What the nine cases are offered for is not the novelty of the category but the convergence of the remedy, nine different missed questions, one kind of act, seven of the nine answerable by a single query, command, or comparison, and that convergence is falsifiable, which is what this paper asks to be judged on.
- Abstract(参考訳): プロダクションリリースパイプラインのブロッキング品質ゲートがPASSを報告し、1つのサブゲートが2つのチェックのいずれかを実行せず、もう1つは8つのチェックのうち6つを実行した。
両鍵とも違反が観測されたかどうかを問うと、両鍵とも、集団が既に実行に失敗したケースを除去していたことを計算したので、欠落したデータは「ノー」と答え、2週間のグリーンビルドの間、ほぼ何もチェックされていないランが「ノー」と答えた。
第3の値、通過、違反、決定不能の3番目の値の導入により、サイレントパスが故障し、不足状態が出口状態に陥り、同じ仕様の別な作業で0.000177パーセンテージの検知器が点火され、その点火フロアは10月6日に保持された。
同じエンゲージメントからさらに5つ、オープンソースプロジェクトで2つ、設定されたキャッシュTTLが宣言されてはいるが、書き込みパスには適用されないゲートウェイ、何も返さないリリースのすべてのステップでフリーキャッシュスロットの数がクレジットされている推論サーバ、この論文執筆中に著者がコミットした1つは、正確にそれを防ぐために構築されたツールを使用していた。
9つのケースが提示されるのは、このカテゴリーの新規性ではなく、治療の収束、9つの異なる欠落した質問、ある種類の行為、そして1つのクエリ、コマンドまたは比較によって答えられる9つの9つのうち7つであり、収束は偽造可能である。
関連論文リスト
- IBIB: A Protocol for Measuring Enterprise AI Systems by Serving Route, Not Model Identifier [0.0]
監査された18のベンチマークはすべて、広告付きモデルの識別子をスコア付けする。
ゴールドブラインド機能バインディングプレフライトは、どのタスクが到達する前に、ルートが評価契約を実行可能であることを確認する。
信頼性非包括的なファーストパススコアリングルールは、有効性を保ちながらスコアの失敗を維持する。
論文 参考訳(メタデータ) (2026-09-09T17:31:29Z) - Clean Engineering, Unstable Measurement: A Preregistered Reliability Failure of Black-Box LLM Observers on Shared Endpoints [4.41537705949485]
言語モデル審査員は、トレーニングデータをゲートし、世代をスコアし、リーダーボードを駆動する。
我々は、事前登録された2つのキャンペーンにおいて、すべてのしきい値が事前に固定された状態で、その仮定を監査した。
52,988件の要求を監査し、スピアマン0.400で0.90と一致した。
証拠を3段階のスナップショット識別はしご、8つの設計ルール、レポートチェックリストに抽出する。
論文 参考訳(メタデータ) (2026-09-03T17:59:43Z) - The Recall Trap: A Recall-Maximizing Retriever Configuration Reduces Issue Resolution in Fixed-Budget Code Context [45.88028371034407]
コード修復における制御ケーススタディを報告し,新しい現象ではない。
私たちは、同じスタック上の1つのフラグ(1チャンク毎の重複)を切り替えます。
BM25(3.2pp、重要なパラダイム間相互作用)を逆転させる。
厳格な固定予算では、ファイルごとのハードダイドプリケートや、タスクに対するA/Bパッケージングポリシは、メトリックフラグを調整しないことが示されます。
論文 参考訳(メタデータ) (2026-08-14T19:22:50Z) - Governed Persistent Memory: Source-Bound State Semantics and Fail-Closed Release for Long-Horizon Agents [3.202978695204522]
長期のエージェントメモリは、通常、セレクトストアとして扱われるが、検索は、矛盾する、取って代わられた、削除された、削除された、または古いレコードが、外部の要求をサポートするかどうかを判断しない。
本稿では,Governed Persistent Memory (GPM)について紹介する。
論文 参考訳(メタデータ) (2026-08-12T18:00:42Z) - Similarity Gates Approve Reversals: A Validity Audit of Embedding-Cosine Thresholds in Agent Systems [0.0]
エージェントフレームワークは、テキストブロックを埋め込みコサインの類似性によって比較し、固定されたカットオフを決定する品質ゲートを出荷する。
重複フィルタ、セマンティックキャッシュ、ドリフトガード、応答グレーダゲートは、質問に答えるために配置されます。
我々はこのゲートクラスを測定器として監査する。
論文 参考訳(メタデータ) (2026-08-10T20:36:40Z) - Turning Interaction History into Execution State: A Runtime Layer for Long-Horizon Coding Agents [48.967927222079965]
Ledgerは、エージェントの完了したインタラクションを明示的な実行状態に蒸留するランタイム層である。
Ledgerはこの状態をオンライン実行台帳に保持し、各ステップの2つのバウンダリに適用される。
500のSWE-bench検証インスタンス全体で、LedgerはPass@1を56.2%から64.2%に、GPT-5 miniを75.8%から81.0%に、MiniMax M2.5を81.0%に引き上げている。
論文 参考訳(メタデータ) (2026-08-01T18:25:00Z) - Fantastic Adaptive Taxonomies and How to Use Them [100.20614173157708]
AdaMASTは、実行トレースをコンパクトでエビデンスに基づく障害分類に変換する。
コードには手書きのコードはなく、人間による注釈もない。
エージェント・システム・サーチでは、失敗候補の分類コード診断が自由形式より優れている。
論文 参考訳(メタデータ) (2026-07-17T17:41:16Z) - Falsifiable Release Gates for Self-Improving Systems [0.0]
本稿では,フェール可能なリリースゲートと,そのようなシステムの構築と検証方法について述べる。
すべての新機能は、出荷前に、指定されたマシン検証可能な受け入れスイートをパスしなければならない。
コントロールリングによってマイニングされる安全クリティカルなプロパティ機能トークンのないエフェクターには、アクションは発生しない。
論文 参考訳(メタデータ) (2026-07-11T06:06:34Z) - Catching One in Five: LLM-as-Judge Blind Spots in Production Multi-Turn Transaction Agents [45.148328075418156]
デプロイされた多ターン食品・飲料注文エージェントについて検討し,実際の品質問題の数を測定した。
私たちの盲点分類は、失敗はランダムではなく構造化されていることを示している。
プロダクションマルチターンエージェントでは、自動判断はリグレッションフロアであり、人間のレビューの代わりにはならない。
論文 参考訳(メタデータ) (2026-06-09T02:11:01Z) - Overeager Coding Agents: Measuring Out-of-Scope Actions on Benign Tasks [40.270213696031625]
OverEager-Genは、良質なタスクの振る舞いをオーバーイーガーするベンチマークである。
クロード・コードでは、同意宣言を削除するだけで、オーバーイーガー率は0.0%から17.1%に上昇する。
オーバーイーガー・ジェン(OverEager-Gen)は、入場前に各シナリオの識別力を認定する。
論文 参考訳(メタデータ) (2026-05-18T16:00:41Z) - Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。
個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。
構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
論文 参考訳(メタデータ) (2026-05-15T17:08:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。