論文の概要: The Model Proposes, the Code Disposes: A Pre-Registered Ablation of a Verifier-and-Acceptance Stage in an LLM-Orchestrated Offensive-Security Agent

• arxiv url: http://arxiv.org/abs/2609.15887v1
• Date: Mon, 14 Sep 2026 17:13:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:06.5258
• Title: The Model Proposes, the Code Disposes: A Pre-Registered Ablation of a Verifier-and-Acceptance Stage in an LLM-Orchestrated Offensive-Security Agent
• Title（参考訳）: LLM-Orchestrated Offensive-Security Agentにおける検証・受け入れ段階の事前登録アブレーション
• Abstract要約: 決定的コードによって検証が強制されるモデル検証装置である検証受理段階が、LCMが主導する攻撃セキュリティエージェントが報告するものを変更するかどうかを評価する。 本報告では,15回の探索パイロット,20回の予備登録検定アブレーション,および2回の故意に脆弱な検査対象を40回実施した2×2因子分析を行った。 検証者はシステムが提供するものを変更し、決定論的コードは強制と監査性を提供します。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We evaluate whether a verifier-and-acceptance stage - a model verifier whose verdicts are enforced by deterministic code - changes what an LLM-driven offensive-security agent reports. We report a 15-run exploratory pilot, a pre-registered 20-run confirmatory ablation, and a pre-registered 2 x 2 factorial study with 40 runs across two deliberately vulnerable lab targets. In the confirmatory study, removing the stage eliminated pre-report suppression (median 2 versus 0 findings per run; exact one-sided p = 0.00003) and reduced model-blinded shipped precision (median 0.471 versus 0.353; p = 0.0087). Recall against a frozen but incomplete ground-truth list did not differ significantly (two-sided p = 0.158; equivalence was not established). The factorial study attributed suppression to the model verifier (Holm-adjusted p = 0.004); deterministic acceptance rules alone suppressed no false positives, and no interaction was detected (p = 0.72). The full design retained 93.8% of model-adjudicated true candidates but did not meet its pre-registered non-inferiority criterion because the lower one-sided 95% bound was 0.875, below the 0.90 floor. Across the confirmatory and factorial studies, an instrumented canary recorded zero contacts in 60 of 60 runs, with incidental external contacts disclosed separately. Independent human adjudication of the retained blind packets is pending, so precision and sensitivity endpoints are supporting rather than final evidence. Six audit-trail failures, including one in the evaluation tooling, are also disclosed. The results support a narrow conclusion: the verifier changes what the system ships, while deterministic code supplies enforcement and auditability; they do not establish superiority to other agents or generalization beyond lab targets.
• Abstract（参考訳）: 決定的コードによって検証が強制されるモデル検証装置である検証受理段階が、LCMが主導する攻撃セキュリティエージェントが報告するものを変更するかどうかを評価する。 本報告では,15回の探索パイロット,20回の予備登録検定アブレーション,および2回の故意に脆弱な検査対象を40回実施した2×2因子分析を行った。 確認試験では, プレレポート抑制を除去し(中間2対0, 正確な片側p=0.00003) , 模型ブラインド出荷精度を低下させた(中間0.471対0.353; p = 0.0087)。 凍ったが不完全な地下構造リストに対するリコールは大きな違いはなかった(二面 p = 0.158, 等価性は確立されなかった)。 因子分析では, モデル検証器による抑制 (ホルム調整p = 0.004), 決定論的受容規則だけでは偽陽性を抑えられ, 相互作用は検出されなかった(p = 0.72)。 完全な設計では93.8%の真の候補者が登録されていたが、95%の低い片側境界は0.90階以下0.875であったため、事前登録された非不等式基準を満たしていなかった。 その結果,60回中60回中60回中,計器式カナリアがゼロ接触を記録し,外部接触は別々に開示された。 保存された盲点パケットの独立的な人的偏見は保留中であるため、最終的な証拠ではなく、精度と感度のエンドポイントが支持されている。 評価ツールの1つを含む6つの監査トレーラ障害も開示されている。 検証者はシステムが提供するものを変更し、決定論的コードは強制と監査性を提供し、他のエージェントよりも優位性を確立したり、実験対象を超えて一般化したりしない。

関連論文リスト

• Target leakage, not model class, explains reported accuracy in survey-based cardiovascular screening: a leakage-tiered audit of glass-box and tabular foundation models [0.0]
  スクリーニングモデルは、レシーバー操作特性曲線(AUROC)の領域を0.89付近で定期的に報告する。 心臓梗塞に対するリニア,ツリーアンサンブル,ニューラル,ガラスボックス,タブ状ファンデーションにまたがる10種類の分類器をベンチマークした。 診断後の2つの特徴を取り除いたため、全てのモデル 0.049-0.051 AUROC はフィールドを0.0045幅のバンドに崩壊させた。 ある閾値では、男性の89.0%に対して女性の脳梗塞の75.4%が検出され、モデルの形状機能の編集により、ギャップは0.010に縮小された。
  論文  参考訳（メタデータ） (2026-09-10T17:29:15Z)
• Beyond Pass@k: Measuring Reliability and Security of Agentic Code Generation [2.1734195143282693]
  我々は,n = 独立ロールアウトとc = 完全パスロールアウト(タスク,エージェント)ペアで適用したのと同じ推定器であるReliability@kを提案する。 機能的正当性がセキュリティの安全性を示唆しないという証拠によって、セキュリティ調整された信頼性も提案する。
  論文  参考訳（メタデータ） (2026-08-11T16:01:15Z)
• Post-Hoc Trajectory-Risk Certification for Modular LLM-Based Security Agents [1.4915002678801434]
  ボンフェロニ配置は分布自由であるが,相関誤差下では保守的であることを示す。 粗いラベルの選択は、学習された依存なしにほぼ完璧な相関関係を作ることができる。 ステージ単位の証明書とペアの重なり合うバウンドを用いたモジュール証明書は、正の平均利得が0.6%となる。
  論文  参考訳（メタデータ） (2026-08-04T23:48:36Z)
• Evidence-Grounded Ensemble Diagnosis of 802.11 Packet Captures: A Multi-Stage Pipeline with Deterministic Reliability Scoring [1.0170129555792935]
  802.11パケットキャプチャの診断には、専門家のプロトコル知識が必要で、遅く、エンジニア間で一貫性がなく、スケールできない。 LLMベースのアプローチは、キャプチャーから欠落するが製造されたプロトコルイベントを聴取し、未校正された信頼スコアを生成し、テスト中のモデルによって黄金の基準が共同生成されると評価バイアスを被る。 PROBEは3つの障害に対処する多段階パイプラインである。
  論文  参考訳（メタデータ） (2026-06-05T03:39:58Z)
• Let the Results Speak: A Replication-First Paradigm for LLM Behavioral Benchmarking [22.825786049667602]
  本稿では,1つのヒト・ラタのコンセンサスに有効性を確保するために,複製第一パラダイムを提案する。 楽器を4つの特性で認証する - Kランの信頼性、アーキテクチャ的に異なる審査員間のクロスインストラクトレプリケーション、以前のトレーニングコホートからの審査員による歴史的フットプリントキャリブレーション、事前登録された予測。 本研究は, 自己発達型データ駆動による情緒的伴奏で, 次元は事前に決められず, 手順は9次元に安定化する。
  論文  参考訳（メタデータ） (2026-05-27T03:41:11Z)
• Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
  大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。 個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。 構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
  論文  参考訳（メタデータ） (2026-05-15T17:08:27Z)
• Knowing but Not Correcting: Routine Task Requests Suppress Factual Correction in LLMs [26.062372963777452]
  LLMは、独立して提示された時に確実に偽のクレームを訂正するが、同じクレームがタスク指向のリクエストに埋め込まれている場合、そのクレームは正しいというよりも、従うことが多い。 我々は、この障害モードの誤り訂正を抑え、300の偽の前提のベンチマークを構築し、8つのモデルで体系的に評価する。 抑制率は19%から90%で、4つのモデルが80%を超え、修正抑制が一般的で深刻な現象として確立された。
  論文  参考訳（メタデータ） (2026-05-07T10:04:39Z)
• Verbal Confidence Saturation in 3-9B Open-Weight Instruction-Tuned LLMs: A Pre-Registered Psychometric Validity Screen [0.0]
  実験では,7つの指導訓練付きオープンウェイトモデルを用いて,最小の妥当性基準を満たす言語的信頼度が得られるかどうかを検証した。 カテゴリー的誘因は有効性には至らなかった。 声道レベルの対数確率は,観察された分散状態下での言語的信頼度を有意に予測しなかった。
  論文  参考訳（メタデータ） (2026-04-24T04:45:21Z)
• Mitigating LLM Hallucination via Behaviorally Calibrated Reinforcement Learning [32.32593439144886]
  振舞い校正された強化学習により、小さなモデルは不確実な定量化においてフロンティアモデルを超えることができる。 当社のモデルでは,GPT-5の0.207を超える精度向上率(0.806)を挑戦的なドメイン内評価において達成している。
  論文  参考訳（メタデータ） (2025-12-22T22:51:48Z)
• Causal Understanding by LLMs: The Role of Uncertainty [43.87879175532034]
  近年の論文では、LLMは因果関係分類においてほぼランダムな精度を達成している。 因果的事例への事前曝露が因果的理解を改善するか否かを検討する。
  論文  参考訳（メタデータ） (2025-09-24T13:06:35Z)
• Evaluating AI systems under uncertain ground truth: a case study in dermatology [43.8328264420381]
  不確実性を無視することは、モデル性能の過度に楽観的な推定につながることを示す。 皮膚状態の分類では,データセットの大部分が重大な真理不確実性を示すことが判明した。
  論文  参考訳（メタデータ） (2023-07-05T10:33:45Z)
• Detecting Errors and Estimating Accuracy on Unlabeled Data with Self-training Ensembles [38.23896575179384]
  本稿では,この2つの課題に同時に対処する,原則的かつ実用的な枠組みを提案する。 1つのインスタンス化は、教師なし精度推定における推定誤差を少なくとも70%削減し、エラー検出のためのF1スコアを少なくとも4.7%改善する。 iWildCamでは、教師なし精度推定における推定誤差を少なくとも70%削減し、エラー検出のためのF1スコアを少なくとも4.7%改善する。
  論文  参考訳（メタデータ） (2021-06-29T21:32:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。