論文の概要: Who Verifies the Builder? Toward Independent Assurance for Agent-Produced Software
- arxiv url: http://arxiv.org/abs/2610.28667v1
- Date: Fri, 16 Oct 2026 18:00:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-23 00:40:06.097285
- Title: Who Verifies the Builder? Toward Independent Assurance for Agent-Produced Software
- Title（参考訳）: ビルダーの検証 : エージェント生成ソフトウェアの独立保証に向けて
- Abstract要約: コーディングエージェントは仕様を実装し、テストを書き、実行し、障害を修復し、リリースの準備ができて結果を宣言することができる。
同じエージェントシステムがソフトウェアとその正しさの証拠の両方を生成する場合、パステストスイートはもはや独立した証拠ではない。
本稿では,エージェント生成ソフトウェアは構造的にビルドプレーンに依存しない保証プレーンを必要とすることを論じる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Coding agents can now implement a specification, write and run tests, repair failures, and declare the result ready for release. When the same agentic system produces both the software and the evidence of its correctness, a passing test suite is no longer independent evidence: visible tests become an optimization target, code and tests may share one misinterpretation of the specification, and the builder's own tests may simply be incomplete. This paper argues that agent-produced software requires an assurance plane that is structurally independent of the build plane. We characterize four gaps between stakeholder intent and production (requirement, conformance, evaluation, and model gaps) and identify which of them verification can close. We propose a framework that separates building from verifying, introduces a Verification Contract stating what must be demonstrated before release, and organizes verification in a specification-first phase without access to the implementation and an implementation-aware phase based on mutation analysis, property-based testing, and fuzzing, with an assurance report that leaves the release decision to a human. We evaluate the framework in a pre-registered study on three stateful services, two of them written by third-party models, and an EvalPlus pilot. The builder's programs were correct, but its own tests missed subtle interactions: a verifier in a fresh context detected more of the 46 seeded faults than the builder's tests (Holm-corrected p = 0.006) and surfaced the ambiguities of the specification, at the price of rare false oracles. A verifier from another provider did not add detection.
- Abstract（参考訳）: コーディングエージェントは仕様を実装し、テストを書き、実行し、障害を修復し、リリースの準備ができて結果を宣言することができる。
可視性テストは最適化対象となり、コードとテストは仕様の1つの誤解釈を共有し、ビルダー自身のテストは単に不完全である。
本稿では,エージェント生成ソフトウェアは構造的にビルドプレーンに依存しない保証プレーンを必要とすることを論じる。
ステークホルダーの意図と生産(要求、適合性、評価、モデルギャップ)の間の4つのギャップを特徴付け、どれがクローズできるかを特定します。
本稿では, 検証からビルディングを分離するフレームワークを提案し, リリース前に実証すべきことを述べた検証契約を導入し, 変更解析, プロパティベーステスト, ファジィングに基づく実装と実装対応フェーズへのアクセスなしに, 仕様ファーストフェーズで検証を整理し, リリース決定を人間に委ねる保証レポートを作成する。
このフレームワークを,3つのステートフルサービスに関する事前登録調査で評価し,その内2つはサードパーティ製モデルによるもので,EvalPlusのパイロット版である。
新鮮なコンテキストの検証者は、ビルダーのテストよりも46個のシードされた断層(ホルム補正されたp = 0.006)を検知し、珍しい偽のオラクルの価格で仕様の曖昧さを表面化した。
他のプロバイダによる検証では、検出を追加することはなかった。
関連論文リスト
- Verify Claims, Not Scores: Evidence-Based Verification of Modular Agents [0.0]
我々は,モジュールエージェントに対して,計画,行動,検査,精査を行うクレーム固有の検証監査を導入する。
エージェントをスコアする代わりに、監査はエビデンスをスコアする。
論文 参考訳（メタデータ） (2026-10-01T09:17:47Z) - WitnessGym: Benchmarking Coding Agents on the Construction of Bug Witnesses [52.153965130786794]
WitnessGymはバグ注入によるバグ検証ベンチマークを構築するためのフレームワークだ。
実際のプロジェクトのテスト済みパスにバグを注入し、各プロジェクトを再構築し、建設時の目撃者が暴露したケースを保持する。
テストスイートを備えた現実世界のJavaプロジェクトに基づいて、WitnessGymは1300のベンチマークケースを自動的に構築する。
論文 参考訳（メタデータ） (2026-09-29T03:43:13Z) - From Capability to Assurance in Autonomous Penetration-Testing Harnesses: A Framework and Reference Implementation [0.0]
我々は、保証プロパティはハーネス、ランタイムがモデルをラップし、コードで強制できると主張している。
まず,5つの保証特性(証拠的根拠,非破壊的クレームの低減,計算された重大度,強制的認可,明白な説明責任)の枠組みを定義する。
次に,フレームワーク内の代表システム(PentestGPT,Cochise参照ハーネス,MAPTA,PentestJudge)を公開コーディング基準を用いて配置し,一貫した保証ギャップを同定する。
第三に、あるオープンソース実装であるNeuroSploitを正確にコミットし、そのアーキテクチャ、そのアーキテクチャを報告する。
論文 参考訳（メタデータ） (2026-09-19T00:37:49Z) - Reality Is the Final Verifier: On Two Key Gaps in Agentic Software Engineering [78.51705689800838]
本稿では, 要求, モデル, 評価器の見直しに, 展開証拠を用いた保証・修正ループを提案する。
そこで我々は,人的判断,エージェント能力,計算能力に対する資源配分問題としてエージェント開発を保証した。
論文 参考訳（メタデータ） (2026-09-10T17:58:48Z) - From Prompts to Contracts: Harness Engineering for Auditable Enterprise LLM Agents [0.24554686192257424]
製品化は、ソースバウンダリ、エンティティルーティング、回答コントラクト、再現可能なトレースの要件を追加します。
本稿では,このパターンをトレース可能な監査可能なLLMエージェントアーキテクチャに再構成するハーネスエンジニアリング手法を提案する。
韓国の5つの企業グループの公開データスライスでインスタンス化し、3つの研究課題を評価する。
論文 参考訳（メタデータ） (2026-07-09T01:08:33Z) - A Governance Methodology Layer for AI-Assisted Software Development: Defect Taxonomy, Controlled Ablation, and a Test of Process-Over-Capability [0.0]
5つのAIエージェントの許可とガバナンスモジュールに基づく欠陥クラス分類を提案する。
本稿では,ジェネレータの出力を読み出し,構造化されたバリデーションを出力するランタイム分離型ガバナンスゲートについて述べる。
トークンマッチングされた未構造化プロンプトとハーネス構造化されたレビューを比較した制御アブレーション実験を報告する。
論文 参考訳（メタデータ） (2026-07-01T14:08:41Z) - Beyond Code Reasoning: Specification-Anchored Auditing of Multi-Implementation Distributed Protocols [1.5229705287183657]
SPECAは、明示的で分類されたセキュリティプロパティを自然言語仕様から導き出し、実装間で再利用する監査フレームワークである。
RepoAuditのベンチマークでは、SPECAは100%リコール(F1=0.94)で88.9%の精度に達し、著者が検証した12のバグを地上の真実を超えて表面化している。
Sherlock Fusaka Audit Contest(10のターゲット、366の応募)では、SPECAが専門家が強化した15の脆弱性をすべて回復し、4つの修正確認バグが浮上した。
論文 参考訳（メタデータ） (2026-04-29T09:57:07Z) - VIBEPASS: Can Vibe Coders Really Pass the Vibe Check? [46.85901599242161]
emphFault-Triggering Test Generation(FT-Test)とemphFault-targeted Program repair(FPR)の2つの組み合わせタスクを評価した。
故障対象推論は一般的な符号化能力ではスケールしないことがわかった。
自己生成テストが障害の発見に成功すると、結果として得られた修復結果が外部から提供されたテストによってガイドされた修復と一致したり、性能が低下する。
論文 参考訳（メタデータ） (2026-03-16T21:14:28Z) - Automated Self-Testing as a Quality Gate: Evidence-Driven Release Management for LLM Applications [51.56484100374058]
我々は,エビデンスに基づくリリース決定を伴う品質ゲートを導入する自動自己テストフレームワークを提案する。
内部展開型多エージェント対話型AIシステムの縦型ケーススタディにより,本フレームワークの評価を行った。
論文 参考訳（メタデータ） (2026-03-13T20:44:15Z) - VulAgent: Hypothesis-Validation based Multi-Agent Vulnerability Detection [55.957275374847484]
VulAgentは仮説検証に基づくマルチエージェント脆弱性検出フレームワークである。
セマンティクスに敏感なマルチビュー検出パイプラインを実装しており、それぞれが特定の分析の観点から一致している。
平均して、VulAgentは全体的な精度を6.6%改善し、脆弱性のある固定されたコードペアの正確な識別率を最大450%向上させ、偽陽性率を約36%削減する。
論文 参考訳（メタデータ） (2025-09-15T02:25:38Z) - Auditing AI models for Verified Deployment under Semantic Specifications [65.12401653917838]
AuditAIは、解釈可能な形式検証とスケーラビリティのギャップを埋める。
AuditAIは、画素空間の摂動のみを用いた検証の限界に対処しながら、検証と認定トレーニングのための制御されたバリエーションを得られるかを示す。
論文 参考訳（メタデータ） (2021-09-25T22:53:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。