論文の概要: Beyond QASecClaw: Agent Scaling, Verifier Feedback, and Evidence Reliability in Software Assurance
- arxiv url: http://arxiv.org/abs/2610.36947v1
- Date: Tue, 27 Oct 2026 10:06:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-28 21:04:31.561304
- Title: Beyond QASecClaw: Agent Scaling, Verifier Feedback, and Evidence Reliability in Software Assurance
- Title（参考訳）: QASecClawを超えて - エージェントスケーリング、検証済みのフィードバック、ソフトウェア保証の信頼性
- Abstract要約: 5つの実験は、Javaの警告コントロール、ベンチマークアセスメント、Defects4Jテスト生成、SV-COMPアサーション検証、意図的にエビデンスパッケージを誤解している。
8つの関連する開発警告では、コンテキストカウントを1から50に増やすと、安全でないクリアランスを改善することなくトークンの使用量が49倍になる。
32のSV-COMPタスクでは、生の検証者フィードバックは平均的なモデル検証を12.7から22.0に引き上げるが、誤りの判定を1から7に引き上げる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Can additional specialist language-model contexts improve software assurance when deterministic tool evidence is already available? We study this question through five experiments spanning authored Java warning controls, OWASP Benchmark assessment, Defects4J test generation, SV-COMP assertion verdicts, and deliberately misleading evidence packages. The evaluated systems use Qwen2.5-Coder-7B-Instruct, with a 1.5B sensitivity analysis, and complete 13,638 model requests. On eight related development warnings, increasing the context count from 1 to 50 increases token use 49-fold without improving unsafe clearance. On 160 OWASP cases, model configurations trade clearance against unresolved outcomes; the ten-context arm assesses only 96 cases. On 32 SV-COMP tasks, raw verifier feedback raises mean correct model verdicts from 12.7 to 22.0, but also raises incorrect verdicts from one to seven; a JBMC-plus-JVM validation baseline returns 26 correct verdicts and six unresolved outcomes. On two sets of 120 evidence packages, models reject 70-100% of applicable counterexamples, while construction-specific scope checks classify every package correctly. No target defect is discovered in three Defects4J bugs, one unsupported by the test adapter. These descriptive results support deterministic evidence admission for the tested settings, while exposing limits of verdict aggregation, feedback interpretation, and the available evaluation coverage.
- Abstract（参考訳）: 決定論的ツールエビデンス(deterministic tool evidence)がすでに利用可能である場合、追加の専門的な言語モデルコンテキストは、ソフトウェア保証を改善することができるか?
著者によるJava警告コントロール、OWASP Benchmarkアセスメント、Defects4Jテスト生成、SV-COMPアサーション検証、そして故意にエビデンスパッケージを誤解させる5つの実験を通して、この問題を調査する。
評価システムはQwen2.5-Coder-7B-Instructを使用し、1.5B感度分析と13,638モデル要求を完了した。
8つの関連する開発警告では、コンテキストカウントを1から50に増やすと、安全でないクリアランスを改善することなくトークンの使用量が49倍になる。
160のOWASPケースでは、モデル構成は未解決の結果に対してクリアランスを交換する。
32のSV-COMPタスクでは、生検証器のフィードバックは平均的正解を12.7から22.0に引き上げるが、誤り判定を1から7に引き上げる。
120のエビデンスパッケージの2セットでは、モデルが70-100%の反例を拒否する一方、構成固有のスコープチェックはすべてのパッケージを正しく分類する。
ターゲットの欠陥は3つのDefects4Jバグには見つからない。
これらの記述的な結果は、検証された設定に対する決定論的エビデンスを許容し、検証集約の限界、フィードバック解釈、利用可能な評価カバレッジを明らかにします。
関連論文リスト
- Beyond the Verdict: Agentic Code Judging with Verifiable Feedback [54.72977295521153]
我々は,人間の専門家による受諾プログラムと受諾プログラムを用いて,USACO 2026コンテストからUSACO-JUDGEを構築した。
次に、35Bのエージェント検証器であるARBITERを、汎用的な実行サンドボックスで強化学習して訓練する。
トレーニングは、不正なプログラムを40.61%から62.67%に、二分判定の精度を71.41%から87.41%に引き上げる。
論文 参考訳（メタデータ） (2026-10-13T17:22:58Z) - SWE-MISBEHAVIOR: Benchmarking and Mitigating Boundary Violations in Software Coding Agents [98.61266339928044]
SWE-MISBEHAVIORは,コーディングエージェントにおける境界違反の誤動作を診断するための最初の分類・評価フレームワークである。
SWE-MISBEHAVIORは、完全に自動化された評価プロトコルで11の異なる振る舞いをカバーしている。
CODE-KITは,誤動作を意識したガイドラインと,エージェントがそのような障害を避けるための新しいツールを組み合わせた,軽量適応型フレームワークである。
論文 参考訳（メタデータ） (2026-10-13T11:40:10Z) - Specification-Based Testing of Large Language Models [3.4298729855744026]
LEST(LLM Evaluation through Specification-driven Testing)は、ブラックボックステストのための仕様として、文書化された安全性クレームを扱うフレームワークである。
LESTでは、各クレームがテストのプロンプトを判断し、Refuse-to-Complyトランジットがそれに対するエビデンスとしてカウントされるかどうかを判断する。
The system card of Claude Opus 4.8 and GPT-5.5 with 97 seed prompts from SORRY-Bench across Mental Health and Self-Harm, Harmful and Violent Content, and Fairness and Bias。
論文 参考訳（メタデータ） (2026-10-10T01:17:21Z) - TestJack: Should you trust the results in coding benchmarks? Agentic Coding Benchmarks Auditing via Evaluator Evolution [56.4111102268819]
大規模言語モデル(LLM)エージェントは、ソフトウェア工学を急速に再構築している。
しかし、既存のベンチマークのほとんどすべてが、同じ数十年前の基準に依存している。
固定テストを超えてパッチを評価するスケーラブルなフレームワークであるTestJackを紹介します。
論文 参考訳（メタデータ） (2026-10-07T07:58:04Z) - Beyond the Verdict: Evidence-Aligned Evaluation of Visual Prompt-Injection Guardrails [16.132019583543254]
評定のみの評価は、視覚言語モデル(VLM)がその決定を支持するビジュアルエビデンスを使用したかどうかを明らかにしていない。
VLMは、画面上のテキストがユーザ命令と矛盾するかどうかを判断する。
我々はMind2Web-Injectionを紹介し,9,954枚のインストラクション・スクリーンショット・ペアと命令・リレーショナル・ラベル,ピクセル・エクササイズ・エビデンス・ボックス,マッチングされたイメージ・サイド・カウンターファクトのベンチマークを行った。
論文 参考訳（メタデータ） (2026-09-02T07:03:03Z) - MemToC: Benchmarking Memory-Tool Conflict Resolution in Large Language Models [49.47300047353726]
MemToCは、実行時ツールによるポストツール-リターン仲裁のベンチマークである。
MemToCは、542の質制御された事実質問から構築された6,504回の評価エピソードで構成されている。
オープンウェイトな7-9Bモデルでは、ツールが強く支配的なクローズドブックの回答を返す。
論文 参考訳（メタデータ） (2026-08-26T18:22:03Z) - BeTaL-GBI: Admission-Aware Benchmark Tuning and Full-Stack Verification of Geometric Belief Interfaces [2.894286977279531]
本研究は,企業検証アーキテクチャが要求を監査しつつ,インターフェース障害,タスク能力,ポリシー適合性,整合性を分離できるかどうかを検討する。
BeTaL-GBI v0.2 は LLM-in-the-loop を2,218,750,380 以上のグリッドポイントで適用し、条件付き性能からフォーマットの入力を分離する。
512の総合的なタスクにおいて、16ゲートポリシーは、116の激しい矛盾を全て検出し、99のクリーンレコードを全て受け入れる。幻覚剤とエビデンスフォーガーサロゲートは無音のプロモーションでブロックされる。
論文 参考訳（メタデータ） (2026-08-21T16:52:38Z) - Are Benchmark Tests Strong Enough? Mutation-Guided Diagnosis and Augmentation of Regression Suites [49.16055123488827]
十分に強力なテストスイートは、報告された成功率を膨らませながら、妥当だが意味的に正しくないパッチを認めることができる。
STINGは、意味的に変化するプログラムの変種を診断ストレス要因として利用する、ターゲットテスト拡張のためのフレームワークである。
STINGは211インスタンスにまたがる1014の検証テストを生成し、パッチリージョンラインとブランチカバレッジを10.8%、9.5%向上させた。
論文 参考訳（メタデータ） (2026-04-02T01:13:40Z) - Automated Self-Testing as a Quality Gate: Evidence-Driven Release Management for LLM Applications [51.56484100374058]
我々は,エビデンスに基づくリリース決定を伴う品質ゲートを導入する自動自己テストフレームワークを提案する。
内部展開型多エージェント対話型AIシステムの縦型ケーススタディにより,本フレームワークの評価を行った。
論文 参考訳（メタデータ） (2026-03-13T20:44:15Z) - SPECA: Specification-to-Checklist Agentic Auditing for Multi-Implementation Systems -- A Case Study on Ethereum Clients [1.711666249985278]
SPECAは、標準要件をチェックリストに変換する仕様からChecklistフレームワークである。
SPECAは,11社を対象とし,フサカアップグレードのセキュリティ監査コンテストの会場内でインスタンス化を行う。
我々の改善されたエージェントは、競争監査の基礎的真実に対して評価され、高影響の脆弱性について27.3%の厳格なリコールを達成した。
論文 参考訳（メタデータ） (2026-02-07T12:19:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。