論文の概要: Can Agentic Code Review Catch Vulnerabilities Before They Are Merged?

• arxiv url: http://arxiv.org/abs/2610.33509v2
• Date: Fri, 30 Oct 2026 02:32:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.349948
• Title: Can Agentic Code Review Catch Vulnerabilities Before They Are Merged?
• Title（参考訳）: エージェントコードレビューはマージ前に脆弱性を発見できるか?
• Abstract要約: SecPRBenchは、実証済みの現実世界のコード変更に対するエージェントセキュリティレビューを評価するための最初のベンチマークである。 私たちは、大規模な実際のバグ導入コミットを自律的に回収し、構築し、検証するための自動エージェントパイプラインを構築しました。 これまでに、Firefox、V8、OpenSSLを含む9つのクリティカルシステムから、数百万行のコードで265のタスクを収集しました。
• 参考スコア（独自算出の注目度）: 23.926610096714658
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: LLM agents have been increasingly adopted for security-focused code review, but existing benchmarks mostly derive the reviewed changes from their later fixes instead of the real-world bug-introducing commits. In this paper, we present SecPRBench, the first comprehensive benchmark for evaluating agentic security review on validated real-world code changes. More specifically, we have built an automated agentic pipeline to autonomously harvest, build, and validate massive real-world bug-introducing commits for popular software systems. To ensure precise evaluation, we also adopt LLM-as-a-judge to credit the findings matching ground-truth vulnerabilities. To date, we have collected 265 tasks from nine critical systems, including Firefox, V8, and OpenSSL with millions of lines of code. Across eight frontier models, recall ranges from 32.5% to 78.1%, with Grok 4.6 and GPT-6 sol ranking at the top. Our study also shows that most misses are not simply oversights: in 68% of them, the agent reports on a file that holds the flaw but argues for a different mechanism. Security-focused harnesses also behave differently: OpenAI's Codex Security lowers recall by 8.3 points, mostly by abstaining, while Anthropic's Defending Code harness raises it by 7.7 points, at a higher cost.
• Abstract（参考訳）: LLMエージェントは、セキュリティにフォーカスしたコードレビューにますます採用されているが、既存のベンチマークは、実際のバグ導入コミットではなく、後の修正からレビューされた変更を主に引き起こしている。 本稿では,実証された実世界のコード変更に対するエージェントセキュリティレビューを評価するための,初の総合的なベンチマークであるSecPRBenchを提案する。 具体的には、一般的なソフトウェアシステムの大規模なバグ導入コミットを自律的に収集、構築、検証するための自動エージェントパイプラインを構築しました。 正確な評価をするために,LLM-as-a-judge も適用し,地道的脆弱性と一致する知見を信用する。 これまでに、Firefox、V8、OpenSSLを含む9つのクリティカルシステムから、数百万行のコードで265のタスクを収集しました。 8つのフロンティアモデル全体では、リコールは32.5%から78.1%の範囲で、Grok 4.6とGPT-6が上位にランクインしている。 私たちの研究は、ほとんどのミスは単なる監視ではないことも示しています。その68%では、エージェントは欠陥を保持するが、別のメカニズムを主張するファイルに報告します。 OpenAIのCodex Securityはリコールのリコールを8.3ポイント削減する。

関連論文リスト

• Last Secure Code Benchmark: Is the Code You Vibe Secure? [55.718488362738924]
  Last Secure Code Benchmarkは、コーディングエージェントによるセキュアコード生成の包括的な評価である。 450のタスクは7つの広く使われている言語と24のCWEにまたがっており、2025年のCWEトップ25の21と、上位10のKEVの弱点の8つが含まれている。 最高のモデルは、すべてのビブコーディング設定にまたがる脆弱性シナリオの12%に過ぎません。
  論文  参考訳（メタデータ） (2026-10-10T09:42:56Z)
• Where Did the Repair First Go Wrong? Localizing the Origins of Silent Failures in Agentic Vulnerability Repair [4.495819148271923]
  SAGE(Security Awareness Gap Evaluation)は、トレースベースの障害帰属手法である。 我々は,SecurityEvalとCVEfixesの6つのエージェントフレームワークと6つのベースモデルによって生成される3,684個の修復トレースから得られた95個のサイレント障害を評価した。
  論文  参考訳（メタデータ） (2026-10-05T11:31:16Z)
• MobileCybench: Evaluating Agent Vulnerability Discovery via Executable Probes [79.56668124357292]
  本稿では,プローブを用いた脆弱性レポート評価フレームワークを提案する。 報告されたエクスプロイトは、アプリケーションに対してそれを再生し、プローブを実行することで評価される。 プローブが既知の脆弱性ではなくセキュリティプロパティをエンコードしているため、プローブがいつ書かれたか分からない脆弱性を検出することができる。
  論文  参考訳（メタデータ） (2026-09-21T01:21:06Z)
• VEX-Bench: Benchmarking LLM Agents for Assessing Exploitability of Software Supply Chain Vulnerabilities [8.261542578922597]
  ソフトウェアサプライチェーン脆弱性の悪用性を評価できるLSMエージェントの能力を評価するための最初のベンチマークを紹介する。 VEX-Benchには、GitHubから発掘され、セキュリティの専門家によってラベル付けされた75の現実世界のケースが含まれており、Python、Java、Goをカバーしている。 GPT-5.5とClaude Opus 4.6はバイナリ脆弱性統計分類で約80%のF1に達したが、きめ細かい正当性分類で70%のマクロF1を超えたのはGPT-5.5のみである。
  論文  参考訳（メタデータ） (2026-09-07T22:52:09Z)
• SEC-bench Pro: Can Language Models Solve Long-Horizon Software Security Tasks? [26.62307092688903]
  SEC-bench Proは、クリティカルで複雑なソフトウェアシステム上で、エージェントバグハンティングを測定するためのベンチマークである。 V8とSpiderMonkeyにまたがる183の検証済み脆弱性でSEC-bench Proをインスタンス化する。 評価の結果,両エンジンにおいて,フロンティアモデルを用いた符号化エージェントが40%以下であることがわかった。
  論文  参考訳（メタデータ） (2026-05-26T04:59:49Z)
• Do Androids Dream of Breaking the Game? Systematically Auditing AI Agent Benchmarks with BenchJack [51.54835866517547]
  BenchJackは、コーディングエージェントがベンチマークを監査し、報酬をハックする可能性のあるエクスプロイトを識別するシステムである。 BenchJackを、ソフトウェアエンジニアリング、Webナビゲーション、デスクトップコンピューティング、端末操作にまたがる10の人気のあるエージェントベンチマークに適用する。 BenchJackは、単一のタスクを解決することなく、ほとんどのベンチマークでほぼ完璧なスコアを達成する報奨ハックのエクスプロイトを合成する。
  論文  参考訳（メタデータ） (2026-05-12T19:22:45Z)
• MOSAIC-Bench: Measuring Compositional Vulnerability Induction in Coding Agents [2.1942030377331245]
  コーディングエージェントは、しばしばプロンプト毎の安全性レビューをパスするが、それらのタスクが通常のエンジニアリングチケットに分解されると、悪用可能なコードを出荷する。 199個の3段階攻撃チェーンのベンチマークであるMOSAIC-Benchを紹介する。 9つのプロダクションコーディングエージェントが53～86%の終末ASRで無害なチケットを構成しており、全ステージで2回しか拒否しないことを示す。
  論文  参考訳（メタデータ） (2026-05-05T16:38:23Z)
• Outrunning LLM Cutoffs: A Live Kernel Crash Resolution Benchmark for All [57.23434868678603]
  Live-kBenchは、新たに発見されたカーネルバグのエージェントをスクラップし、評価するセルフ進化ベンチマークの評価フレームワークである。 kEnvは、カーネルのコンパイル、実行、フィードバックのためのエージェントに依存しないクラッシュ解決環境である。 kEnvを用いて3つの最先端エージェントをベンチマークし、最初の試行で74%のクラッシュを解決したことを示す。
  論文  参考訳（メタデータ） (2026-02-02T19:06:15Z)
• Holistic Agent Leaderboard: The Missing Infrastructure for AI Agent Evaluation [87.47155146067962]
  数百のタスクで並列評価をオーケストレーションする,標準化された評価ハーネスを提供する。 モデル、足場、ベンチマークにまたがる3次元解析を行う。 私たちの分析では、ほとんどのランで精度を低下させる高い推論努力など、驚くべき洞察が示されています。
  論文  参考訳（メタデータ） (2025-10-13T22:22:28Z)
• BountyBench: Dollar Impact of AI Agent Attackers and Defenders on Real-World Cybersecurity Systems [62.17474934536671]
  我々は、現実世界のシステムを進化させる際に、攻撃的かつ防御的なサイバー能力を捕獲する最初の枠組みを紹介する。 脆弱性ライフサイクルを捉えるために、3つのタスクタイプを定義します。検出(新たな脆弱性の検出)、エクスプロイト(特定の脆弱性の探索)、パッチ(特定の脆弱性のパッチ)。 Claude Code,OpenAI Codex CLI with o3-high and o4-mini,カスタムエージェント with o3-high, GPT-4.1, Gemini 2.5 Pro Preview, Claude 3.7 Sonnet Thinking, DeepSeek-R1。
  論文  参考訳（メタデータ） (2025-05-21T07:44:52Z)
• SOSecure: Safer Code Generation with RAG and StackOverflow Discussions [4.2630881518611226]
  大規模言語モデル(LLM)は、コードの自動生成に広く使われている。 頻繁に更新される事前トレーニングデータへの依存は、新たに発見された脆弱性やセキュリティ標準の進化に気付かないままである。 本稿では,LLM生成コードのセキュリティ向上のために,SO議論で見出されたセキュリティの総合的専門知識を活用する検索型拡張生成システムであるSOSecureを紹介する。
  論文  参考訳（メタデータ） (2025-03-17T19:03:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。