論文の概要: VulContextBench: A Benchmark for Security Context Retrieval in Coding Agents
- arxiv url: http://arxiv.org/abs/2609.32601v1
- Date: Sat, 26 Sep 2026 13:19:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-07 05:22:17.155138
- Title: VulContextBench: A Benchmark for Security Context Retrieval in Coding Agents
- Title（参考訳）: VulContextBench: コーディングエージェントのセキュリティコンテキスト検索のためのベンチマーク
- Abstract要約: 脆弱性検出ベンチマークは、収集した証拠ではなく、エージェントが到達した判断をスコアする。
VulContextBenchは、83のリポジトリ、63のCWE、および5つの言語にわたる111の脆弱性導入コミット(VIC)のベンチマークである。
- 参考スコア（独自算出の注目度）: 8.80548156733219
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vulnerability-detection benchmarks score the verdict an agent reaches, not the evidence it gathered. A model that recalls a CVE from pretraining therefore scores the same as one that traced the data flow. We study a task where this difference matters, deciding whether a commit introduces a vulnerability. Instead of scoring the verdict, we score whether the agent retrieved the code its conclusion depends on. We present VulContextBench, a benchmark of 111 vulnerability-introducing commits (VICs) across 83 repositories, 63 CWEs, and five languages. Existing datasets label such commits by tracing a fix back through the version history, which often points to the wrong commit. We therefore audit every case by hand against an explicit four-criterion definition of a VIC, so the benchmark does not inherit that label noise. Each case is annotated with gold context, 464 code blocks in total, each tagged by its role in the evidence for the vulnerability. We evaluate seven frontier models with precision, recall and F1 at three granularities (file, block, and line), scored separately on the context an agent viewed while exploring and on the context it finally declared as evidence. The gap between the two is the main finding. Every model opens most of the gold context while exploring, but reports only part of it as evidence. At the level of code blocks, the share of the gold context a model reports is 37 to 73 percentage points below the share it viewed. Qwen3-Coder-Next views 86.3% of the lines in annotated code blocks but cites only 12.9% in its final report. GPT-5.5, which cites the most, views 73% and reports 36%. These results highlight a gap between finding relevant code and selecting it for the final report, which verdict-level benchmarks cannot reveal.
- Abstract（参考訳）: 脆弱性検出ベンチマークは、収集した証拠ではなく、エージェントが到達した判断をスコアする。
したがって、CVEを事前トレーニングからリコールするモデルは、データフローをトレースしたモデルと同じスコアを得る。
この違いが問題となるタスクを調査し、コミットが脆弱性を発生させるかどうかを判断する。
評決を採点する代わりに、エージェントがその結論が依存するコードを検索したかどうかを評価する。
VulContextBenchは、83のリポジトリ、63のCWE、および5つの言語にわたる111の脆弱性導入コミット(VIC)のベンチマークである。
既存のデータセットは、バージョン履歴を通じて修正をトレースすることでコミットをラベル付けする。
したがって、VICの明示的な4つの基準定義に対して、すべてのケースを手動で監査するので、ベンチマークはそのラベルノイズを継承しない。
それぞれのケースにはゴールドのコンテキスト、合計464のコードブロックがアノテートされ、脆弱性の証拠としての役割によってタグ付けされる。
我々は,3つの粒度(ファイル,ブロック,ライン)で精度,リコール,F1の7つのフロンティアモデルを評価する。
両者の差が主な発見点である。
あらゆるモデルは探索中に金の文脈の大半を開放するが、その一部しか証拠として報告していない。
コードブロックのレベルでは、モデルが報告するゴールドコンテキストのシェアは、見たシェアより37～73ポイント低い。
Qwen3-Coder-Nextは、注釈付きコードブロックの86.3%を表示しているが、最終レポートではわずか12.9%である。
最も引用されているGPT-5.5は73%、報告は36%である。
これらの結果は、関連するコードを見つけることと最終レポートを選択することのギャップを浮き彫りにしている。
関連論文リスト
- CITECHOICE: A Causal Audit of How Document Presentation Redistributes Citation Credit in Agentic Search [0.0]
CITECHOICEは、マルチターンエージェントサーチの因果監査である。
同一の既定事実に対して独立に認証されたサポートを持つ113の同呼文書ペアを選択する。
構造化レンダリングは、ソースの入力を明示的に増加させるのではなく、引用クレジットに集中する。
論文 参考訳（メタデータ） (2026-09-14T07:47:47Z) - VeriPhy: Agentic Physical Reasoning for World Model Evaluation and Refinement [57.86962208273888]
テキストのみのプランナが入力された物理義務にプロンプトをコンパイルする監査可能な物理検証システムを提案する。
それぞれのアクションは、ペイロードがタイプされた測定か、明示的にタグ付けされた学習状態である証明付きエビデンスレコードを返す。
我々は, 実発生障害を即時参照, 空間, 時間でローカライズする, 1500クリックの欠陥記録のコーパスにおいて, 評価をアンロックする。
論文 参考訳（メタデータ） (2026-09-02T20:36:45Z) - Ranked by the Matcher: A Reproducibility Audit of Knowledge Graph Extraction from Threat Reports [5.580052437190499]
12の検査システムのうち5つのみが記述されたマッチングルールを再実装する。
8つのプロトコルで共有ドキュメントに出力される10のシステムは、45対の注文のうち11を逆転させる。
外部、人間による調整セットでは、機械的なマーカは、-レキシカル、埋め込み、エンテーメント--10で7回以上、レビュアーとアグリーする。
論文 参考訳（メタデータ） (2026-09-01T04:45:44Z) - VisDocAgentBench: Benchmarking Agents for Visually Rich Document Retrieval [65.89247522243959]
VisDocAgentBenchは、静的検索とエージェント検索を比較したクローズドコーパスベンチマークである。
100の文書から2,375ページ、120のユニークなターゲットクエリが直接、一橋、二橋のエビデンス構造でバランスを取っている。
強力な遅延対話型ビジュアルレトリバーは、直接アイテムで97.50%のRecall@1に達するが、2ブリッジアイテムでは2.50%に達し、関連性がコーパスコンテキストに依存する場合のクエリ-ターゲットマッチングの限界を明らかにする。
論文 参考訳（メタデータ） (2026-08-18T15:23:06Z) - Beyond Top-K: Replacing Black-Box Retrieval with Interpretable Agentic Operations [0.0]
長いドキュメントに対する検索拡張生成は、テキストをチャンクし、チャンクを埋め、クエリの最も近い隣人にサーフェスする、という1つの設計によって支配されている。
我々は、財務報告、監査報告、規制リターンといった重要な文書のクラスにとって、この設計は構造的に不正確であると主張する。
本稿では,READ(Reliable Embedding-free Agentic Document-search)を提案する。
論文 参考訳（メタデータ） (2026-08-06T17:23:13Z) - Agent Retrieval Bench: Evaluating Repository Context Retrieval for Coding Agents [8.81342573156581]
Agent Retrieval Benchはこの上流検索問題のファイルレベルベンチマークである。
ベンチマークでは、code2test、 comment2context、 trace2code、Edit2rippleの4つの肯定的なタスクがカバーされている。
コーパスには308のベースコミットスナップショット、392,000ファイル、7.9百万チャンクが含まれている。
論文 参考訳（メタデータ） (2026-07-27T09:39:09Z) - Fantastic Adaptive Taxonomies and How to Use Them [100.20614173157708]
AdaMASTは、実行トレースをコンパクトでエビデンスに基づく障害分類に変換する。
コードには手書きのコードはなく、人間による注釈もない。
エージェント・システム・サーチでは、失敗候補の分類コード診断が自由形式より優れている。
論文 参考訳（メタデータ） (2026-07-17T17:41:16Z) - Efficient Visual Pointing for Embodied AI:Agent-Driven Data Synthesis, Cross-Block Attention, and Iterative Correction [55.11480729304395]
PointArena 2026は77.2%の精度でベンチマークで2位である。
ap proachは3つの障害モードをターゲットにしている。第一に、エージェント駆動のシンセシスは大きなセマンティクスとアンカー相対的な候補プールを構築する。
次に、determinis tic steerable-dataパイプラインは、認証された10,000サンプルのメインセットと、マスク、テンプレート、パス検証を使用するリザーブサンプルを生成する。
論文 参考訳（メタデータ） (2026-06-29T06:39:03Z) - How Far Is Document Parsing from Solved? PureDocBench: A Source-TraceableBenchmark across Clean, Degraded, and Real-World Settings [56.70440596502351]
昨年は20以上のオープンドキュメントパースモデルが見られたが、ベンチマークはほぼOmniDocBenchにのみ依存している。
HTML/CSSのドキュメントイメージをレンダリングするベンチマークであるPureDocBenchは、10のドメイン、66ページ、1,475ページをカバーしています。
論文 参考訳（メタデータ） (2026-05-08T09:30:31Z) - CLOVER: A Test Case Generation Benchmark with Coverage, Long-Context, and Verification [71.34070740261072]
本稿では,テストケースの生成と完成におけるモデルの能力を評価するためのベンチマークCLOVERを提案する。
ベンチマークはタスク間でのコード実行のためにコンテナ化されています。
論文 参考訳（メタデータ） (2025-02-12T21:42:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。