論文の概要: Retrieve, Reproduce, Reveal: Dissecting Retrieval-Augmented Software Vulnerability Detection

• arxiv url: http://arxiv.org/abs/2609.37669v1
• Date: Tue, 29 Sep 2026 14:24:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.621023
• Title: Retrieve, Reproduce, Reveal: Dissecting Retrieval-Augmented Software Vulnerability Detection
• Title（参考訳）: Retrieve, Reproduce, Reveal: Retrieval-Augmented Software Vulnerability Detection
• Abstract要約: Retrieval-Augmented Generation (RAG)は、Large Language Model (LLM)ベースのソフトウェア脆弱性検出を強化するために、ますます使われている。 既存のRAGベースのソフトウェア脆弱性検出(RAG4SVD)システムは、しばしばプロプライエタリなモデルを用いて評価される。 6つのオープンソースRAG4SVDシステムについて検討し、(i)実験環境をオープンウェイトな設定で再現し、(ii)共通のデータセット、メトリックスイート、およびオープンウェイトモデルのプールを用いた統一ベンチマークにより、これらの課題に対処する。
• 参考スコア（独自算出の注目度）: 2.435098301169798
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Retrieval-Augmented Generation (RAG) is increasingly used to enhance Large Language Model (LLM)-based software vulnerability detection by grounding predictions in retrieved vulnerability knowledge, such as vulnerability reports. However, existing RAG-based software vulnerability detection (RAG4SVD) systems are often evaluated using proprietary models, which challenges open science and reproducibility. Further, studies use different datasets, custom knowledge bases, different backbone models, and diverse metrics, which hinders meaningful cross-system comparison. In this work, we study six open-source RAG4SVD systems and address these reproducibility and comparability challenges through (i) reproduction of their experimental settings under an open-weight setting, and (ii) a unified benchmark using a common dataset, metric suite, and pool of open-weight models. Further, RAG4SVD systems typically consist of multiple components, yet are often evaluated only as a whole system, i.e., end-to-end. Therefore, we perform (iii) a component-level analysis that decomposes representative RAG4SVD pipelines into input abstraction, knowledge retrieval, and detection. Our results demonstrate that reproducibility varies substantially across systems. Under the presented unified benchmark, published RAG4SVD performance does not transfer under a controlled open-weight evaluation and depends strongly on the used model. The component analysis shows that effective RAG4SVD depends on the alignment between pipeline stages. For example, oracle knowledge raises retrieval to near-optimal, yet performance remains low (0.51 pairwise accuracy), demonstrating that retrieval effectiveness alone is insufficient for reliable detection. These findings motivate evaluating RAG4SVD not only end-to-end, but at the level of pipeline components, and provide a basis for more standardized, RAG-aware evaluation practices.
• Abstract（参考訳）: Retrieval-Augmented Generation (RAG) は大規模言語モデル(LLM)ベースのソフトウェア脆弱性検出において、脆弱性レポートなどの検索された脆弱性知識の予測を根拠として使われるようになっている。 しかしながら、RAGベースのソフトウェア脆弱性検出(RAG4SVD)システムは、しばしばプロプライエタリなモデルを用いて評価され、オープンサイエンスと再現性に挑戦する。 さらに、研究は異なるデータセット、カスタムナレッジベース、異なるバックボーンモデル、さまざまなメトリクスを使用しており、意味のあるシステム間比較を妨げる。 本研究では,6つのオープンソースRAG4SVDシステムについて検討し,再現性と互換性の課題に対処する。 一 オープンウェイト環境下での実験環境の再生及び (i)共通のデータセット、メトリックスイート、オープンウェイトモデルのプールを使用した統一ベンチマーク。 さらに、RAG4SVDシステムは通常複数のコンポーネントから構成されるが、しばしばシステム全体、すなわちエンドツーエンドとしてのみ評価される。 そのため、実行する。 三 代表的なRAG4SVDパイプラインを入力抽象化、知識検索、検出に分解するコンポーネントレベルの分析。 その結果,再現性はシステムによって大きく異なることがわかった。 提案した統一ベンチマークでは、RAG4SVDの性能は制御されたオープンウェイト評価の下では伝達されず、使用したモデルに強く依存する。 実効的なRAG4SVDはパイプラインステージ間のアライメントに依存している。 例えば、オラクル知識は検索をほぼ最適に引き上げるが、性能は低い(0.51対の精度)。 これらの知見は、RAG4SVDの評価をエンドツーエンドだけでなくパイプラインコンポーネントのレベルでも動機付け、より標準化されたRAG対応評価プラクティスの基礎を提供する。

関連論文リスト

• Revisiting Vul-RAG: Reproducibility and Replicability of RAG-based Vulnerability Detection with Open-Weight Models [0.2730969268472861]
  本稿では,ソースコード脆弱性検出のフレームワークであるVul-RAGについて述べる。 結果より,Vul-RAGは局所的な展開では再現可能であるが,軽微な偏差は認められなかった。 本稿では,検出効率,モデル能力,モデルスケール間の実践的意味とトレードオフについて論じる。
  論文  参考訳（メタデータ） (2026-06-03T11:20:37Z)
• Source-Free Object Detection with Detection Transformer [59.33653163035064]
  Source-Free Object Detection (SFOD) は、ソースデータにアクセスすることなく、ソースドメインから教師なしのターゲットドメインへの知識転送を可能にする。 ほとんどの既存のSFODアプローチは、より高速なR-CNNのような従来のオブジェクト検出(OD)モデルに限られるか、新しいODアーキテクチャ、特に検出変換器(DETR)に適合しない一般的なソリューションとして設計されている。 本稿では,DTRのクエリ中心の機能強化を特化して設計された新しいSFODフレームワークであるFeature Reweighting ANd Contrastive Learning NetworK(FRANCK)を紹介する。
  論文  参考訳（メタデータ） (2025-10-13T07:35:04Z)
• RARE: Retrieval-Aware Robustness Evaluation for Retrieval-Augmented Generation Systems [33.389969814185214]
  Retrieval-Augmented Generation (RAG)は、回答の正確性と事実性を高める。 既存の評価では、RAGシステムが現実世界のノイズ、内部と外部の取得したコンテキストの衝突、あるいは急速に変化する事実にどれくらいうまく対処しているかを検査することはめったにない。 本稿では,動的で時間に敏感なコーパス上でのストレステストクエリと文書摂動を共同で行う,統一されたフレームワークと大規模ベンチマークであるRetrieval-Aware Robustness Evaluation (RARE)を紹介する。
  論文  参考訳（メタデータ） (2025-06-01T02:42:36Z)
• Divide-Then-Align: Honest Alignment based on the Knowledge Boundary of RAG [51.120170062795566]
  本稿では,問合せが知識境界外にある場合の"I don't know"で応答する機能を備えたRAGシステムを実現するためのDTAを提案する。 DTAは適切な棄権と精度のバランスをとり、検索強化システムの信頼性と信頼性を高める。
  論文  参考訳（メタデータ） (2025-05-27T08:21:21Z)
• Unanswerability Evaluation for Retrieval Augmented Generation [74.3022365715597]
  UAEval4RAGは、RAGシステムが解答不能なクエリを効果的に処理できるかどうかを評価するために設計されたフレームワークである。 我々は、6つの未解決カテゴリを持つ分類を定義し、UAEval4RAGは、多様で挑戦的なクエリを自動的に合成する。
  論文  参考訳（メタデータ） (2024-12-16T19:11:55Z)
• Semantic Tokens in Retrieval Augmented Generation [0.0]
  本稿では,確率的RAGシステムと決定論的に検証可能な応答のギャップを埋めるための評価モジュールを導入した新しい比較RAGシステムを提案する。 このフレームワークは、高い精度と検証可能性を必要とする領域において、より信頼性が高くスケーラブルな質問応答アプリケーションを実現する。
  論文  参考訳（メタデータ） (2024-12-03T16:52:06Z)
• RAGGED: Towards Informed Design of Scalable and Stable RAG Systems [51.171355532527365]
  Retrieval-augmented Generation (RAG)は、外部知識を統合することで言語モデルを強化する。 RAGGEDは、RAGシステムを体系的に評価するためのフレームワークである。
  論文  参考訳（メタデータ） (2024-03-14T02:26:31Z)
• CRUD-RAG: A Comprehensive Chinese Benchmark for Retrieval-Augmented Generation of Large Language Models [49.16989035566899]
  Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)の能力を高める技術である。 本稿では,大規模かつ包括的なベンチマークを構築し,様々なRAGアプリケーションシナリオにおけるRAGシステムのすべてのコンポーネントを評価する。
  論文  参考訳（メタデータ） (2024-01-30T14:25:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。