論文の概要: Answer Is Cheap, Show Me the Evidence! Augmenting Automated Vulnerability Assessment with Evidence
- arxiv url: http://arxiv.org/abs/2608.25905v1
- Date: Wed, 26 Aug 2026 15:23:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-27 14:15:15.88005
- Title: Answer Is Cheap, Show Me the Evidence! Augmenting Automated Vulnerability Assessment with Evidence
- Title(参考訳): 答えは、エビデンスを示してくれる!エビデンスによる自動脆弱性評価を強化
- Abstract要約: ソフトウェア脆弱性レポートを評価するために,大規模言語モデルを用いたEAVAを提案する。
EAVAは、リッチテキストコンテンツとプロジェクト情報を処理するために、特殊なLLMエージェントを使用している。
EAVAは複数の指標で5.3から35.2%で最強のベースラインを上回っている。
- 参考スコア(独自算出の注目度): 10.654006827286912
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Software vulnerability (SV) assessment helps prioritize remediation by characterizing reported vulnerabilities. Existing automated methods predict assessment results from SV reports (SVRs), but often overlook information in rich text, such as screenshots and code snippets, as well as contextual information about vulnerable projects. They also focus on prediction accuracy without providing explanations or supporting evidence, limiting their practical use when analysts must validate imperfect predictions. We propose EAVA, a framework that uses large language models (LLMs) to assess SVs and provide supporting evidence. EAVA employs specialized LLM agents to process rich-text content and project information, and builds a dedicated assessment model through a two-stage training pipeline. It first uses supervised instruction tuning on automatically annotated reasoning trajectories to inject domain knowledge, and then applies reinforcement learning to improve intrinsic reasoning. EAVA also retrieves similar historical vulnerabilities as supplementary evidence. Experiments on a newly collected SVR dataset show that EAVA outperforms the strongest baseline by 5.3 to 35.2 percent across multiple metrics. Ablation studies confirm the effectiveness of assessment-specific model training and information enrichment. A user study with security experts further demonstrates that the evidence provided by EAVA is useful and practical for real-world SV assessment.
- Abstract(参考訳): ソフトウェア脆弱性(SV)評価は、報告された脆弱性を特徴付けることで、修正の優先順位付けを支援する。
既存の自動手法はSVレポート(SVR)による評価結果を予測するが、スクリーンショットやコードスニペットといったリッチテキストの情報や、脆弱なプロジェクトに関するコンテキスト情報を見落としてしまうことが多い。
また、説明や証拠を提示せずに予測精度に焦点を合わせ、アナリストが不完全な予測を検証しなければならない場合に実用的使用を制限する。
大規模な言語モデル(LLM)を用いて,SVを評価し,支持するエビデンスを提供するフレームワークEAVAを提案する。
EAVAは、リッチテキストコンテンツとプロジェクト情報を処理するために特殊なLLMエージェントを使用し、2段階のトレーニングパイプラインを通じて専用のアセスメントモデルを構築している。
まず、ドメイン知識を注入するために、自動的に注釈付き推論軌道に教師あり指導チューニングを使用し、その後、本質的推論を改善するために強化学習を適用した。
EAVAはまた、同様の歴史的脆弱性を補足的証拠として回収する。
新たに収集されたSVRデータセットの実験によると、EAVAは複数のメトリクスで5.3から35.2%の最大のベースラインを上回っている。
アブレーション研究は、評価特化モデルトレーニングと情報豊か化の有効性を実証する。
セキュリティ専門家によるユーザスタディでは、EAVAが提供するエビデンスが現実のSVアセスメントに有用で実用的であることが示されている。
関連論文リスト
- When Self-Belief Misleads: Active Label Acquisition for Reinforcement Learning with Verifiable Rewards [49.25249414962884]
能動検証リワードを用いた強化学習(RLAVR)を提案する。
RLAVRは、少数のサンプルの接地木ラベルを積極的に取得し、擬似ラベルと統合する。
これに基づいて、RLAVR(CARE)の補正認識信頼性推定を導入する。
論文 参考訳(メタデータ) (2026-05-25T13:55:12Z) - ReVul-CoT: Towards Effective Software Vulnerability Assessment with Retrieval-Augmented Generation and Chain-of-Thought Prompting [9.735224996021591]
本稿では,検索・拡張生成(RAG)とChain-of-Thought(COT)のプロンプトを統合した新しいフレームワークを提案する。
ReVul-CoTでは、RAGモジュールは構築されたローカル知識ベースからコンテキスト関連情報を動的に取得する。
DeepSeek-V3.1 上に構築されている CoT は LLM に対して,利用性や影響範囲,関連する要因に関するステップバイステップの推論を行うように促している。
論文 参考訳(メタデータ) (2025-11-21T08:01:49Z) - Look As You Think: Unifying Reasoning and Visual Evidence Attribution for Verifiable Document RAG via Reinforcement Learning [55.232400251303794]
Look As You Think (LAT)は、モデルをトレーニングし、一貫した帰属性を持った検証可能な推論パスを生成するための強化学習フレームワークである。
LATはシングルイメージとマルチイメージの両方でバニラモデルを一貫して改善し、平均ゲインは8.23%、IoU@0.5では47.0%となる。
論文 参考訳(メタデータ) (2025-11-15T02:50:23Z) - Towards Real-Time Fake News Detection under Evidence Scarcity [66.58597356379907]
本稿では,リアルタイムフェイクニュース検出のための新しいフレームワークである評価アウェア・セレクション・オブ・エキスパートズ(EASE)を提案する。
EASEは、利用可能な証拠の十分性を評価した意思決定プロセスに適合する。
本稿では,新興ニュースのモデル一般化を限られた証拠で評価するための新しいベンチマークであるRealTimeNews-25を紹介する。
論文 参考訳(メタデータ) (2025-10-13T11:11:46Z) - Weaponizing Language Models for Cybersecurity Offensive Operations: Automating Vulnerability Assessment Report Validation; A Review Paper [0.0]
大規模言語モデル(LLM)は、防衛および攻撃的なサイバーセキュリティ関連戦略のための非常に有望なツールとして登場した。
本稿では,脆弱性評価(VA)レポートの検証プロセスの自動化と改善におけるLCMの能力について検討する。
論文 参考訳(メタデータ) (2025-05-07T09:14:55Z) - R2Vul: Learning to Reason about Software Vulnerabilities with Reinforcement Learning and Structured Reasoning Distillation [11.15622721122057]
大規模言語モデル(LLM)は、ソフトウェア脆弱性の検出において有望なパフォーマンスを示しているが、その推論能力は信頼性が保たれている。
本稿では,AIフィードバック(RLAIF)と構造化推論蒸留を組み合わせたR2Vulを提案する。
我々はR2Vulを5つのプログラミング言語と4つの静的解析ツールで評価した。
論文 参考訳(メタデータ) (2025-04-07T03:04:16Z) - EvalSVA: Multi-Agent Evaluators for Next-Gen Software Vulnerability Assessment [17.74561647070259]
ソフトウェア脆弱性(SV)評価のさまざまな側面を自律的に検討し,評価するために,マルチエージェント評価チームであるEvalSVAを紹介した。
EvalSVAは人間のようなプロセスを提供し、SVアセスメントの理由と答えの両方を生成する。
論文 参考訳(メタデータ) (2024-12-11T08:00:50Z) - A Case Study of LLM for Automated Vulnerability Repair: Assessing Impact of Reasoning and Patch Validation Feedback [7.742213291781287]
提案するVRpilotは,推論とパッチ検証フィードバックに基づく脆弱性修復手法である。
以上の結果から,VRpilotはCとJavaのベースライン技術よりも平均14%と7.6%の正確なパッチを生成することがわかった。
論文 参考訳(メタデータ) (2024-05-24T16:29:48Z) - Detecting Multimodal Situations with Insufficient Context and Abstaining from Baseless Predictions [75.45274978665684]
VLU(Vision-Language Understanding)ベンチマークには、提供されたコンテキストによってサポートされない仮定に答えが依存するサンプルが含まれている。
サンプル毎にコンテキストデータを収集し,エビデンスに基づくモデル予測を促進するためにコンテキスト選択モジュールをトレーニングする。
我々は,十分なコンテキストを欠いたサンプルを同定し,モデル精度を向上させる汎用なコンテキスト・アワレ認識検出器を開発した。
論文 参考訳(メタデータ) (2024-05-18T02:21:32Z) - Context-faithful Prompting for Large Language Models [51.194410884263135]
大言語モデル(LLM)は世界事実に関するパラメトリック知識を符号化する。
パラメトリック知識への依存は、文脈的手がかりを見落とし、文脈に敏感なNLPタスクにおいて誤った予測をもたらす可能性がある。
我々は, LLMの文脈的忠実度を, 知識の衝突と, 棄権による予測の2つの側面で評価し, 向上する。
論文 参考訳(メタデータ) (2023-03-20T17:54:58Z) - Improving the Adversarial Robustness of NLP Models by Information
Bottleneck [112.44039792098579]
非破壊機能は敵によって容易に操作でき、NLPモデルを騙すことができる。
本研究では,情報ボトルネック理論を用いて,タスク固有のロバストな特徴を捕捉し,非ロバストな特徴を除去する可能性を検討する。
情報ボトルネックに基づく手法を用いてトレーニングしたモデルでは,ロバストな精度で大幅な改善が達成できることを示す。
論文 参考訳(メタデータ) (2022-06-11T12:12:20Z) - Design Guidelines for Inclusive Speaker Verification Evaluation Datasets [0.6015898117103067]
話者検証(SV)は、アクセス制御を備えた数十億の音声対応デバイスを提供し、音声駆動技術のセキュリティを保証する。
現在のSV評価プラクティスは偏見を評価するには不十分であり、実際の使用シナリオを代表してではなく、過度に単純化され、ユーザを集約している。
本稿では,これらの欠点に対処するSV評価データセットを構築するための設計ガイドラインを提案する。
論文 参考訳(メタデータ) (2022-04-05T15:28:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。