論文の概要: Learning from Failures: A Failure-Driven Prompt Refinement for LLM-Based Vulnerability Analysis

• arxiv url: http://arxiv.org/abs/2610.08405v1
• Date: Tue, 06 Oct 2026 14:15:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:30.025996
• Title: Learning from Failures: A Failure-Driven Prompt Refinement for LLM-Based Vulnerability Analysis
• Title（参考訳）: 失敗から学ぶ: LLMに基づく脆弱性分析のための障害駆動型プロンプトリファインメント
• Abstract要約: 本稿では, 繰り返し発生するモデル故障を分析し, 証拠に基づく即時改善を導出する手法であるFDPR(Failure-Driven Prompt Refinement)を提案する。 Damn Vulnerable Java Application (DVJA)を使用して、偽陽性、偽陰性、サポートなし推論、CWE誤分類など、繰り返し発生する障害モードを特定します。 次に、Juliet Test Suite上で結果のプロンプトを評価し、一般化性を評価するためにクロスモデル検証を行う。
• 参考スコア（独自算出の注目度）: 11.789230202761546
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large Language Models have emerged as promising tools for software vulnerability analysis, but their effectiveness depends heavily on prompt design. Existing research primarily compares prompting strategies using aggregate performance metrics, providing limited insight into why models fail or how prompts can be improved systematically. We propose Failure-Driven Prompt Refinement (FDPR), a methodology that analyzes recurring model failures to guide evidence-based prompt refinement. Using the Damn Vulnerable Java Application (DVJA), we identify recurring failure modes, including false positives, false negatives, unsupported reasoning, and CWE misclassification, and translate them into targeted prompt refinements. We then evaluate the resulting prompt on the Juliet Test Suite and perform cross-model validation to assess generalizability. The results show that failure-driven refinement improves the reliability of LLM-based vulnerability analysis while yielding reusable prompt design principles. More broadly, this work demonstrates that recurring model failures provide a principled foundation for prompt engineering, enabling the systematic development of more reliable LLM-based vulnerability analysis systems.
• Abstract（参考訳）: 大規模言語モデルは、ソフトウェア脆弱性分析のための有望なツールとして登場したが、その有効性は、迅速な設計に大きく依存している。 既存の研究は主に、集計パフォーマンスメトリクスを使用して戦略を推進し、なぜモデルが失敗するか、どのようにシステマティックにプロンプトを改善できるかについての限られた洞察を提供する。 本稿では, 繰り返し発生するモデル故障を分析し, 証拠に基づく即時改善を導出する手法であるFDPR(Failure-Driven Prompt Refinement)を提案する。 Damn Vulnerable Java Application (DVJA)を使用して、偽陽性、偽陰性、サポートなし推論、CWE誤分類を含む繰り返し発生する障害モードを特定し、それらをターゲットの即時改善に変換する。 次に、Juliet Test Suite上で結果のプロンプトを評価し、一般化性を評価するためにクロスモデル検証を行う。 その結果, 再利用可能な設計原則を導出しながら, LLMに基づく脆弱性解析の信頼性を向上させることができた。 より広範に、この研究は、繰り返し発生するモデル故障が、より信頼性の高いLSMベースの脆弱性分析システムの体系的開発を可能にする、迅速なエンジニアリングのための原則的な基盤を提供することを示した。

関連論文リスト

• AgentFixer: From Failure Detection to Fix Recommendations in LLM Agentic Systems [7.429835301272413]
  フレームワークには15の障害検出ツールと2つの根本原因分析モジュールが含まれている。 軽量なルールベースのチェックとLDM-as-a-judgeアセスメントを統合し、構造化インシデント検出、分類、修復をサポートする。 我々は、このフレームワークをIBM CUGAに適用し、AppWorldとWebArenaベンチマークのパフォーマンスを評価した。
  論文  参考訳（メタデータ） (2026-02-18T14:55:35Z)
• Towards Reliable and Practical LLM Security Evaluations via Bayesian Modelling [1.0266286487433585]
  新しい大規模言語モデル(LLM)アーキテクチャを採用する前に、脆弱性を正確に理解することが重要である。 既存の評価を信頼することは困難であり、しばしばLLMから結論を導き出す。 インジェクション攻撃の迅速化を目的としたLCM脆弱性評価のための,原則的かつ実用的なエンドツーエンドフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-07T09:22:22Z)
• On Evaluating Performance of LLM Inference Serving Systems [11.712948114304925]
  ベースラインフェアネス、評価設定、メトリックデザインの3つの重要な側面で繰り返し発生するアンチパターンを特定します。 これらのアンチパターンは、その二重相の性質のため、Large Language Model (LLM)推論に固有の問題である。 分析から得られた包括的なチェックリストを提供し、これらのアンチパターンを認識して回避するためのフレームワークを構築します。
  論文  参考訳（メタデータ） (2025-07-11T20:58:21Z)
• One Token to Fool LLM-as-a-Judge [52.45386385722788]
  大規模言語モデル(LLM)は、自動化された審査員としてますます信頼され、評価を支援し、他のモデルを訓練するための報酬信号を提供する。 生成的報酬モデルは、ハッキングに対して体系的に影響を受けやすい。
  論文  参考訳（メタデータ） (2025-07-11T17:55:22Z)
• Enhancing LLM Reliability via Explicit Knowledge Boundary Modeling [41.19330514054401]
  大規模言語モデル(LLM)は、不一致の自己認識に起因する幻覚の傾向にある。 本稿では,高速かつ低速な推論システムを統合し,信頼性とユーザビリティを調和させる明示的知識境界モデリングフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-04T03:16:02Z)
• Adversarial Reasoning at Jailbreaking Time [49.70772424278124]
  大規模言語モデル(LLM)は、より有能で広く普及している。 テスト時間計算の標準化, 測定, スケーリングの最近の進歩は, ハードタスクにおける高い性能を達成するためにモデルを最適化するための新しい手法を提案する。 本稿では、これらの進歩をジェイルブレイクモデルに応用し、協調LDMから有害な応答を誘発する。
  論文  参考訳（メタデータ） (2025-02-03T18:59:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。