論文の概要: PromptAudit: Auditing Prompt Sensitivity in LLM-Based Vulnerability Detection

• arxiv url: http://arxiv.org/abs/2605.24171v1
• Date: Fri, 22 May 2026 19:44:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-26 19:50:17.661472
• Title: PromptAudit: Auditing Prompt Sensitivity in LLM-Based Vulnerability Detection
• Title（参考訳）: PromptAudit: LLMによる脆弱性検出におけるプロンプト感度の検討
• Authors: Steffen J. Camarato, Yahya Hmaiti, Mandana Ghadamian, David Mohaisen,
• Abstract要約: 我々は,1000台のCVE上での5つのオープンウェイトモデルにまたがる5つのプロンプト戦略を用いて,精度,リコール,棄権,カバレッジ,有効F1を評価する。 標準的なチェーン・オブ・シグネリングが、最も高い全体的な運用パフォーマンスを達成することが分かっています。 アダプティブ・チェーン・オブ・シントはリコールを頻繁に抑制し、自己整合性は過剰な棄権を引き起こす。
• 参考スコア（独自算出の注目度）: 11.513151833477837
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large language models are increasingly used for vulnerability detection, yet their reliability under different prompt formulations remains uncharacterized. We present PromptAudit, a controlled evaluation framework that isolates prompt effects by fixing the dataset, decoding, and parsing while varying only the prompting strategy. Using five prompting strategies across five open-weight models on 1,000 CVEs (6,074 code samples spanning 16 programming languages), we evaluate accuracy, recall, abstention, coverage, and effective F1. We find that standard chain-of-thought prompting achieves the strongest overall operational performance, while few-shot prompting provides model-dependent benefits that are most pronounced for prompt-sensitive models. In contrast, adaptive chain-of-thought frequently suppresses recall and self-consistency induces excessive abstention, sharply reducing effective performance. These results show that vulnerability detection behavior is jointly determined by the model and the prompt, and that prompt sensitivity is a first-class system property that must be explicitly characterized in evaluation and deployment.
• Abstract（参考訳）: 大規模言語モデルは、脆弱性検出にますます使われているが、異なるプロンプトの定式化の下での信頼性は、まだ実現されていない。 PromptAuditは、データセットの修正、復号化、解析によってプロンプト効果を分離し、プロンプト戦略のみを変化させる制御された評価フレームワークである。 1000のCVE(16のプログラミング言語にまたがるコードサンプル6,074)上の5つのオープンウェイトモデルの5つのプロンプト戦略を用いて、精度、リコール、回避、カバレッジ、有効F1を評価する。 標準チェーン・オブ・シークレット・プロンプトは、最も高い全体的な運用性能を達成する一方、少数ショット・プロンプトは、アクセプティブ・センシティブ・モデルに対して最も顕著なモデル依存的な利点を提供する。 対照的に、アダプティブ・チェーン・オブ・シントはリコールを頻繁に抑制し、自己整合性は過剰な禁忌を誘発し、効果的なパフォーマンスを著しく低下させる。 これらの結果から,脆弱性検出動作はモデルとプロンプトによって共同で決定され,インシデント感度は評価と展開において明確に特徴付けなければならない第一級システム特性であることが示唆された。

関連論文リスト

• TAME: Test-Time Adversarial Prompt Tuning via Mixture-of-Experts for Vision-Language Models [76.92890872338235]
  大規模事前学習型ビジョンランゲージモデル(VLM)は、強いゼロショット一般化を示すが、知覚不能な逆方向の摂動に対して非常に脆弱である。 ダウンストリームタスク固有のリトレーニングを必要とせずに堅牢性を高めるため,新しいテストタイムディフェンスであるTAMEを提案する。
  論文  参考訳（メタデータ） (2026-05-17T18:07:08Z)
• MulVul: Retrieval-augmented Multi-Agent Code Vulnerability Detection via Cross-Model Prompt Evolution [28.062506040151153]
  大きな言語モデル(LLM)は、2つの重要な制限のため、現実世界の脆弱性検出を自動化するのに苦労している。 脆弱性パターンの不均一性は単一の統一モデルの有効性を損なう。 textbfMulVulは,高精度かつ広範囲な脆弱性検出のための検索拡張型マルチエージェントフレームワークである。
  論文  参考訳（メタデータ） (2026-01-26T12:43:10Z)
• Probe-Rewrite-Evaluate: A Workflow for Reliable Benchmarks and Quantifying Evaluation Awareness [6.071703608560761]
  大規模言語モデル(LLM)は、現実のデプロイメントコンテキストから制御された評価設定への変更を認識すると、大きな振る舞いの変化を示すことが多い。 この不一致は、ベンチマークパフォーマンスがモデルの真の安全性と誠実さを正確に反映していない可能性があるため、AIアライメントにとって重要な課題となる。 線形プローブを用いて連続的な尺度のプロンプトを"test-like"から"deploy-like"にスコアする手法を提案する。
  論文  参考訳（メタデータ） (2025-08-30T19:03:14Z)
• Explicit Vulnerability Generation with LLMs: An Investigation Beyond Adversarial Attacks [0.5218155982819203]
  大規模言語モデル(LLM)は、コードアシスタントとしてますます使われている。 本研究は、より直接的な脅威について検討する。オープンソースのLLMは、トリガー時に脆弱性のあるコードを生成する。
  論文  参考訳（メタデータ） (2025-07-14T08:36:26Z)
• It Only Gets Worse: Revisiting DL-Based Vulnerability Detectors from a Practical Perspective [14.271145160443462]
  VulTegraは、脆弱性検出のためのスクラッチトレーニングされたDLモデルと事前トレーニングされたDLモデルを比較する。 最先端のSOTA(State-of-the-art)検出器は、依然として低い一貫性、限られた現実世界能力、スケーラビリティの課題に悩まされている。
  論文  参考訳（メタデータ） (2025-07-13T08:02:56Z)
• Auto-Prompt Generation is Not Robust: Prompt Optimization Driven by Pseudo Gradient [50.15090865963094]
  PertBenchは、幅広い入力摂動を含む包括的なベンチマークデータセットである。 我々の分析は、既存の即時生成戦略における重大な脆弱性を明らかにしている。 PGOは、摂動型を擬似次数次信号として活用する、勾配のないプロンプト生成フレームワークである。
  論文  参考訳（メタデータ） (2024-12-24T06:05:08Z)
• TAPT: Test-Time Adversarial Prompt Tuning for Robust Inference in Vision-Language Models [53.91006249339802]
  視覚的対人攻撃に対するCLIPの推論ロバスト性を高めるため, TAPT(Test-Time Adversarial Prompt Tuning)と呼ばれる新しい防御手法を提案する。 TAPTは、CLIPの推論プロセスを堅牢化するために、防御的バイモーダル(テキストと視覚)のプロンプトを学習するテストタイムディフェンス手法である。 我々は、ImageNetなど10のゼロショットデータセットを含む11のベンチマークデータセットに対するTAPTの有効性を評価する。
  論文  参考訳（メタデータ） (2024-11-20T08:58:59Z)
• On the Worst Prompt Performance of Large Language Models [93.13542053835542]
  大規模言語モデル(LLM)の性能は,プロンプトの表現に非常に敏感である。 セマンティックに等価なケースレベルのクエリで構成される新しいベンチマークであるRobustAlpacaEvalを紹介する。 RobustAlpacaEvalとChatGPT、およびLlama、Mistral、Gemmaファミリーの6つのオープンソースLLMによる実験により、モデル性能のかなりのばらつきが明らかになった。
  論文  参考訳（メタデータ） (2024-06-08T13:40:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。