論文の概要: Beyond Static Guarantees: Measuring the Static-Pass Dynamic-Fail Gap in Security-Sensitive and LLM-Generated Python Code
- arxiv url: http://arxiv.org/abs/2609.10762v1
- Date: Wed, 09 Sep 2026 19:02:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-11 23:53:35.117516
- Title: Beyond Static Guarantees: Measuring the Static-Pass Dynamic-Fail Gap in Security-Sensitive and LLM-Generated Python Code
- Title（参考訳）: 静的保証を超えて - セキュリティ感度とLLM生成Pythonコードにおける静的パス動的フェイルギャップの測定
- Abstract要約: 本稿では、静的スキャニング、Common Weaknession推論、Dockerコンテナでの自律的なエクスプロイト検証を組み合わせた、静的Pass動的ステージエージェントパイプラインについて紹介する。
SecurityEval、RedCode、CyberNativeのデータセットから1,355のサンプルを評価した。
動的検証は95のファイルで有効性を確認し、部分的に確認し、インクルーシブパイプラインレートは14.53%である。
- 参考スコア（独自算出の注目度）: 2.1410799064827235
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Advances in large language models (LLMs) fuel the quest for scalable methods to assess the security of generated and security-sensitive software. Static analysis is widely adopted as a scalable, reproducible, and inexpensive security gate, but cannot directly observe runtime exploit behaviour. Vulnerabilities dependent on adversarial inputs, execution context, or exploit chaining may evade static checks while remaining exploitable in practice, yet passing static analysis is often treated as evidence of secure behaviour. This paper introduces the Static-Pass Dynamic-Fail (SPDF) phenomenon and a three-stage agentic pipeline combining static scanning, LLM-driven Common Weakness Enumeration (CWE) reasoning, and autonomous exploit verification in isolated Docker containers. We evaluate 1,355 Python samples from SecurityEval, RedCode, and CyberNative datasets. Of the 654 samples producing no findings under the composite Bandit-Semgrep gate, the LLM detection stage identified 394 candidate vulnerabilities across 235 files. Dynamic verification confirmed or partially confirmed exploitability in 95 files, yielding an inclusive pipeline rate of 14.53% (roughly 1 in 7 statically clean samples). This rate represents the proportion of Bandit-Semgrep-clean samples for which the pipeline identified a candidate vulnerability and obtained runtime evidence supporting exploitability. Outcomes varied by dataset: among candidate file--CWE pairs, confirmed exploitability was 33.7% for RedCode, 28.6% for CyberNative, and 5.4% for SecurityEval. Several frequently confirmed classes, including CWE-338 and CWE-916, were flagged by neither Bandit nor Semgrep. These findings indicate that static-analysis success and runtime security are hierarchical layers of software assurance rather than interchangeable measures, and have the potential to reshape how AI-generated and security-sensitive code is evaluated.
- Abstract（参考訳）: 大規模言語モデル(LLM)の進歩は、生成およびセキュリティに敏感なソフトウェアのセキュリティを評価するスケーラブルな方法の探求を後押しする。
静的解析はスケーラブルで再現性があり、安価なセキュリティゲートとして広く採用されているが、実行時のエクスプロイト動作を直接観察することはできない。
逆入力、実行コンテキスト、またはエクスプロイトチェーンに依存する脆弱性は、実際に悪用可能なまま静的チェックを回避できるが、静的解析をパスすることは、セキュアな振る舞いの証拠として扱われることが多い。
本稿では,静的スキャニング,LCM駆動のCommon Weakness Enumeration(CWE)推論,分離されたDockerコンテナでの自律的なエクスプロイト検証を組み合わせた,静的パス動的フェイル(SPDF)現象と3段階のエージェントパイプラインを紹介する。
SecurityEval、RedCode、CyberNativeのデータセットから1,355のPythonサンプルを評価した。
複合Bandit-Semgrepゲートでは654のサンプルが検出され,235ファイルにわたる394の脆弱性が確認された。
動的検証は95のファイルで有効性を確認し、部分的に確認し、包括的なパイプラインレートは14.53%(ほぼ7つの静的クリーンなサンプルのうち1つ)である。
この値は、パイプラインが潜在的な脆弱性を特定し、エクスプロイラビリティを支持する実行時証拠を得たBandit-Semgrep-cleanサンプルの割合を表す。
結果はデータセットによって異なる: 候補のファイル-CWEペアのうち、RedCodeは33.7%、CyberNativeは28.6%、SecurityEvalは5.4%である。
CWE-338やCWE-916など、頻繁に確認されるクラスはBanditもSemgrepもフラグを付けなかった。
これらの結果は、静的分析の成功とランタイムセキュリティが、交換可能な措置ではなく、階層的なソフトウェア保証層であることを示している。
関連論文リスト
- LMSM: LLM Security Framework Inspired by Linux Security Modules [56.93644694627783]
大規模言語モデル(LLM)は階層化されたディフェンスでデプロイされることが多いが、悪意のあるプロンプトはそれらをバイパスすることができる。
我々は,Language Model Security Modules (LMSM) という,Linux Security Modules (LSM) の背後にある分離を LLM サービスに適応させるセキュリティフレームワークを提案する。
論文 参考訳（メタデータ） (2026-08-26T12:13:05Z) - SeClaw: Spec-Driven Security Task Synthesis for Evaluating Autonomous Agents [87.26967184869198]
SeClawは、仕様駆動のセキュリティタスク合成と、自律エージェントの実行ベースのセキュリティ評価を組み合わせたフレームワークである。
ベンチマークは、リソース、ユーザタスク、環境、本質的なエージェントの振る舞いから生じるリスクをカバーしている。
論文 参考訳（メタデータ） (2026-06-01T14:23:42Z) - SecureForge: Finding and Preventing Vulnerabilities in LLM-Generated Code via Prompt Optimization [61.91729298584227]
SecureForgeは、フロンティアモデルのセキュリティリスクを監査し、監査インフォームされたセキュアなシステムプロンプトを生成する自動化パイプラインである。
SecureForgeは、まず静的に検出可能な脆弱性を生成する良性プロンプトを特定し、その後、さまざまなシナリオの大規模な合成プロンプトコーパスに増幅する。
フロンティアモデルでは、SecureForgeは、ユニットテストの成功と出力セキュリティの両方において統計的に有意な改善をもたらし、出力脆弱性は最大48%削減された。
論文 参考訳（メタデータ） (2026-05-08T18:40:47Z) - QASecClaw: A Multi-Agent LLM Approach for False Positive Reduction in Static Application Security Testing [0.0]
静的アプリケーションセキュリティテストと,大規模言語モデルに基づくコンテキストコードレビューのコーディングを組み合わせたマルチエージェントアプローチであるQASecClawを提案する。
SASTエンジンが最初に脆弱性を報告し、Large Language ModelベースのSAST Filter Agentがソースコードコンテキストで各発見をレビューし、それが真正か偽正かを決定する。
論文 参考訳（メタデータ） (2026-05-03T14:05:52Z) - SecPI: Secure Code Generation with Reasoning Models via Security Reasoning Internalization [50.71047638695205]
RLM(Reasoning Language Model)は、プログラミングにおいてますます使われている言語モデルである。
しかし、最先端のRLMでさえ、生成されたコードに重大なセキュリティ脆弱性を頻繁に導入する。
我々は、構造化されたセキュリティ推論を内部化するためのRTMを教える微調整パイプラインであるSecPIを提案する。
論文 参考訳（メタデータ） (2026-04-04T04:29:11Z) - Why LLMs Fail: A Failure Analysis and Partial Success Measurement for Automated Security Patch Generation [0.0]
この研究では、Vul4Jベンチマークから64のJava脆弱性にまたがる319のLarge Language Models (LLM)生成セキュリティパッチを分析した。
三軸評価を用いて分析したところ、パッチの24.8%だけが完全な正当性を達成し、51.4%はセキュリティと機能の両方に失敗していることがわかった。
提案されたSecurity repair Score (SRS)はこのギャップを定量化し、LLMが機能を保存する(平均0.832)が、セキュリティに苦しむ(平均0.251)。
論文 参考訳（メタデータ） (2026-03-10T05:34:56Z) - Persistent Human Feedback, LLMs, and Static Analyzers for Secure Code Generation and Vulnerability Detection [2.5782420501870296]
既存の文献は、セキュアなコード生成と脆弱性検出のためにLLMを評価する静的解析ツールに大きく依存している。
サンプルの61%が真に安全だったのに対して、SemQLの65%とCodeQLのレポートの61%は、真実と正しく一致していた。
この知見に基づいて,人間のフィードバックを動的検索拡張生成パイプラインに永続的に保存する概念的枠組みを提案する。
論文 参考訳（メタデータ） (2026-02-05T16:46:33Z) - RealSec-bench: A Benchmark for Evaluating Secure Code Generation in Real-World Repositories [58.32028251925354]
LLM(Large Language Models)は、コード生成において顕著な能力を示しているが、セキュアなコードを生成する能力は依然として重要で、未調査の領域である。
我々はRealSec-benchを紹介します。RealSec-benchは、現実世界の高リスクなJavaリポジトリから慎重に構築されたセキュアなコード生成のための新しいベンチマークです。
論文 参考訳（メタデータ） (2026-01-30T08:29:01Z) - Multi-Agent Taint Specification Extraction for Vulnerability Detection [49.27772068704498]
コンテナ分析を使用した静的アプリケーションセキュリティテスト(SAST)ツールは、高品質な脆弱性検出結果を提供するものとして広く見なされている。
本稿では,Large Language Models (LLM) のセマンティック理解と従来の静的プログラム解析を戦略的に組み合わせたマルチエージェントシステムであるSemTaintを提案する。
私たちは、SemTaintを最先端のSASTツールであるCodeQLと統合し、これまでCodeQLで検出できなかった162の脆弱性の106を検出して、その効果を実証しています。
論文 参考訳（メタデータ） (2026-01-15T21:31:51Z) - Securing LLM-Generated Embedded Firmware through AI Agent-Driven Validation and Patching [0.9582466286528458]
大規模言語モデル(LLM)は組み込みシステムのためのファームウェアの生成を約束するが、しばしばセキュリティ上の欠陥を導入し、リアルタイムのパフォーマンス制約を満たさない。
本稿では,LLMベースのファームウェア生成と自動セキュリティ検証,反復的改善を組み合わせた3段階手法を提案する。
論文 参考訳（メタデータ） (2025-09-12T05:15:35Z) - Can LLM Prompting Serve as a Proxy for Static Analysis in Vulnerability Detection [9.269926508651091]
大規模言語モデル(LLM)は、脆弱性検出などの安全クリティカルなコードタスクに制限があることを示している。
本稿では,脆弱性の自然言語命令を,対照的な連鎖推論と統合する戦略を提案する。
本研究は,静的アナライザの厳格な手作りルールに代えて,セキュリティ対応のプロンプト技術が有効であることを示す。
論文 参考訳（メタデータ） (2024-12-16T18:08:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。