論文の概要: How Secure is Secure Code Generation? Adversarial Prompts Put LLM Defenses to the Test

• arxiv url: http://arxiv.org/abs/2601.07084v1
• Date: Sun, 11 Jan 2026 22:28:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-13 19:08:01.153979
• Title: How Secure is Secure Code Generation? Adversarial Prompts Put LLM Defenses to the Test
• Title（参考訳）: セキュアなコード生成はいかにセキュアか? 敵のプロンプトがLSMの防御をテストに当てはめる
• Authors: Melissa Tessa, Iyiola E. Olatunji, Aicha War, Jacques Klein, Tegawendé F. Bissyandé,
• Abstract要約: 本稿では,最先端のセキュアなコード生成手法に関する,最初の体系的な逆監査について述べる。 静的アナライザはセキュリティを7～21回過大評価し,37～60%が非機能である。 これらの知見に基づいて,ロバストなセキュアなコード生成手法の構築と評価のためのベストプラクティスを提案する。
• 参考スコア（独自算出の注目度）: 9.85596630285833
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent secure code generation methods, using vulnerability-aware fine-tuning, prefix-tuning, and prompt optimization, claim to prevent LLMs from producing insecure code. However, their robustness under adversarial conditions remains untested, and current evaluations decouple security from functionality, potentially inflating reported gains. We present the first systematic adversarial audit of state-of-the-art secure code generation methods (SVEN, SafeCoder, PromSec). We subject them to realistic prompt perturbations such as paraphrasing, cue inversion, and context manipulation that developers might inadvertently introduce or adversaries deliberately exploit. To enable fair comparison, we evaluate all methods under consistent conditions, jointly assessing security and functionality using multiple analyzers and executable tests. Our findings reveal critical robustness gaps: static analyzers overestimate security by 7 to 21 times, with 37 to 60% of ``secure'' outputs being non-functional. Under adversarial conditions, true secure-and-functional rates collapse to 3 to 17%. Based on these findings, we propose best practices for building and evaluating robust secure code generation methods. Our code is available.
• Abstract（参考訳）: 脆弱性対応の微調整,プレフィックスチューニング,迅速な最適化といった,近年のセキュアなコード生成手法では,LLMがセキュアでないコードを生成するのを防いでいる。 しかしながら、敵の条件下での堅牢性はまだ証明されておらず、現在の評価では、機能からセキュリティを分離し、報告された利益を膨らませる可能性がある。 本稿では,最先端のセキュアコード生成手法 (SVEN, SafeCoder, PromSec) について,最初の体系的逆検証を行う。 開発者が故意に導入したり、敵に悪用したりするような、パラフレージングやキューの逆転、コンテキスト操作といった現実的な急激な摂動を、我々は受け取ります。 公平な比較を可能にするため、複数のアナライザと実行可能なテストを用いて、セキュリティと機能を共同で評価し、一貫した条件下で全ての手法を評価する。 静的アナライザはセキュリティを7～21回過大評価し,出力の37～60%が非機能であることがわかった。 敵対的な条件下では、真の安全と機能の割合は3から17%に低下する。 これらの知見に基づいて,ロバストなセキュアなコード生成手法の構築と評価のためのベストプラクティスを提案する。 私たちのコードは利用可能です。

関連論文リスト

• SoK: Understanding (New) Security Issues Across AI4Code Use Cases [13.582240392749412]
  このSoKは、3つのコアアプリケーションにわたるAI4Codeセキュリティの状況を調査します。 コード生成におけるセキュリティパターンの持続、脆弱性検出はセマンティック保存攻撃の脆弱さ、微調整はセキュリティの目標を誤ったものにすることが多い。 私たちは、脆弱性の軽減と堅牢性が開発ライフサイクル全体に組み込まれている、セキュリティファーストのAI4Codeへのシフトを呼びかけています。
  論文  参考訳（メタデータ） (2025-12-20T18:13:19Z)
• A.S.E: A Repository-Level Benchmark for Evaluating Security in AI-Generated Code [49.009041488527544]
  A.S.Eは、AI生成コードのセキュリティを評価するためのリポジトリレベルの評価ベンチマークである。 現在の大規模言語モデル(LLM)は、セキュアなコーディングに苦戦している。 大きな推論予算は、必ずしもより良いコード生成につながるとは限らない。
  論文  参考訳（メタデータ） (2025-08-25T15:11:11Z)
• ARMOR: Aligning Secure and Safe Large Language Models via Meticulous Reasoning [64.32925552574115]
  ARMORは、jailbreak戦略を分析し、コアインテントを抽出する、大規模な言語モデルである。 ARMORは最先端の安全性能を達成し、平均有害率は0.002であり、高度な最適化ベースのジェイルブレイクに対する攻撃成功率は0.06である。
  論文  参考訳（メタデータ） (2025-07-14T09:05:54Z)
• Training Language Models to Generate Quality Code with Program Analysis Feedback [66.0854002147103]
  大規模言語モデル(LLM)によるコード生成は、ますます本番環境で採用されているが、コード品質の保証には失敗している。 実運用品質のコードを生成するためにLLMにインセンティブを与える強化学習フレームワークであるREALを提案する。
  論文  参考訳（メタデータ） (2025-05-28T17:57:47Z)
• A Comprehensive Study of LLM Secure Code Generation [19.82291066720634]
  これまでの研究は主に、生成されたコードの脆弱性を検出するために、単一の静的アナライザであるCodeQLに依存していた。 セキュリティ検査と機能検証の両方を同一生成コードに適用し、これら2つの側面をまとめて評価する。 我々の研究は、既存の技術が多くの場合、生成したコードの機能を損なうことにより、セキュリティが向上することを示した。
  論文  参考訳（メタデータ） (2025-03-18T20:12:50Z)
• CWEval: Outcome-driven Evaluation on Functionality and Security of LLM Code Generation [20.72188827088484]
  大規模言語モデル(LLM)は、コード記述の生成や支援によって、開発者を大いに助けている。 機能的に正しいコードの脆弱性を検出することは、特にセキュリティ知識が限られている開発者にとっては、より難しい。 我々は、LLMによるセキュアコード生成の評価を強化するために、新しい結果駆動型評価フレームワークであるCWEvalを紹介する。
  論文  参考訳（メタデータ） (2025-01-14T15:27:01Z)
• Certifying LLM Safety against Adversarial Prompting [70.96868018621167]
  大規模言語モデル(LLM)は、入力プロンプトに悪意のあるトークンを追加する敵攻撃に対して脆弱である。 我々は,認証された安全保証とともに,敵のプロンプトを防御する最初の枠組みである消去・チェックを導入する。
  論文  参考訳（メタデータ） (2023-09-06T04:37:20Z)
• Large Language Models for Code: Security Hardening and Adversarial Testing [6.19238492410992]
  大規模な言語モデル(大規模なLM)は、大規模なベクトルで訓練され、コードを生成するのに使われている。 本研究は, (i) セキュアコード生成におけるLMの信頼性向上を目的としたセキュリティ強化, (ii) 敵検定, (ii) 敵検定, 敵検定の2つの重要な軸に沿ったLMのセキュリティについて検討する。
  論文  参考訳（メタデータ） (2023-02-10T15:28:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。