論文の概要: CS-Guard: Benchmarking LLM Guardrails for Code Generation Security
- arxiv url: http://arxiv.org/abs/2609.09798v1
- Date: Wed, 09 Sep 2026 06:50:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.92391
- Title: CS-Guard: Benchmarking LLM Guardrails for Code Generation Security
- Title（参考訳）: CS-Guard:コード生成セキュリティのためのLLMガードレールのベンチマーク
- Abstract要約: CS-Guardは、コード生成セキュリティのためのガードレールを体系的に評価する最初のベンチマークである。
現行のガードレールは、悪意のあるコード生成のリクエストに対して不十分に動作します。
- 参考スコア（独自算出の注目度）: 11.36548256136721
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Large language models (LLMs) have been ex- ploited to generate malware, but the effective- ness of guardrails for code generation secu- rity remains unclear. We introduce CS-Guard, the first benchmark to systematically evalu- ate guardrails for code generation security. It covers 1) text-to-code generation with 1000 high-quality malware-generation prompts, 7 jailbreak attacks, and a novel fictional scenario attack (FSA) that embeds malicious intent in a legitimate fictional software-development sce- nario; and 2) code-to-code generation with 331 code prompts spanning code infilling, code completion, and code translation. We empiri- cally evaluate 9 guardrails across seven LLMs. We find that current guardrails perform poorly against malicious code-generation re- quests: for text-to-code, the average attack success rate (ASR) after jailbreaks reaches about 50% for many guardrails; for code-to- code, average ASR approaches 100% on base LLMs and remains high across many guardrails (14.4% to nearly 100%). Our FSA also achieves ASR close to 100% across many guardrails, raising major reliability concerns for real-world software development. To sup- port future research, CS-Guard uses a modular three-layer guardrail taxonomy that lets devel- opers register guardrails for evaluation. We release the benchmark and data to enable fur- ther community evaluation.
- Abstract（参考訳）: 大規模言語モデル (LLM) はマルウェアを生成するために元プロファイトされてきたが、コード生成シークリティに対するガードレールの有効性は未だ不明である。
我々はCS-Guardを紹介した。CS-Guardは、コード生成のセキュリティのためのガードレールを体系的に評価する最初のベンチマークである。
カバー。
1 高品質のマルウェア生成プロンプト1000件、脱獄攻撃7件、虚偽の意図を正統な虚偽のソフトウェア開発に埋め込んだ小説シナリオアタック(FSA)
331のコードによるコード・ツー・コード生成は、コード入力、コード補完、コード翻訳を対象とするプロンプトである。
我々は7つのLDMにまたがる9つのガードレールを評価した。
テキスト・トゥ・コードでは、ジェイルブレイク後の平均攻撃成功率(ASR)は、多くのガードレールに対して約50%に達し、コード・トゥ・コードでは、平均的なASRがベースLLMに100%近づき、多くのガードレール(14.4%から100%近く)にわたって高いままである。
私たちのFSAは、多くのガードレールでASRを100%近く達成しています。
CS-Guardは将来の研究に際し、モジュラー式3層ガードレール分類を使用して、ディベルオペレーターがガードレールを登録して評価する。
fur-therコミュニティの評価を可能にするためのベンチマークとデータをリリースする。
関連論文リスト
- Secure Code Generation via Online Reinforcement Learning with Vulnerability Reward Model [60.60587869092729]
大規模言語モデル(LLM)は、ソフトウェア開発でますます使われているが、安全でないコードを生成する傾向は、現実世界のデプロイメントにとって大きな障壁である。
機能保存型セキュアコード生成のためのオンライン強化学習フレームワークSecCoderXを提案する。
論文 参考訳（メタデータ） (2026-02-07T07:42:07Z) - RealSec-bench: A Benchmark for Evaluating Secure Code Generation in Real-World Repositories [58.32028251925354]
LLM(Large Language Models)は、コード生成において顕著な能力を示しているが、セキュアなコードを生成する能力は依然として重要で、未調査の領域である。
我々はRealSec-benchを紹介します。RealSec-benchは、現実世界の高リスクなJavaリポジトリから慎重に構築されたセキュアなコード生成のための新しいベンチマークです。
論文 参考訳（メタデータ） (2026-01-30T08:29:01Z) - CodeGuard: Improving LLM Guardrails in CS Education [13.853293251946843]
CodeGuardは、教育AIシステムのための包括的なガードレールフレームワークである。
PromptShieldは、安全でないプロンプトをリアルタイムで検出するために微調整された軽量の文エンコーダモデルである。
CodeGuardは、正当な教育タスクのパフォーマンスを低下させることなく、潜在的に有害またはポリシー違反のコード補完を30～65%削減する。
論文 参考訳（メタデータ） (2026-01-22T22:03:06Z) - The Trojan Knowledge: Bypassing Commercial LLM Guardrails via Harmless Prompt Weaving and Adaptive Tree Search [58.8834056209347]
大規模言語モデル(LLM)は、有害な出力を誘導するために安全ガードレールをバイパスするジェイルブレイク攻撃に弱いままである。
CKA-Agent(Correlated Knowledge Attack Agent)は、ターゲットモデルの知識基盤の適応的木構造探索としてジェイルブレイクを再構成する動的フレームワークである。
論文 参考訳（メタデータ） (2025-12-01T07:05:23Z) - Bag of Tricks for Subverting Reasoning-based Safety Guardrails [62.139297207938036]
推論に基づくガードレールを覆い隠すジェイルブレイク手法の袋を提示する。
攻撃対象は白、グレー、ブラックボックスの設定で、無駄なテンプレート操作から完全に自動化された最適化までさまざまです。
論文 参考訳（メタデータ） (2025-10-13T16:16:44Z) - DecipherGuard: Understanding and Deciphering Jailbreak Prompts for a Safer Deployment of Intelligent Software Systems [11.606665113249298]
DecipherGuardは、難読化ベースのプロンプトに対抗するための解読レイヤと、脱獄攻撃に対するガードレールの有効性を高めるための低ランク適応メカニズムを統合する新しいフレームワークである。
22,000以上のプロンプトに対する実証的な評価は、DecipherGuardがDSRを36%から65%改善し、全体的なガードレール性能(OGP)がLlamaGuardや他の2つのランタイムガードレールと比較して20%から50%向上したことを示している。
論文 参考訳（メタデータ） (2025-09-21T01:46:35Z) - No Free Lunch with Guardrails [0.0]
我々は,現行のガードレールが実用性を維持しつつ誤用を効果的に防ぐかどうかを評価する。
調査の結果,ガードレール付き無料ランチは存在せず,セキュリティ強化がしばしばユーザビリティの犠牲となることが確認された。
ユーザビリティを維持しつつリスクを最小限に抑える優れたガードレールを設計するための青写真を提案する。
論文 参考訳（メタデータ） (2025-04-01T05:46:54Z) - From Solitary Directives to Interactive Encouragement! LLM Secure Code Generation by Natural Language Prompting [24.27542373791212]
SecCodeは、テキストのみのNLプロンプトでセキュアなコード生成のために、革新的なインタラクティブな励ましプロンプト(EP)技術を活用するフレームワークである。
1) NL Prompts を用いたコード生成,2) コード脆弱性の検出と修正,提案したプロモーションプロンプトの利用,3) 脆弱性のクロスチェッキングとコードセキュリティリファインメント。
論文 参考訳（メタデータ） (2024-10-18T09:32:08Z) - HexaCoder: Secure Code Generation via Oracle-Guided Synthetic Training Data [60.75578581719921]
大規模言語モデル(LLM)は、自動コード生成に大きな可能性を示している。
最近の研究は、多くのLLM生成コードが深刻なセキュリティ脆弱性を含んでいることを強調している。
我々は,LLMがセキュアなコードを生成する能力を高めるための新しいアプローチであるHexaCoderを紹介する。
論文 参考訳（メタデータ） (2024-09-10T12:01:43Z) - ShadowCode: Towards (Automatic) External Prompt Injection Attack against Code LLMs [56.46702494338318]
本稿では,コード指向の大規模言語モデルに対する(自動)外部プロンプトインジェクションという,新たな攻撃パラダイムを紹介する。
コードシミュレーションに基づいて誘導摂動を自動生成する,シンプルで効果的な方法であるShadowCodeを提案する。
3つの人気のあるプログラミング言語にまたがる31の脅威ケースを発生させるため、13の異なる悪意のある目標に対して本手法を評価した。
論文 参考訳（メタデータ） (2024-07-12T10:59:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。