論文の概要: Grammar-Constrained Decoding Can Jailbreak LLMs into Generating Malicious Code

• arxiv url: http://arxiv.org/abs/2606.11817v1
• Date: Wed, 10 Jun 2026 08:50:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-11 16:42:38.37304
• Title: Grammar-Constrained Decoding Can Jailbreak LLMs into Generating Malicious Code
• Title（参考訳）: 文法制約付きデコーディングは、悪意コードを生成するLLMをジェイルブレイクさせる
• Authors: Yitong Zhang, Shiteng Lu, Jia Li,
• Abstract要約: Grammar-Constrained Decoding (GCD) は、LLM生成コードの信頼性を向上させるために広く採用されている。 私たちは、GCDを利用してLSMを誘導して悪意のあるコードを生成する、CodeSpearと呼ばれる新しいジェイルブレイク攻撃を発見しました。 我々は,攻撃者が制御した文法制約の下でも安全な動作を確実に維持する安全アライメント手法であるCodeShieldを提案する。
• 参考スコア（独自算出の注目度）: 6.9750665065938975
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) are increasingly used for code generation, raising concerns that they may be misused to produce malicious code. Meanwhile, Grammar-Constrained Decoding (GCD) has been widely adopted to improve the reliability of LLM-generated code by enforcing syntactic validity. In this paper, we reveal a counterintuitive risk: this reliability-oriented technique can itself become an attack surface. We uncover a new jailbreak attack, termed CodeSpear, that exploits GCD to induce LLMs into generating malicious code. Our experiments show that simply applying a benign code grammar constraint can effectively jailbreak LLMs. To address this vulnerability, we propose CodeShield, a safety alignment approach that robustly preserves safe behavior even under attacker-controlled grammar constraints. CodeShield aligns the model in the code modality by teaching it to generate honeypot code under GCD. Such code is semantically harmless, so it does not implement the malicious request, and structurally diverse, so it is difficult to suppress through grammar tightening. At the same time, CodeShield still preserves natural-language refusals when natural language is available. Experiments on 10 popular LLMs across 4 benchmarks show that CodeSpear outperforms representative jailbreak baselines and increases the attack success rate by more than 30 percentage points on average. CodeShield also restores safety under CodeSpear while preserving benign utility. Our findings reveal a fundamental risk of GCD and call for greater attention to its potential security implications.
• Abstract（参考訳）: 大規模言語モデル(LLM)はコード生成にますます使われており、悪意のあるコードを生成するために誤用される恐れがある。 一方,文法制約復号法(GCD)は,構文的妥当性を強制することにより,LLM生成コードの信頼性を向上させるために広く採用されている。 本稿では,この信頼性指向技術自体が攻撃面となるという,直感的リスクを明らかにする。 私たちは、GCDを利用してLSMを誘導して悪意のあるコードを生成する、CodeSpearと呼ばれる新しいジェイルブレイク攻撃を発見しました。 我々の実験は、良質なコード文法制約を単純に適用すれば、効果的にLLMをジェイルブレイクできることを示している。 この脆弱性に対処するため,攻撃者による文法制約の下でも安全な動作を確実に維持する安全性アライメント手法であるCodeShieldを提案する。 CodeShieldは、モデルをコードモダリティで整列させ、GCDでハニーポットコードを生成する。 このようなコードは意味的に無害であるため、悪意のある要求を実装せず、構造的に多様であるため、文法的締め付けによる抑制は困難である。 同時にCodeShieldは、自然言語が利用可能になった後も、自然言語の拒絶を保っている。 4つのベンチマークで10の人気のあるLDMでの実験によると、CodeSpearは代表的なジェイルブレイクベースラインを上回り、攻撃成功率を平均で30パーセント以上向上している。 CodeShieldはまた、良質なユーティリティを保持しながら、CodeSpearの下で安全性を回復する。 以上の結果から,GCDの根本的なリスクが明らかとなり,その潜在的なセキュリティへの影響に注目が集まることが示唆された。

関連論文リスト

• Smoke and Mirrors: Jailbreaking LLM-based Code Generation via Implicit Malicious Prompts [5.718926328180089]
  本稿では,コード生成における安全性の懸念を明らかにするために,JailbreakingアプローチであるCodeJailbreakerを紹介する。 最近リリースされたRCCBenchベンチマークの実験では、CodeJailbreakerが従来のジェイルブレイク戦略を大きく上回っていることが示されている。
  論文  参考訳（メタデータ） (2025-03-23T06:06:12Z)
• From Solitary Directives to Interactive Encouragement! LLM Secure Code Generation by Natural Language Prompting [24.27542373791212]
  SecCodeは、テキストのみのNLプロンプトでセキュアなコード生成のために、革新的なインタラクティブな励ましプロンプト(EP)技術を活用するフレームワークである。 1) NL Prompts を用いたコード生成,2) コード脆弱性の検出と修正,提案したプロモーションプロンプトの利用,3) 脆弱性のクロスチェッキングとコードセキュリティリファインメント。
  論文  参考訳（メタデータ） (2024-10-18T09:32:08Z)
• ShadowCode: Towards (Automatic) External Prompt Injection Attack against Code LLMs [56.46702494338318]
  本稿では,コード指向の大規模言語モデルに対する(自動)外部プロンプトインジェクションという,新たな攻撃パラダイムを紹介する。 コードシミュレーションに基づいて誘導摂動を自動生成する,シンプルで効果的な方法であるShadowCodeを提案する。 3つの人気のあるプログラミング言語にまたがる31の脅威ケースを発生させるため、13の異なる悪意のある目標に対して本手法を評価した。
  論文  参考訳（メタデータ） (2024-07-12T10:59:32Z)
• Constrained Decoding for Secure Code Generation [9.007821185927277]
  本稿では、コードLLMがセキュアかつ正しいコードを生成する能力を測定するための新しいベンチマークであるCodeGuard+を紹介する。 我々は,現在最先端の防御技術であるプレフィックスチューニングが,セキュアなコードを生成するが機能的正当性を犠牲にしているため,従来考えられていたほど強力ではないことを示す。 セキュアなコードを生成するための制約付き復号法を提案する。
  論文  参考訳（メタデータ） (2024-04-30T21:52:19Z)
• CodeAttack: Revealing Safety Generalization Challenges of Large Language Models via Code Completion [117.178835165855]
  本稿では,自然言語入力をコード入力に変換するフレームワークであるCodeAttackを紹介する。 我々の研究は、コード入力に対するこれらのモデルの新たな、普遍的な安全性の脆弱性を明らかにした。 CodeAttackと自然言語の分布ギャップが大きくなると、安全性の一般化が弱くなる。
  論文  参考訳（メタデータ） (2024-03-12T17:55:38Z)
• DeceptPrompt: Exploiting LLM-driven Code Generation via Adversarial Natural Language Instructions [27.489622263456983]
  DeceptPromptは、コードLLMを駆動し、脆弱性のある機能の正しいコードを生成する、逆の自然言語命令を生成するアルゴリズムである。 最適化プレフィックス/サフィックスを適用する場合、アタック成功率(ASR)はプレフィックス/サフィックスを適用せずに平均50%向上する。
  論文  参考訳（メタデータ） (2023-12-07T22:19:06Z)
• A Wolf in Sheep's Clothing: Generalized Nested Jailbreak Prompts can Fool Large Language Models Easily [51.63085197162279]
  大きな言語モデル(LLM)は有用で安全な応答を提供するように設計されている。 ジェイルブレイク」と呼ばれる 敵のプロンプトは 保護を回避できる 有効なジェイルブレイクプロンプトを生成するためにLLM自体を活用する自動フレームワークであるReNeLLMを提案する。
  論文  参考訳（メタデータ） (2023-11-14T16:02:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。