論文の概要: Automated Framework to Evaluate and Harden LLM System Instructions against Encoding Attacks

• arxiv url: http://arxiv.org/abs/2604.01039v1
• Date: Wed, 01 Apr 2026 15:45:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-02 16:44:32.067922
• Title: Automated Framework to Evaluate and Harden LLM System Instructions against Encoding Attacks
• Title（参考訳）: 暗号化攻撃に対するLLMシステム命令の評価とハード化のための自動フレームワーク
• Authors: Anubhab Sahu, Diptisha Samanta, Reza Soosahabi,
• Abstract要約: 大規模言語モデル(LLM)におけるシステム命令は、安全ポリシーを強制し、エージェントの振る舞いを定義し、AIアプリケーションにおけるセンシティブな運用コンテキストを保護するために一般的に使用される。 これらの命令には、API認証、内部ポリシー、特権付きワークフロー定義などの機密情報が含まれる。 単語の微妙な変化やシステム命令の構造さえも、モデルの再訓練を必要とせずに、攻撃成功率を著しく低減できることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: System Instructions in Large Language Models (LLMs) are commonly used to enforce safety policies, define agent behavior, and protect sensitive operational context in agentic AI applications. These instructions may contain sensitive information such as API credentials, internal policies, and privileged workflow definitions, making system instruction leakage a critical security risk highlighted in the OWASP Top 10 for LLM Applications. Without incurring the overhead costs of reasoning models, many LLM applications rely on refusal-based instructions that block direct requests for system instructions, implicitly assuming that prohibited information can only be extracted through explicit queries. We introduce an automated evaluation framework that tests whether system instructions remain confidential when extraction requests are re-framed as encoding or structured output tasks. Across four common models and 46 verified system instructions, we observe high attack success rates (> 0.7) for structured serialization where models refuse direct extraction requests but disclose protected content in the requested serialization formats. We further demonstrate a mitigation strategy based on one-shot instruction reshaping using a Chain-of-Thought reasoning model, indicating that even subtle changes in wording and structure of system instructions can significantly reduce attack success rate without requiring model retraining.
• Abstract（参考訳）: 大規模言語モデル(LLM)におけるシステム命令は、安全ポリシーを強制し、エージェントの振る舞いを定義し、エージェントAIアプリケーションにおけるセンシティブな運用コンテキストを保護するために一般的に使用される。 これらの命令には、API認証、内部ポリシー、特権付きワークフロー定義などの機密情報が含まれており、システム命令の漏洩は、LLMアプリケーションのためのOWASP Top 10で強調される重要なセキュリティリスクとなる。 推論モデルのオーバーヘッドコストを発生させることなく、多くのLLMアプリケーションはシステム命令の直接要求をブロックする拒否ベースの命令に依存しており、禁止された情報は明示的なクエリによってのみ抽出できると暗黙的に仮定している。 抽出要求がエンコードや構造化された出力タスクとして再フレーム化される場合、システム命令が機密のままであるかどうかをテストする自動評価フレームワークを導入する。 4つの共通モデルと46の認証されたシステム命令の合計で、モデルが直接抽出要求を拒否するが、要求されたシリアライゼーションフォーマットで保護されたコンテンツを開示する構造化シリアライゼーションにおいて、高い攻撃成功率(> 0.7)を観測する。 さらに、Chain-of-Thought推論モデルを用いたワンショット命令再構成に基づく緩和戦略を実証し、単語の微妙な変化やシステム命令の構造でさえ、モデルの再訓練を必要とせずに攻撃成功率を大幅に低下させることができることを示す。

関連論文リスト

• Reasoning Up the Instruction Ladder for Controllable Language Models [26.068755167791505]
  大規模言語モデル(LLM)に基づくシステムは、現実世界の意思決定において高い役割を担っている。 LLMの信頼性と制御性には,命令階層(IH)の強化が重要である。 本研究では,命令階層分解を推論タスクとして再設計する。
  論文  参考訳（メタデータ） (2025-10-30T22:13:31Z)
• Robustness via Referencing: Defending against Prompt Injection Attacks by Referencing the Executed Instruction [68.6543680065379]
  大型言語モデル(LLM)はインジェクション攻撃に弱い。 本研究では,LLMの命令追従能力を抑えるのではなく,新たな防御手法を提案する。
  論文  参考訳（メタデータ） (2025-04-29T07:13:53Z)
• Instructional Segment Embedding: Improving LLM Safety with Instruction Hierarchy [53.54777131440989]
  LLM(Large Language Models)は、セキュリティや安全性の脅威を受けやすい言語である。 これらの脆弱性の大きな原因の1つは、命令階層の欠如である。 本稿では,BERTにインスパイアされた命令セグメント埋め込み(ISE)技法を,現代の大規模言語モデルに導入する。
  論文  参考訳（メタデータ） (2024-10-09T12:52:41Z)
• StruQ: Defending Against Prompt Injection with Structured Queries [10.22774624798198]
  大きな言語モデル(LLM)は、高度な言語理解機能を利用することで、テキストベースのタスクを実行できる。 プロンプトインジェクション攻撃は重要な脅威であり、それらはモデルを騙して元のアプリケーションの命令から逸脱させ、代わりにユーザーディレクティブに従う。 この問題に対処するための一般的なアプローチである構造化クエリを導入する。 本システムでは, インジェクション攻撃に対する抵抗性を著しく改善し, 実用性にはほとんど, あるいは全く影響を与えない。
  論文  参考訳（メタデータ） (2024-02-09T12:15:51Z)
• Evaluating the Instruction-Following Robustness of Large Language Models to Prompt Injection [70.28425745910711]
  LLM(Large Language Models)は、命令追従に非常に熟練した言語である。 この能力は、迅速なインジェクション攻撃のリスクをもたらす。 このような攻撃に対する命令追従LDMの堅牢性を評価する。
  論文  参考訳（メタデータ） (2023-08-17T06:21:50Z)
• Not what you've signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection [64.67495502772866]
  大規模言語モデル(LLM)は、様々なアプリケーションに統合されつつある。 本稿では、プロンプトインジェクション攻撃を用いて、攻撃者が元の命令をオーバーライドし、制御を採用する方法を示す。 我々は、コンピュータセキュリティの観点から、影響や脆弱性を体系的に調査する包括的な分類法を導出する。
  論文  参考訳（メタデータ） (2023-02-23T17:14:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。