論文の概要: Encrypted Prompt: Securing LLM Applications Against Unauthorized Actions

• arxiv url: http://arxiv.org/abs/2503.23250v1
• Date: Sat, 29 Mar 2025 23:26:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-01 14:37:07.309707
• Title: Encrypted Prompt: Securing LLM Applications Against Unauthorized Actions
• Title（参考訳）: Encrypted Prompt: LLMアプリケーションの無許可アクションに対する保護
• Authors: Shih-Han Chan,
• Abstract要約: プロンプトインジェクション攻撃のようなセキュリティ脅威は、大規模言語モデルを統合するアプリケーションに重大なリスクをもたらす。 本稿では、各ユーザプロンプトに暗号化プロンプトを付加し、現在のパーミッションを埋め込む新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 2.1756081703276
• License:
• Abstract: Security threats like prompt injection attacks pose significant risks to applications that integrate Large Language Models (LLMs), potentially leading to unauthorized actions such as API misuse. Unlike previous approaches that aim to detect these attacks on a best-effort basis, this paper introduces a novel method that appends an Encrypted Prompt to each user prompt, embedding current permissions. These permissions are verified before executing any actions (such as API calls) generated by the LLM. If the permissions are insufficient, the LLM's actions will not be executed, ensuring safety. This approach guarantees that only actions within the scope of the current permissions from the LLM can proceed. In scenarios where adversarial prompts are introduced to mislead the LLM, this method ensures that any unauthorized actions from LLM wouldn't be executed by verifying permissions in Encrypted Prompt. Thus, threats like prompt injection attacks that trigger LLM to generate harmful actions can be effectively mitigated.
• Abstract（参考訳）: プロンプトインジェクション攻撃のようなセキュリティ脅威は、Large Language Models (LLM)を統合するアプリケーションに重大なリスクをもたらし、API誤用のような不正なアクションにつながる可能性がある。 本稿では,これらの攻撃を最善で検出する従来の手法とは異なり,各ユーザプロンプトに暗号化プロンプトを付加し,現在のパーミッションを埋め込む手法を提案する。 これらのパーミッションは、LCMによって生成されたアクション(API呼び出しなど)を実行する前に検証される。 許可が不十分な場合、LSMの行動は実行されず、安全が保証される。 このアプローチは、LLMからの現在のパーミッションの範囲内でのアクションのみが進行することを保証します。 逆のプロンプトを導入してLLMを誤解させるシナリオでは、この方法では、暗号化プロンプトのパーミッションを検証することで、LLMからの不正なアクションが実行されないことが保証される。 したがって、LSMを誘導して有害な作用を引き起こすプロンプトインジェクション攻撃のような脅威を効果的に軽減することができる。

関連論文リスト

• Commercial LLM Agents Are Already Vulnerable to Simple Yet Dangerous Attacks [88.84977282952602]
  最近のMLセキュリティ文献は、整列型大規模言語モデル(LLM)に対する攻撃に焦点を当てている。 本稿では,LLMエージェントに特有のセキュリティとプライバシの脆弱性を分析する。 我々は、人気のあるオープンソースおよび商用エージェントに対する一連の実証的な攻撃を行い、その脆弱性の即時的な影響を実証した。
  論文  参考訳（メタデータ） (2025-02-12T17:19:36Z)
• Denial-of-Service Poisoning Attacks against Large Language Models [64.77355353440691]
  LLMはDenial-of-Service(DoS)攻撃に対して脆弱で、スペルエラーや非意味的なプロンプトが[EOS]トークンを生成することなく、無限のアウトプットをトリガーする。 本研究では, LLM に対する毒素を用いた DoS 攻撃について提案し, 1 つの毒素を注入することで, 出力長の限界を破ることができることを示した。
  論文  参考訳（メタデータ） (2024-10-14T17:39:31Z)
• Human-Interpretable Adversarial Prompt Attack on Large Language Models with Situational Context [49.13497493053742]
  本研究は,無意味な接尾辞攻撃を状況駆動型文脈書き換えによって意味のあるプロンプトに変換することを検討する。 我々は、独立して意味のある敵の挿入と映画から派生した状況を組み合わせて、LLMを騙せるかどうかを確認します。 当社のアプローチでは,オープンソースとプロプライエタリなLLMの両方で,状況駆動型攻撃を成功させることが実証されている。
  論文  参考訳（メタデータ） (2024-07-19T19:47:26Z)
• MaPPing Your Model: Assessing the Impact of Adversarial Attacks on LLM-based Programming Assistants [14.947665219536708]
  本稿では,攻撃者がプログラムタスクのプロンプトに少量のテキストを付加するMalicious Programming Prompt(MaPP)攻撃を紹介する。 我々の迅速な戦略は、LSMが他の方法で正しいコードを書き続けながら脆弱性を追加する可能性があることを示しています。
  論文  参考訳（メタデータ） (2024-07-12T22:30:35Z)
• Knowledge Return Oriented Prompting (KROP) [0.0]
  KROPは、プロンプトインジェクション攻撃を回避できるプロンプトインジェクション技術である。 本報告では, インジェクション攻撃を防止できるプロンプトインジェクション技術であるKROPを紹介する。
  論文  参考訳（メタデータ） (2024-06-11T23:58:37Z)
• ASETF: A Novel Method for Jailbreak Attack on LLMs through Translate Suffix Embeddings [58.82536530615557]
  本稿では, 連続的な逆接接尾辞埋め込みを一貫性のある, 理解可能なテキストに変換するために, ASETF (Adversarial Suffix Embedding Translation Framework) を提案する。 本手法は,逆接接尾辞の計算時間を著しく短縮し,既存の手法よりもはるかに優れた攻撃成功率を実現する。
  論文  参考訳（メタデータ） (2024-02-25T06:46:27Z)
• Identifying and Mitigating Vulnerabilities in LLM-Integrated Applications [37.316238236750415]
  LLM統合アプリケーションのバックエンドとして,大規模言語モデル(LLM)がますます多くデプロイされている。 本研究では,ユーザとLLMがLLM統合アプリケーションを介して,中間で対話する環境について考察する。 悪意のあるアプリケーション開発者や外部からの脅威から生じる可能性のある潜在的な脆弱性を特定します。 我々は、内部の脅威と外部の脅威の両方を緩和する軽量で脅威に依存しない防御を開発する。
  論文  参考訳（メタデータ） (2023-11-07T20:13:05Z)
• Evaluating the Instruction-Following Robustness of Large Language Models to Prompt Injection [70.28425745910711]
  LLM(Large Language Models)は、命令追従に非常に熟練した言語である。 この能力は、迅速なインジェクション攻撃のリスクをもたらす。 このような攻撃に対する命令追従LDMの堅牢性を評価する。
  論文  参考訳（メタデータ） (2023-08-17T06:21:50Z)
• Not what you've signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection [64.67495502772866]
  大規模言語モデル(LLM)は、様々なアプリケーションに統合されつつある。 本稿では、プロンプトインジェクション攻撃を用いて、攻撃者が元の命令をオーバーライドし、制御を採用する方法を示す。 我々は、コンピュータセキュリティの観点から、影響や脆弱性を体系的に調査する包括的な分類法を導出する。
  論文  参考訳（メタデータ） (2023-02-23T17:14:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。