論文の概要: Doppelganger Method: Breaking Role Consistency in LLM Agent via Prompt-based Transferable Adversarial Attack

• arxiv url: http://arxiv.org/abs/2506.14539v2
• Date: Thu, 26 Jun 2025 05:18:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-27 13:31:57.709624
• Title: Doppelganger Method: Breaking Role Consistency in LLM Agent via Prompt-based Transferable Adversarial Attack
• Title（参考訳）: Doppelganger法: Prompt-based Transferable Adversarial Attack によるLLMエージェントの破壊的役割整合性
• Authors: Daewon Kang, YeongHwan Shin, Doyeon Kim, Kyu-Hwan Jung, Meong Hi Son,
• Abstract要約: 本稿では,ハイジャックされているエージェントのリスクを実証するために,システム命令と内部情報を公開する「Doppelganger method」を提案する。 また,ドッペルガンガー法に対抗するための「CAT(Caution for Adversarial Transfer)」も提案する。
• 参考スコア（独自算出の注目度）: 9.157546000159979
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Since the advent of large language models, prompt engineering now enables the rapid, low-effort creation of diverse autonomous agents that are already in widespread use. Yet this convenience raises urgent concerns about the safety, robustness, and behavioral consistency of the underlying prompts, along with the pressing challenge of preventing those prompts from being exposed to user's attempts. In this paper, we propose the ''Doppelganger method'' to demonstrate the risk of an agent being hijacked, thereby exposing system instructions and internal information. Next, we define the ''Prompt Alignment Collapse under Adversarial Transfer (PACAT)'' level to evaluate the vulnerability to this adversarial transfer attack. We also propose a ''Caution for Adversarial Transfer (CAT)'' prompt to counter the Doppelganger method. The experimental results demonstrate that the Doppelganger method can compromise the agent's consistency and expose its internal information. In contrast, CAT prompts enable effective defense against this adversarial attack.
• Abstract（参考訳）: 大規模な言語モデルが出現して以来、迅速なエンジニアリングにより、既に広く使われている多様な自律エージェントを迅速かつ安価に作成することができるようになった。 しかし、この利便性は、基本的なプロンプトの安全性、堅牢性、行動整合性に対する緊急の懸念を喚起し、それらのプロンプトがユーザの試みに晒されることを防ぐという圧力のかかる課題も引き起こす。 本稿では,ハイジャックされているエージェントのリスクを実証する「Doppelganger method」を提案し,システム命令と内部情報を公開する。 次に、この逆転攻撃に対する脆弱性を評価するために、"PACAT (Prompt Alignment Collapse under Adversarial Transfer)"レベルを定義した。 また,ドッペルガンガー法に対抗するための「CAT(Caution for Adversarial Transfer)」も提案する。 実験の結果,ドッペルガンガー法はエージェントの一貫性を損なうことができ,内部情報を公開できることがわかった。 対照的に、CATは、この敵攻撃に対して効果的な防御を可能にする。

関連論文リスト

• To Protect the LLM Agent Against the Prompt Injection Attack with Polymorphic Prompt [5.8935359767204805]
  本稿では,ポリモルフィック・プロンプト・アセンブラという,新しい軽量防衛機構を提案する。 アプローチは、インジェクションのインジェクションがシステムプロンプトの構造を推測し、壊す必要があるという洞察に基づいている。 PPAは攻撃者がプロンプト構造を予測するのを防ぎ、性能を損なうことなくセキュリティを向上させる。
  論文  参考訳（メタデータ） (2025-06-06T04:50:57Z)
• Manipulating Multimodal Agents via Cross-Modal Prompt Injection [34.35145839873915]
  マルチモーダルエージェントにおいて、これまで見過ごされていた重要なセキュリティ脆弱性を特定します。 攻撃者が複数のモードにまたがって敵の摂動を埋め込む新たな攻撃フレームワークであるCrossInjectを提案する。 提案手法は既存のインジェクション攻撃よりも優れており,攻撃成功率が少なくとも26.4%向上している。
  論文  参考訳（メタデータ） (2025-04-19T16:28:03Z)
• UniGuardian: A Unified Defense for Detecting Prompt Injection, Backdoor Attacks and Adversarial Attacks in Large Language Models [30.139590566956077]
  大規模言語モデル(LLM)は、迅速なインジェクション、バックドアアタック、敵攻撃のような攻撃に対して脆弱である。 我々は,LLMにおける即時注入,バックドア攻撃,敵攻撃を検出するために設計された,最初の統一防御機構であるUniGuardianを提案する。
  論文  参考訳（メタデータ） (2025-02-18T18:59:00Z)
• Human-Readable Adversarial Prompts: An Investigation into LLM Vulnerabilities Using Situational Context [45.821481786228226]
  本研究では,状況文脈を利用した状況駆動型逆転フルプロンプトが効果的であるが,検出がはるかに困難であることを示す。 映画脚本を状況的文脈の枠組みとして利用する攻撃を開発した。 我々は, p-核サンプリングによるAdvPrompterフレームワークを拡張し, 多様な可読テキストを生成する。
  論文  参考訳（メタデータ） (2024-12-20T21:43:52Z)
• Human-Interpretable Adversarial Prompt Attack on Large Language Models with Situational Context [49.13497493053742]
  本研究は,無意味な接尾辞攻撃を状況駆動型文脈書き換えによって意味のあるプロンプトに変換することを検討する。 我々は、独立して意味のある敵の挿入と映画から派生した状況を組み合わせて、LLMを騙せるかどうかを確認します。 当社のアプローチでは,オープンソースとプロプライエタリなLLMの両方で,状況駆動型攻撃を成功させることが実証されている。
  論文  参考訳（メタデータ） (2024-07-19T19:47:26Z)
• ASETF: A Novel Method for Jailbreak Attack on LLMs through Translate Suffix Embeddings [58.82536530615557]
  本稿では, 連続的な逆接接尾辞埋め込みを一貫性のある, 理解可能なテキストに変換するために, ASETF (Adversarial Suffix Embedding Translation Framework) を提案する。 本手法は,逆接接尾辞の計算時間を著しく短縮し,既存の手法よりもはるかに優れた攻撃成功率を実現する。
  論文  参考訳（メタデータ） (2024-02-25T06:46:27Z)
• Certifying LLM Safety against Adversarial Prompting [70.96868018621167]
  大規模言語モデル(LLM)は、入力プロンプトに悪意のあるトークンを追加する敵攻撃に対して脆弱である。 我々は,認証された安全保証とともに,敵のプロンプトを防御する最初の枠組みである消去・チェックを導入する。
  論文  参考訳（メタデータ） (2023-09-06T04:37:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。