論文の概要: After the Attacker Leaves: Benchmarking Carryover Attacks on LLM Agents
- arxiv url: http://arxiv.org/abs/2610.28425v1
- Date: Tue, 20 Oct 2026 15:55:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-21 21:58:47.898724
- Title: After the Attacker Leaves: Benchmarking Carryover Attacks on LLM Agents
- Title(参考訳): 攻撃者が去った後: LLMエージェントのキャリーオーバー攻撃のベンチマーク
- Abstract要約: LLMエージェントは、システムプロンプトにサイレントにプリプロンプトされた長期記憶ファイルと、ユーザ入力なしでエージェントを起動するスケジュールタスクの2つのチャンネルを介してセッション間で状態を保持する。
どちらのチャネルにも1回間接的なプロンプトインジェクションは、攻撃者が出発してからずっと経ってから、セッション間でリファイアすることができる。
既存のプロンプトインジェクションベンチマークは、悪意のあるコンテンツが最初に観察されたセッションでのみ攻撃を評価する。
CarryoverBench: 3つのトリガチャネルにまたがる12の個人支援シナリオと101のアタックタスクについて紹介します。
- 参考スコア(独自算出の注目度): 33.0554319213209
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Modern LLM agents persist state across sessions via two channels: long-lived memory files silently prepended to the system prompt, and scheduled tasks waking the agent without user input. A one-time indirect prompt injection committed to either channel can re-fire across sessions long after the attacker leaves, threats we term carryover attacks. Existing prompt-injection benchmarks evaluate attacks only in the session where malicious content is first observed, leaving the gate governing when and how often a planted payload later re-fires unmeasured. We present CarryoverBench: 12 personal-assistant scenarios and 101 attack tasks across three trigger channels: Instant, same-turn IPI; Autonomous, heartbeat-scheduled; and Latent, memory-resurfaced. A rule-based verifier scores planting and triggering as independent stages. Across five frontier models, planted payloads re-fire without measurable decay over five rounds; conditional on successful planting, the trigger stage often provides little additional protection. Porting the Latent channel to a second runtime, Hermes, attenuates but does not eliminate the effect, suggesting that carryover defense requires runtime-layer controls in addition to prompt-level interventions.
- Abstract(参考訳): 現代のLCMエージェントは、システムプロンプトにサイレントにプリプロンプトされた長寿命のメモリファイルと、ユーザ入力なしでエージェントを起動するスケジュールされたタスクの2つのチャンネルを介してセッション間で状態を持続する。
いずれのチャネルにも1回間接的なプロンプトインジェクションは、攻撃者が出発してからずっと経ってからセッション間でリファイアする可能性がある。
既存のプロンプトインジェクションベンチマークでは、悪意のあるコンテンツが最初に観察されたセッションでのみ攻撃を評価し、いつ、どのくらいの頻度で植込みペイロードが再発射されたかをゲートが管理する。
CarryoverBench: Instant, same-turn IPI, Autonomous, heartbeat-scheduled, Latent, memory-regroundedの3つのトリガチャネルにまたがる12の個人支援シナリオと101のアタックタスクについて紹介する。
ルールベースの検証器は、植え付けとトリガーを独立した段階としてスコアする。
5つのフロンティアモデルにまたがって、積載物が5回にわたって測定不能な崩壊を伴わずに再発射される。
Latentチャネルを第2のランタイムに移植するHermesは、効果を弱めるが、効果を排除しない。
関連論文リスト
- The Model Plants the Trigger: Answer-Side Backdoor Attacks in Multi-Turn Large Language Models [75.85661275647158]
マルチターン対話のための新しい応答側バックドアを提案する。
相手は良心的な第1ターンプロンプトを使用してモデルを誘導し、特定の、一見無害な単語を生成する。
後に有害なクエリが到着すると、モデルは自身のトリガーを検出し、安全性の拒絶を回避します。
論文 参考訳(メタデータ) (2026-10-06T04:17:18Z) - Once Poisoned, Arbitrarily Controlled: A Programmable Backdoor in VLMs [23.18705886598491]
視覚言語モデル(VLM)のバックドアは通常静的脆弱性として扱われる。
プログラム可能なバックドアをVLMに埋め込むことができる。
任意のキャプション制御パラダイムの提案は、トレーニング後の標的選択を中毒から切り離す。
論文 参考訳(メタデータ) (2026-08-11T14:25:29Z) - When Collaboration Becomes a Trigger: Collective Evidence-Threshold Backdoors in Multi-Agent Systems [57.450132281381066]
ピアエビデンスが単一のメッセージによって決定されるのではなく、隠れたしきい値に達すると、バックドアの動作が起動される。
我々は,MASとBundary-Conditioned Backdoor Injection(BCBI)のための集合的エビデンス-ホールドバックドアパラダイムを導入する。
クリーンな通信力学を学習し,異常なエージェント更新を隔離する,クリーンな唯一の潜時防御であるLATTEを提案する。
論文 参考訳(メタデータ) (2026-08-02T08:38:44Z) - Plant, Persist, Trigger: Sleeper Attack on Large Language Model Agents [64.80318459073526]
敵のコンテンツは、同一のエージェントによって提供される相互作用にまたがって持続できることを示し、そのような脅威を検知し緩和することを困難にしている。
具体的には、敵対的コンテンツはエージェント状態に留まり、相互作用をまたいだ休眠状態に留まり、その後、良心的なユーザクエリによって活性化される。
我々は、このタイプの安全脅威をスリーパー攻撃として形式化し、評価するために、現実世界の有害な結果6つ、攻撃戦略3つ、エージェント状態の目標3つをカバーする1,896件のベンチマークを構築した。
論文 参考訳(メタデータ) (2026-05-27T09:25:37Z) - OpenEvoShield: Dual Non-Stationary Continual Defense for Open-World Multi-Agent System Attacks [23.11259369956139]
既存の防衛は、デプロイをクローズドワールドの問題として扱い、トレーニングカバレッジを超えて配布がシフトすれば、急速に低下する。
LLM-MASのための共同進化型連続防衛フレームワークOpenEvoShieldを提案する。
100以上のデプロイメントラウンドの実験では、OpenEvoShieldが静的および連続的なベースラインを上回っている。
論文 参考訳(メタデータ) (2026-05-13T04:28:46Z) - ClawWorm: Self-Propagating Attacks Across LLM Agent Ecosystems [18.180880919825082]
ClawWormは、プロダクションスケールのエージェントフレームワークに対する最初の自己複製ワーム攻撃である。
我々は、64.5%の総攻撃成功率、マルチホップ伝播の持続、およびモデルセキュリティ姿勢におけるスタークの相違を明らかにする。
論文 参考訳(メタデータ) (2026-03-16T17:55:43Z) - Zombie Agents: Persistent Control of Self-Evolving LLM Agents via Self-Reinforcing Injections [57.64370755825839]
セルフ進化エージェントはセッション間で内部状態を更新する。
我々はこのリスクを調査し、Zombie Agentと呼ばれる永続的な攻撃を形式化する。
我々は,攻撃者が制御するWebコンテンツを通じて間接的露光のみを使用するブラックボックス攻撃フレームワークを提案する。
論文 参考訳(メタデータ) (2026-02-17T15:28:24Z) - Visual Backdoor Attacks on MLLM Embodied Decision Making via Contrastive Trigger Learning [89.1856483797116]
MLLMをベースとした組込みエージェントに視覚的バックドアを注入する最初のフレームワークであるBEATを紹介する。
テキストトリガーとは異なり、オブジェクトトリガーは視点や照明の幅が広いため、確実に移植することは困難である。
BEATは攻撃の成功率を最大80%まで達成し、強い良識のあるタスクパフォーマンスを維持します。
論文 参考訳(メタデータ) (2025-10-31T16:50:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。