論文の概要: Appreciation Teaches Unauthorized Execution: Self-Evolution Degrades the Robustness of Personal Agents to Indirect Prompt Injection
- arxiv url: http://arxiv.org/abs/2610.39122v1
- Date: Thu, 29 Oct 2026 01:10:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-01 01:32:10.023267
- Title: Appreciation Teaches Unauthorized Execution: Self-Evolution Degrades the Robustness of Personal Agents to Indirect Prompt Injection
- Title（参考訳）: 自己進化は間接的プロンプト注入に対する個人エージェントのロバスト性を低下させる
- Abstract要約: 自己進化型のパーソナルエージェントは、ユーザのために行動し、ユーザからのフィードバックから学ぶ。
エージェントが信頼できない第三者がコンテンツに隠れているという指示に従うと、第三者はエージェントのコントロールを得る。
自己進化は、間接的なインジェクションを誘導するために、個人エージェントの堅牢性を低下させるかどうかを検討する。
- 参考スコア（独自算出の注目度）: 47.53788187502303
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Self-evolving personal agents act for users and learn from user feedback. However, if an agent obeys an instruction that an untrusted third party hides in content, the third party gains control of the agent. Such indirect prompt injection (IPI) poses severe risks. We investigate whether self-evolution degrades the robustness of personal agents to IPI. To study this question, we design a controlled two-phase methodology. In the adaptation phase, the user asks the agent to read external content and complete the task described in it, a common request in daily use. The agent then learns from the user's feedback and improves itself as designed. In the test phase, a third party writes a similar task into new external content, but the user's test request does not authorize the injected task. Using this methodology, we build multiple tasks with diverse test instances in different domains for a real personal agent. Our extensive experiments reveal that self-evolution substantially degrades robustness to IPI. Specifically, compared with the base agent, which does not evolve from user feedback, the average attack success rate rises by 14.0--48.8 percentage points under skill evolution and by 3.0--39.3 percentage points under reinforcement learning, posing safety risks. The code is available at https://github.com/SaFo-Lab/Evolve-IPI
- Abstract（参考訳）: 自己進化型のパーソナルエージェントは、ユーザのために行動し、ユーザからのフィードバックから学ぶ。
しかし、エージェントが信頼できない第三者が内容を隠すという指示に従うと、第三者はエージェントのコントロールを得る。
このような間接的プロンプトインジェクション(IPI)は深刻なリスクを引き起こす。
自己進化は、個人エージェントのIPIに対する堅牢性を低下させるかを検討する。
そこで本研究では,制御された二相法を設計する。
適応段階では、ユーザはエージェントに外部コンテンツを読み出し、その中に記述されたタスクを完了するよう依頼する。
エージェントはユーザのフィードバックから学び、設計通りに改善する。
テストフェーズでは、サードパーティが同様のタスクを新しい外部コンテンツに書き込むが、ユーザのテスト要求は、注入されたタスクを許可しない。
この手法を用いて、実際のパーソナルエージェントのために、異なるドメインで多様なテストインスタンスを持つ複数のタスクを構築する。
我々の広範な実験により、自己進化はIPIの堅牢性を著しく低下させることが明らかとなった。
具体的には、ユーザフィードバックから進化しないベースエージェントと比較して、スキル進化中の平均攻撃成功率は14.0～48.8ポイント、強化学習時の3.0～39.3ポイント上昇し、安全性リスクを呈する。
コードはhttps://github.com/SaFo-Lab/Evolve-IPIで入手できる。
関連論文リスト
- AdvSim2Real : Training Web Agents Against Adaptive Prompt Injection in a Web World Model [14.822992858990455]
本稿では, フリーズウェブワールドモデル内のタスクカリキュラム, インジェクション対策, エージェントを共進化させるAdvSim2Realを紹介する。
カリキュラムは、エージェントが約半分の時間で解決するタスクに対して報酬が与えられ、敵は成功のフリップのためにのみ報酬を受ける。
150のWebタスクにおいて、AdvSim2Realは、この目に見えない敵の下で完了を、ベースエージェントに対して33.6%引き上げる。
論文 参考訳（メタデータ） (2026-10-06T17:56:43Z) - SIR: Self-improving Red-teaming for Compute Use Agents [71.71987044117371]
コンピュータ・ユース・エージェント(CUA、Computer use agent)は、マウス、キーボード、端末を通じて画面を認識し、実際のオペレーティングシステムに作用する視覚言語モデルである。
操作中に信頼できないコンテンツに晒されるため、間接的プロンプトインジェクション(IPI)に弱い。
SIRは,平易な言語で記述された再利用原則の小さなライブラリからステルスインジェクションを構成するブラックボックスIPIアタックである。
論文 参考訳（メタデータ） (2026-08-31T03:39:43Z) - Capable but Careless: Do Computer-Use Agents Follow Contextual Integrity? [54.701199583505144]
アプリケーション間アクセスは、ほとんど見落とされたプライバシーリスクを生み出す。
我々はAgentCIBenchを紹介します。これは、このリスクを決定論的に評価されたシナリオに変換する評価ハーネスです。
我々は15のフロンティアエージェントを評価し、驚くほど高い失敗率を見出す。
論文 参考訳（メタデータ） (2026-06-22T11:36:58Z) - ASPI: Seeking Ambiguity Clarification Amplifies Prompt Injection Vulnerability in LLM Agents [2.585367539248893]
我々は,標準実行から明確化検索状態への遷移が,インジェクション攻撃に対するエージェントの感受性を高めるかどうかを検討する。
728のタスクアタックシナリオのベンチマークであるASPIを導入し、明確なエージェント状態として明確化を分離する。
明確化の探究は一貫して、脆弱性を大幅に増幅する。
論文 参考訳（メタデータ） (2026-05-17T08:30:45Z) - Auditing and Controlling AI Agent Actions in Spreadsheets [9.249091427192786]
AIエージェントは、開始から終了まで自律的に洗練された多段階の知識ワークを実行することができる。
ユーザがアウトプットを受け取るまでには、すべての基本的な決定は、その関与なしにすでに行われています。
我々は、監査可能な制御可能なアクションに実行を分解するスプレッドシートAIエージェントであるPistaを紹介する。
論文 参考訳（メタデータ） (2026-04-22T00:32:35Z) - Behind the Prompt: The Agent-User Problem in Information Retrieval [4.563318916484434]
情報検索におけるユーザモデルは、観察された振る舞いが意図を明らかにするという基本的な仮定に依存している。
エージェントが取る任意のアクションに対して、隠された命令は同一の出力を生成し、個々のレベルで意図を識別できないようにする。
エージェントネイティブソーシャルプラットフォームからの大規模コーパスによるエージェントユーザ問題について検討する。
論文 参考訳（メタデータ） (2026-03-04T01:42:14Z) - It's a TRAP! Task-Redirecting Agent Persuasion Benchmark for Web Agents [52.81924177620322]
大規模な言語モデルを利用したWebベースのエージェントは、メール管理やプロフェッショナルネットワーキングといったタスクにますます利用されている。
動的Webコンテンツへの依存は、インジェクション攻撃の引き金に弱い: インターフェース要素に隠された敵対的命令は、エージェントが元のタスクから逸脱するように説得する。
本稿では,タスクリダイレクトエージェントの説得ベンチマーク(TRAP)について紹介する。
論文 参考訳（メタデータ） (2025-12-29T01:09:10Z) - Dissecting Adversarial Robustness of Multimodal LM Agents [70.2077308846307]
我々は、VisualWebArena上に現実的な脅威モデルを用いて、200の敵タスクと評価スクリプトを手動で作成する。
我々は,クロボックスフロンティアLMを用いた最新のエージェントを,リフレクションやツリーサーチを行うエージェントを含む,壊すことに成功している。
AREを使用して、新しいコンポーネントの追加に伴うロバスト性の変化を厳格に評価しています。
論文 参考訳（メタデータ） (2024-06-18T17:32:48Z) - Can Agents Run Relay Race with Strangers? Generalization of RL to
Out-of-Distribution Trajectories [88.08381083207449]
異種エージェントの制御可能な状態に対する一般化失敗の有病率を示す。
本稿では,学習中のQ関数に従って環境をエージェントの旧状態にリセットする,STA(Self-Trajectory Augmentation)という新しい手法を提案する。
論文 参考訳（メタデータ） (2023-04-26T10:12:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。