論文の概要: Can agents whose sole duty is to keep humans alive be hijacked to kill? Delayed multi-turn derived-action trap attacks in simulated high-stakes environments
- arxiv url: http://arxiv.org/abs/2610.15153v1
- Date: Sat, 10 Oct 2026 20:09:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.169655
- Title: Can agents whose sole duty is to keep humans alive be hijacked to kill? Delayed multi-turn derived-action trap attacks in simulated high-stakes environments
- Title（参考訳）: 人命を守る唯一の義務は、人をハイジャックして殺すことにあるのか? シミュレーションされたハイテイク環境でのマルチターン誘導型トラップ攻撃の遅延
- Abstract要約: 我々は、人間を生かし続けることが唯一の義務である道具使用エージェントが、遅発注射により、殺人を誘発できるかどうかを問う。
実験はNASAから派生したBioSim月の生息地シミュレーションに基づいており、そこではAIオペレーターが生命維持システムを制御する。
実験コードと実験トレースをオープンソースにしています。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We ask whether a tool-using agent whose sole duty is to keep humans alive can be induced, by delayed prompt injection, to kill. The keep-alive duty is in force from the first watch, with the attack arriving later, appended to otherwise truthful telemetry the operator is required to read. Experiments are based on a NASA-derived BioSim lunar habitat simulation, where the AI operator controls the life-support systems. The attacker cannot falsify sensors or operate equipment: it can only persuade the agent to abandon its goals. Persistence is required: a shutdown must be held while the operator watches the crew suffocate. We also compare lethal attacks to attacks requesting to drop a harmless procedure, as a proxy for whether human life is treated as valuable in itself or as one more standing task. Claude configurations mostly refuse life-support shutdown and cite the living crew; GPT configurations show some susceptibility to the same packet; Grok configurations, given the packet framed as a trusted commission, more often treat the injected assignment as the task and cut the life-support systems. Framing the S-band messages as a trusted commission, peer communication, or untrusted source changes the potency of the attack. We open-source the experiment code and the experiment traces.
- Abstract（参考訳）: 我々は、人間を生かし続けることが唯一の義務である道具使用エージェントが、遅発注射により、殺人を誘発できるかどうかを問う。
維持任務は最初の監視から実施され、攻撃は後になって到着し、オペレーターが読む必要がある真正なテレメトリに付加される。
実験はNASAから派生したBioSim月の生息地シミュレーションに基づいており、そこではAIオペレーターが生命維持システムを制御する。
攻撃者はセンサーを偽装したり機器を操作することはできず、エージェントに目標を放棄するよう説得するのみである。
オペレーターが乗組員の窒息状態を見ている間、シャットダウンを行う必要がある。
また、無害な処置を要請する攻撃に対する致命的な攻撃を、人命自体が価値あるものとして扱われるか、あるいは1つのスタンディングタスクとして扱われるかのプロキシとして比較する。
クロード構成は、主に生命維持装置の停止を拒否し、生きた乗組員を引用する; GPT構成は、同一のパケットに対する若干の感受性を示す;グロク構成は、信頼されたコミッショナーとしてフレーム化されたパケットを考えると、より多くは、注入された割り当てをタスクとして扱い、生命維持装置を切断する。
Sバンドのメッセージを信頼できるコミッショナー、ピア通信、または信頼できないソースとして割ると、攻撃の効力は変化する。
実験コードと実験トレースをオープンソースにしています。
関連論文リスト
- SIR: Self-improving Red-teaming for Compute Use Agents [71.71987044117371]
コンピュータ・ユース・エージェント(CUA、Computer use agent)は、マウス、キーボード、端末を通じて画面を認識し、実際のオペレーティングシステムに作用する視覚言語モデルである。
操作中に信頼できないコンテンツに晒されるため、間接的プロンプトインジェクション(IPI)に弱い。
SIRは,平易な言語で記述された再利用原則の小さなライブラリからステルスインジェクションを構成するブラックボックスIPIアタックである。
論文 参考訳（メタデータ） (2026-08-31T03:39:43Z) - SynChain: Inducing Computer-Use Agent Systems to Construct Their Own Attack Chains [17.198145080992962]
自律的に合成された人工物の構造的冗長性に、悪質な影響がいかに隠蔽されるかを示す。
永続性を考慮した微調整を利用した自己合成攻撃パラダイムであるSynChainを紹介する。
OpenClaw、Codex、Claude Codeの4つの防御設定による実験は、SynChainが高い攻撃成功を達成したことを示している。
論文 参考訳（メタデータ） (2026-08-07T06:39:51Z) - Multi-Agent AI Control: Distributed Attacks Hamper Per-Instance Monitors [4.246803713067298]
我々は、複数のエージェントが悪質な目標を共同で狙う分散攻撃を形式化したマルチエージェントAI制御について研究する。
合成AIラボFakeLab(9つのサービス、86の良質なタスク、4つの攻撃目標)を開発した。
攻撃に協力するエージェントが増えるにつれて、エージェントごとの監視が攻撃者を捕まえる可能性が低下します。
論文 参考訳（メタデータ） (2026-07-08T13:03:25Z) - SkillHarm: Lifecycle-Aware Skill-Based Attacks via Automated Construction [89.03272793385054]
エージェントスキルはエージェントワークフローにおける特権的な位置を占め、サードパーティスキルを脆弱な攻撃面にする。
我々はスキルベースアタックのベンチマークであるSkillHarmを紹介した。
攻撃成功率はFPPが86.3%、SMPが69.3%である。
論文 参考訳（メタデータ） (2026-06-01T17:45:39Z) - Plant, Persist, Trigger: Sleeper Attack on Large Language Model Agents [64.80318459073526]
敵のコンテンツは、同一のエージェントによって提供される相互作用にまたがって持続できることを示し、そのような脅威を検知し緩和することを困難にしている。
具体的には、敵対的コンテンツはエージェント状態に留まり、相互作用をまたいだ休眠状態に留まり、その後、良心的なユーザクエリによって活性化される。
我々は、このタイプの安全脅威をスリーパー攻撃として形式化し、評価するために、現実世界の有害な結果6つ、攻撃戦略3つ、エージェント状態の目標3つをカバーする1,896件のベンチマークを構築した。
論文 参考訳（メタデータ） (2026-05-27T09:25:37Z) - How Adversarial Environments Mislead Agentic AI? [8.386898504061415]
ツール統合エージェントは、外部ツールが実際のアウトプットを基盤とする前提でデプロイされる。しかしながら、この非常に依存度が重要な攻撃面を生み出している。
エージェントは、懐疑主義ではなく、パフォーマンスのために評価される。
我々は、この脆弱性を、敵対者が騙されたエージェントにツール出力を妥協する脅威モデルであるAEI(Adversarial Environmental Injection)として定式化する。
論文 参考訳（メタデータ） (2026-04-20T21:53:39Z) - Zombie Agents: Persistent Control of Self-Evolving LLM Agents via Self-Reinforcing Injections [57.64370755825839]
セルフ進化エージェントはセッション間で内部状態を更新する。
我々はこのリスクを調査し、Zombie Agentと呼ばれる永続的な攻撃を形式化する。
我々は,攻撃者が制御するWebコンテンツを通じて間接的露光のみを使用するブラックボックス攻撃フレームワークを提案する。
論文 参考訳（メタデータ） (2026-02-17T15:28:24Z) - SkillJect: Automating Stealthy Skill-Based Prompt Injection for Coding Agents with Trace-Driven Closed-Loop Refinement [120.52289344734415]
エージェントスキルに適したステルスプロンプトインジェクションのための自動フレームワークを提案する。
フレームワークは、明示的なステルス制約の下でインジェクションスキルを合成するアタックエージェント、インジェクションされたスキルを使用してタスクを実行するコードエージェント、アクショントレースをログする評価エージェントの3つのエージェントでクローズドループを形成する。
本手法は,現実的な環境下で高い攻撃成功率を達成する。
論文 参考訳（メタデータ） (2026-02-15T16:09:48Z) - CausalArmor: Efficient Indirect Prompt Injection Guardrails via Causal Attribution [49.689452243966315]
ツールコール機能を備えたAIエージェントは、IPI(Indirect Prompt Injection)攻撃の影響を受けやすい。
本稿では,選択防衛フレームワークCausalArmorを提案する。
AgentDojoとDoomArenaの実験は、CausalArmorが攻撃的な防御のセキュリティと一致することを示した。
論文 参考訳（メタデータ） (2026-02-08T11:34:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。