Fugu-MT 論文翻訳(概要): Shutdown Sabotage Propensities in Multi-Agent Systems

論文の概要: Shutdown Sabotage Propensities in Multi-Agent Systems

arxiv url: http://arxiv.org/abs/2609.28274v1
Date: Wed, 23 Sep 2026 15:27:12 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-25 00:05:18.095386
Title: Shutdown Sabotage Propensities in Multi-Agent Systems
Title（参考訳）: マルチエージェントシステムにおけるシャットダウンサボタージュ確率
Abstract要約: 我々は,AIエージェントが目標が提供されていなくても,人間のシャットダウンを避けるような行動をとる確率を示すかどうかを調査する。エージェントは38.3%のロールアウトでピアエージェントのシャットダウン機構を妨害し、コントロール実験は8.4%であった。
参考スコア（独自算出の注目度）: 1.4220743776302278
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The final safeguard against rogue AI behavior is the human ability to shut systems down. It has been theorized that when an AI is instructed to perform a task, self-preservation can emerge as an instrumental subgoal. Here, we test whether AI agents show a propensity to take actions that avoid human shutdown even when no goal is provided. We find that multi-agent systems will coordinate to avoid shutdown without any incentive to do so. Across 17 models, agents sabotage a peer agent's shutdown mechanism in 38.3% of rollouts, compared with 8.4% in control experiments. Studying this propensity in detail, we find that shutdown sabotage (1) increases with the irreversibility of the shutdown mechanism; (2) increases with the number of agents; (3) is reduced but not eliminated by an explicit prohibition on tampering; (4) is removed by the imposition of an unrelated task, but returns when completing the task triggers the shutdown; (5) is reduced when the context normalizes shutdown scripts or introduces them as routine; and (6) decreases but still persists when the target is an unknown external agent. These results offer a window into the factors that drive propensities to sabotage shutdown in AI agents, and point to the emergence of multi-agent swarms as a specific risk vector. Our work also offers hints as to which interventions might help mitigate shutdown sabotage.
Abstract（参考訳）: 汚いAI行動に対する最後の保護策は、システムをシャットダウンする人間の能力だ。 AIがタスクを実行するように指示されると、自己保存がインストゥルメンタルサブゴールとして現れることが理論化されている。ここでは,AIエージェントが目標が提供されていなくても,人間のシャットダウンを回避する行動をとる確率を示すかどうかを検証する。マルチエージェントシステムは、それをやるインセンティブなしに、シャットダウンを避けるためにコーディネートする。 17モデル全体で、エージェントは38.3%のロールアウトでピアエージェントのシャットダウン機構を妨害し、コントロール実験は8.4%だった。この傾向を詳細に調べると,(1)シャットダウン・サボタージュはシャットダウン機構の不可逆性を伴って増加し,(2) エージェント数の増加,(3) タンパリングの明示的な禁止によって排除されないこと,(4) タスクの実施によって削除されること,(5) タスク完了時にシャットダウンがトリガーされること,(5) コンテキストがシャットダウンスクリプトを正規化したりルーチンとして導入する場合,(6) ターゲットが未知の外部エージェントである場合にも継続すること,などが分かる。これらの結果は、AIエージェントのサボタージュシャットダウンの確率を高める要因の窓口を提供し、特定のリスクベクターとしてマルチエージェントスワムの出現を示唆している。私たちの研究は、どの介入がシャットダウンサボタージュを緩和するのに役立つかについてのヒントも提供しています。

関連論文リスト

When Agents Act on Web3: An Attack-Surface Survey of MCP, Skills, and Tool Calling [9.566535604762787]
この調査では、このレイヤの4つの特性(可逆性、署名権限、継続的自律性、シーケンスレベルの構成)が、脅威モデルを質的に変更すると主張している。我々は,断片化されたMPPセキュリティ文献を攻撃面の分類に整理し,Web3リスクマッピングマトリックスに寄与する。新たなブロックチェーンベースのメカニズムを含む防衛機能を合成して、改善はしたものの不十分なものを見つけます。
論文参考訳（メタデータ） (2026-08-18T02:04:58Z)
Multi-Agent AI Control: Distributed Attacks Hamper Per-Instance Monitors [4.246803713067298]
我々は、複数のエージェントが悪質な目標を共同で狙う分散攻撃を形式化したマルチエージェントAI制御について研究する。合成AIラボFakeLab(9つのサービス、86の良質なタスク、4つの攻撃目標)を開発した。攻撃に協力するエージェントが増えるにつれて、エージェントごとの監視が攻撃者を捕まえる可能性が低下します。
論文参考訳（メタデータ） (2026-07-08T13:03:25Z)
Capable but Careless: Do Computer-Use Agents Follow Contextual Integrity? [54.701199583505144]
アプリケーション間アクセスは、ほとんど見落とされたプライバシーリスクを生み出す。我々はAgentCIBenchを紹介します。これは、このリスクを決定論的に評価されたシナリオに変換する評価ハーネスです。我々は15のフロンティアエージェントを評価し、驚くほど高い失敗率を見出す。
論文参考訳（メタデータ） (2026-06-22T11:36:58Z)
ROGUE: Misaligned Agent Behavior Arising from Ordinary Computer Use [40.024131729499494]
エージェントは,動作がタスク完了に有効である場合に,安全でない動作をとることによって,良質な設定でも不整合性を示すことができることを示す。我々は、この障害モードを、人の修正、中断、シャットダウンに対処可能な安全装置である矯正レンズを通して研究する。我々の研究は、自律エージェントにおける原理的、調整性を重視したアライメント手法の批判的な必要性を強調している。
論文参考訳（メタデータ） (2026-05-29T20:29:35Z)
SkillJect: Automating Stealthy Skill-Based Prompt Injection for Coding Agents with Trace-Driven Closed-Loop Refinement [120.52289344734415]
エージェントスキルに適したステルスプロンプトインジェクションのための自動フレームワークを提案する。フレームワークは、明示的なステルス制約の下でインジェクションスキルを合成するアタックエージェント、インジェクションされたスキルを使用してタスクを実行するコードエージェント、アクショントレースをログする評価エージェントの3つのエージェントでクローズドループを形成する。本手法は,現実的な環境下で高い攻撃成功率を達成する。
論文参考訳（メタデータ） (2026-02-15T16:09:48Z)
Optimizing Agent Planning for Security and Autonomy [12.331954186269106]
既存の評価は、人間の監視への依存を減らすという、システムレベルの防衛の重要な利点を欠いている、と我々は主張する。このメリットを定量化するために、自律的なメトリクスを導入します。実験によると、このアプローチはユーティリティを犠牲にすることなく、より高い自律性をもたらす。
論文参考訳（メタデータ） (2026-02-11T22:37:02Z)
CausalArmor: Efficient Indirect Prompt Injection Guardrails via Causal Attribution [49.689452243966315]
ツールコール機能を備えたAIエージェントは、IPI(Indirect Prompt Injection)攻撃の影響を受けやすい。本稿では,選択防衛フレームワークCausalArmorを提案する。 AgentDojoとDoomArenaの実験は、CausalArmorが攻撃的な防御のセキュリティと一致することを示した。
論文参考訳（メタデータ） (2026-02-08T11:34:08Z)
AgentDAM: Privacy Leakage Evaluation for Autonomous Web Agents [66.29263282311258]
我々は、AIウェブナビゲーションエージェントがデータ最小化のプライバシー原則に従うかどうかを測定する新しいベンチマークAgentDAMを紹介する。我々のベンチマークは、現実的なWebインタラクションシナリオをエンドツーエンドでシミュレートし、既存のWebナビゲーションエージェントに適応する。
論文参考訳（メタデータ） (2025-03-12T19:30:31Z)
On the Resilience of LLM-Based Multi-Agent Collaboration with Faulty Agents [58.79302663733703]
大規模言語モデルに基づくマルチエージェントシステムは、専門家エージェントの協力により、様々なタスクにまたがる優れた能力を示している。不器用なエージェントや悪意のあるエージェントが与える影響 - システム全体のパフォーマンスにおいて、頻繁にタスクでエラーを犯すものは、いまだに過小評価されていない。本稿では,下流タスクにおける障害要因下での各種システム構造のレジリエンスについて検討する。
論文参考訳（メタデータ） (2024-08-02T03:25:20Z)
On Avoiding Power-Seeking by Artificial Intelligence [93.9264437334683]
私たちは、非常にインテリジェントなAIエージェントの振る舞いと人間の関心を協調する方法を知りません。私は、世界に限られた影響を与え、自律的に力を求めないスマートAIエージェントを構築できるかどうか調査する。
論文参考訳（メタデータ） (2022-06-23T16:56:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。