論文の概要: DoomArena: A framework for Testing AI Agents Against Evolving Security Threats

• arxiv url: http://arxiv.org/abs/2504.14064v2
• Date: Tue, 22 Apr 2025 05:28:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-30 11:58:50.223022
• Title: DoomArena: A framework for Testing AI Agents Against Evolving Security Threats
• Title（参考訳）: DoomArena: セキュリティの脅威を回避してAIエージェントをテストするフレームワーク
• Authors: Leo Boisvert, Mihir Bansal, Chandra Kiran Reddy Evuru, Gabriel Huang, Abhay Puri, Avinandan Bose, Maryam Fazel, Quentin Cappart, Jason Stanley, Alexandre Lacoste, Alexandre Drouin, Krishnamurthy Dvijotham,
• Abstract要約: 本稿では,AIエージェントのセキュリティ評価フレームワークであるDoomArenaを紹介する。 プラグインフレームワークであり、現実的なエージェントフレームワークと簡単に統合できる。 モジュールであり、エージェントがデプロイされる環境の詳細から攻撃の開発を分離する。
• 参考スコア（独自算出の注目度）: 84.94654617852322
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present DoomArena, a security evaluation framework for AI agents. DoomArena is designed on three principles: 1) It is a plug-in framework and integrates easily into realistic agentic frameworks like BrowserGym (for web agents) and $\tau$-bench (for tool calling agents); 2) It is configurable and allows for detailed threat modeling, allowing configuration of specific components of the agentic framework being attackable, and specifying targets for the attacker; and 3) It is modular and decouples the development of attacks from details of the environment in which the agent is deployed, allowing for the same attacks to be applied across multiple environments. We illustrate several advantages of our framework, including the ability to adapt to new threat models and environments easily, the ability to easily combine several previously published attacks to enable comprehensive and fine-grained security testing, and the ability to analyze trade-offs between various vulnerabilities and performance. We apply DoomArena to state-of-the-art (SOTA) web and tool-calling agents and find a number of surprising results: 1) SOTA agents have varying levels of vulnerability to different threat models (malicious user vs malicious environment), and there is no Pareto dominant agent across all threat models; 2) When multiple attacks are applied to an agent, they often combine constructively; 3) Guardrail model-based defenses seem to fail, while defenses based on powerful SOTA LLMs work better. DoomArena is available at https://github.com/ServiceNow/DoomArena.
• Abstract（参考訳）: 本稿では,AIエージェントのセキュリティ評価フレームワークであるDoomArenaを紹介する。 DoomArenaは3つの原則に基づいて設計されている。 1)プラグインフレームワークで、BrowserGym(Webエージェント用)や$\tau$-bench(ツール呼び出しエージェント用)といった現実的なエージェントフレームワークに簡単に統合できます。 2) 設定可能で、詳細な脅威モデリングが可能で、エージェントフレームワークの特定のコンポーネントの設定を攻撃可能とし、攻撃者のターゲットを指定することができる。 3) エージェントがデプロイされる環境の詳細から攻撃をモジュール化し、分離し、同じ攻撃を複数の環境に適用できるようにする。 フレームワークのメリットとして,新たな脅威モデルや環境に容易に対応できる機能,これまで公表されていたいくつかの攻撃を組み合わせて,包括的かつきめ細かいセキュリティテストを可能にする機能,さまざまな脆弱性とパフォーマンスのトレードオフを分析する機能などを挙げる。 私たちは、DoomArenaを最先端(SOTA)Webおよびツール呼び出しエージェントに適用し、いくつかの驚くべき結果を見つけます。 1)SOTAエージェントは、異なる脅威モデル(悪意のあるユーザ対悪意のある環境)に対して様々なレベルの脆弱性を有しており、すべての脅威モデルに対してパレート支配的なエージェントは存在しない。 2) 複数の攻撃がエージェントに適用された場合,それらはしばしば,構成的に組み合わせられる。 3) ガードレールモデルによる防御は失敗し, 強力なSOTA LLMをベースとした防御は良好である。 DoomArenaはhttps://github.com/ServiceNow/DoomArenaで入手できる。

関連論文リスト

• Get the Agents Drunk: Memory Perturbations in Autonomous Agent-based Recommender Systems [29.35591074298123]
  大規模言語モデルベースのエージェントは、パーソナライズされた振る舞いモデリングを実現するために、リコメンデータシステム(Agent4RS)でますます使われている。 私たちの知る限りでは、Agent4RSがいかに堅牢かは未解明のままです。 本稿では,エージェントの記憶を乱すことによってエージェント4RSを攻撃するための最初の取り組みを提案する。
  論文  参考訳（メタデータ） (2025-03-31T07:35:40Z)
• Guardians of the Agentic System: Preventing Many Shots Jailbreak with Agentic System [0.8136541584281987]
  本研究は,3つの検査手法を用いて,逆チューリングテストによりローグエージェントを検出し,マルチエージェントシミュレーションにより知覚的アライメントを解析する。 GEMINI 1.5 Pro と llama-3.3-70B, Deepseek r1 モデルを用いて, 抗ジェイルブレイクシステムを開発した。 GEMINI 1.5 Proの94%の精度など、検出能力は強いが、長時間の攻撃を受けた場合、システムは永続的な脆弱性に悩まされる。
  論文  参考訳（メタデータ） (2025-02-23T23:35:15Z)
• Commercial LLM Agents Are Already Vulnerable to Simple Yet Dangerous Attacks [88.84977282952602]
  最近のMLセキュリティ文献は、整列型大規模言語モデル(LLM)に対する攻撃に焦点を当てている。 本稿では,LLMエージェントに特有のセキュリティとプライバシの脆弱性を分析する。 我々は、人気のあるオープンソースおよび商用エージェントに対する一連の実証的な攻撃を行い、その脆弱性の即時的な影響を実証した。
  論文  参考訳（メタデータ） (2025-02-12T17:19:36Z)
• SoK: A Systems Perspective on Compound AI Threats and Countermeasures [3.458371054070399]
  我々は、複合AIシステムに適用可能な、異なるソフトウェアとハードウェアの攻撃について議論する。 複数の攻撃機構を組み合わせることで、孤立攻撃に必要な脅威モデル仮定をいかに削減できるかを示す。
  論文  参考訳（メタデータ） (2024-11-20T17:08:38Z)
• AgentHarm: A Benchmark for Measuring Harmfulness of LLM Agents [84.96249955105777]
  LLMエージェントは誤用された場合、より大きなリスクを引き起こすが、その堅牢性は未発見のままである。 我々は, LLMエージェント誤用の研究を容易にするために, AgentHarmと呼ばれる新しいベンチマークを提案する。 主要なLLMは、ジェイルブレイクなしで悪意のあるエージェント要求に驚くほど準拠している。
  論文  参考訳（メタデータ） (2024-10-11T17:39:22Z)
• Agent Security Bench (ASB): Formalizing and Benchmarking Attacks and Defenses in LLM-based Agents [32.62654499260479]
  我々は,LSMベースのエージェントの攻撃と防御を形式化し,ベンチマークし,評価するフレームワークであるAgen Security Bench (ASB)を紹介した。 ASBをベースとして、インジェクション攻撃10件、メモリ中毒攻撃、新しいPlan-of-Thoughtバックドア攻撃4件、混合攻撃11件をベンチマークした。 ベンチマークの結果,システムプロンプト,ユーザプロンプト処理,ツール使用量,メモリ検索など,エージェント操作のさまざまな段階における重大な脆弱性が明らかになった。
  論文  参考訳（メタデータ） (2024-10-03T16:30:47Z)
• On the Resilience of LLM-Based Multi-Agent Collaboration with Faulty Agents [58.79302663733703]
  大規模言語モデルに基づくマルチエージェントシステムは、専門家エージェントの協力により、様々なタスクにまたがる優れた能力を示している。 しかし、不器用なエージェントや悪意のあるエージェントがシステム全体のパフォーマンスに与える影響は、まだ解明されていない。 本稿では, 種々のシステム構造の耐震性について考察する。
  論文  参考訳（メタデータ） (2024-08-02T03:25:20Z)
• Internet of Agents: Weaving a Web of Heterogeneous Agents for Collaborative Intelligence [79.5316642687565]
  既存のマルチエージェントフレームワークは、多種多様なサードパーティエージェントの統合に苦慮することが多い。 我々はこれらの制限に対処する新しいフレームワークであるInternet of Agents (IoA)を提案する。 IoAはエージェント統合プロトコル、インスタントメッセージのようなアーキテクチャ設計、エージェントのチーム化と会話フロー制御のための動的メカニズムを導入している。
  論文  参考訳（メタデータ） (2024-07-09T17:33:24Z)
• AgentDojo: A Dynamic Environment to Evaluate Prompt Injection Attacks and Defenses for LLM Agents [27.701301913159067]
  我々は、信頼できないデータ上でツールを実行するエージェントの評価フレームワークであるAgentDojoを紹介した。 AgentDojoは静的テストスイートではなく、新しいエージェントタスク、ディフェンス、アダプティブアタックを設計、評価するための環境である。 AgentDojoには97の現実的なタスク、629のセキュリティテストケースと、文献からのさまざまな攻撃および防御パラダイムが組み込まれています。
  論文  参考訳（メタデータ） (2024-06-19T08:55:56Z)
• Dissecting Adversarial Robustness of Multimodal LM Agents [70.2077308846307]
  我々は、VisualWebArena上に現実的な脅威モデルを用いて、200の敵タスクと評価スクリプトを手動で作成する。 我々は,クロボックスフロンティアLMを用いた最新のエージェントを,リフレクションやツリーサーチを行うエージェントを含む,壊すことに成功している。 AREを使用して、新しいコンポーネントの追加に伴うロバスト性の変化を厳格に評価しています。
  論文  参考訳（メタデータ） (2024-06-18T17:32:48Z)
• Baseline Defenses for Adversarial Attacks Against Aligned Language Models [109.75753454188705]
  最近の研究は、テキストのモデレーションが防御をバイパスするジェイルブレイクのプロンプトを生み出すことを示している。 検出(複雑度に基づく)、入力前処理(言い換えと再帰化)、対人訓練の3種類の防衛について検討する。 テキストに対する既存の離散化の弱点と比較的高いコストの最適化が組み合わさって、標準適応攻撃をより困難にしていることがわかった。
  論文  参考訳（メタデータ） (2023-09-01T17:59:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。