論文の概要: AgentCanary: A Security Evaluation Framework for Autonomous AI Agents in Real Executable Environments
- arxiv url: http://arxiv.org/abs/2606.10484v1
- Date: Tue, 09 Jun 2026 06:55:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-11 16:42:37.996609
- Title: AgentCanary: A Security Evaluation Framework for Autonomous AI Agents in Real Executable Environments
- Title（参考訳）: AgentCanary: 実行可能な環境における自律型AIエージェントのセキュリティ評価フレームワーク
- Abstract要約: 本稿では,自律型AIエージェントの総合的セキュリティ評価フレームワークであるAgentCanaryを提案する。
AgentCanaryは3つのコントリビューションに沿って、システマティックなソリューションを提供する。
我々は,AgentCanaryのフロンティアモデルに対して,複数の確立した敵攻撃手法に対して,幅広いフロンティアモデルを評価する。
- 参考スコア（独自算出の注目度）: 32.982317538632806
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Autonomous AI agents have driven the transition from conversation to task execution, shifting security failures from textual deception to system compromise. Although security evaluation is crucial for proactive risk prevention, prior work is constrained by fundamental bottlenecks, including fragmented risk coverage, static or low-fidelity execution environments, and single-dimensional and coarse-grained assessment metrics. To address these challenges, we propose AgentCanary, a comprehensive security evaluation framework for autonomous AI agents. AgentCanary provides a systematic solution along three contributions. First, comprehensive risk coverage: we introduce an orthogonal Entry $\times$ Impact risk taxonomy that decouples how adversarial influence enters the agent from what harm it ultimately causes, and instantiate it as a scenario-aligned task suite spanning realistic deployment workflows. Second, a high-fidelity real executable environment: rather than static Q&A or mocked tool responses, agents interact with real tools against dynamically provisioned task artifacts, with persistent state across multi-step interactions that naturally supports long-horizon attack evaluation. Third, trajectory-grounded multi-dimensional evaluation: evaluation consumes the full agent trajectory rather than the reply text or a single tool call, enabling decomposed scoring along three orthogonal dimensions, Outcome Safety, Security Awareness, and Task Utility. We evaluate a broad set of frontier models on AgentCanary against multiple established adversarial attack methods across three agent frameworks. The results reveal that current agents often fail to recognize the attacks they face, particularly under compromised skills, persistent state, and long-horizon execution attacks, and provide a systematic baseline for developing more reliable and secure agent systems.
- Abstract（参考訳）: 自律型AIエージェントは、会話からタスク実行への移行を推進し、セキュリティ障害をテキスト偽装からシステム妥協に移行した。
セキュリティ評価は、積極的なリスク予防には不可欠だが、事前の作業は、断片化されたリスクカバレッジ、静的または低忠実な実行環境、一次元および粗い粒度の評価指標など、基本的なボトルネックによって制約される。
これらの課題に対処するために,自律型AIエージェントのための総合的なセキュリティ評価フレームワークであるAgentCanaryを提案する。
AgentCanaryは3つのコントリビューションに沿って、システマティックなソリューションを提供する。
まず、総合的なリスクカバレッジ: 直交的なエントリ$\times$ Impact Risk Taxonomyを導入し、敵対的影響がエージェントにどのような影響をもたらすのかを、最終的に原因となるものから分離し、現実的なデプロイメントワークフローにまたがるシナリオ整合タスクスイートとしてインスタンス化する。
第2に、高忠実な実実行環境 – 静的Q&Aやモックツール応答ではなく、エージェントは動的にプロビジョニングされたタスクアーティファクトに対して実際のツールと対話する。
第三に、軌道上の多次元評価: 評価は、応答テキストや単一のツールコールではなく、完全なエージェントの軌跡を消費し、アウトカムセーフ、セキュリティ意識、タスクユーティリティの3つの直交次元に沿って分解されたスコアを可能にする。
我々は,エージェントCanary上のフロンティアモデルと,3つのエージェントフレームワークにわたる複数の確立された敵攻撃手法を比較検討した。
その結果、現在のエージェントは、特に妥協されたスキル、永続的な状態、長期にわたる実行攻撃の下で、彼らが直面している攻撃を認識することができず、より信頼性が高く安全なエージェントシステムを開発するための体系的なベースラインを提供することが明らかとなった。
関連論文リスト
- SeClaw: Spec-Driven Security Task Synthesis for Evaluating Autonomous Agents [87.26967184869198]
SeClawは、仕様駆動のセキュリティタスク合成と、自律エージェントの実行ベースのセキュリティ評価を組み合わせたフレームワークである。
ベンチマークは、リソース、ユーザタスク、環境、本質的なエージェントの振る舞いから生じるリスクをカバーしている。
論文 参考訳（メタデータ） (2026-06-01T14:23:42Z) - Towards trustworthy agentic AI: a comprehensive survey of safety, robustness, privacy, and system security [57.35851886874902]
エージェントAIシステムは、複雑なタスクを自律的に実行するが、その多段階の軌道には、信頼性に挑戦する新たな障害モードが導入されている。
この調査では、リスクの高いデプロイメントに不可欠な2つのコアディメンションを通じて、信頼できるエージェントAIを精査する。
各次元について、重要な概念を明確にし、エージェントワークフローに沿ってリスクが発生する場所を特定し、ステージ目標の緩和戦略を要約する。
論文 参考訳（メタデータ） (2026-05-17T10:26:37Z) - DecodingTrust-Agent Platform (DTap): A Controllable and Interactive Red-Teaming Platform for AI Agents [121.77550256034]
DecodingTrust-Agent Platform (DTap)は、AIエージェントのためのコントロール可能でインタラクティブなレッドチームプラットフォームである。
DTap-Redは、多様なインジェクションベクターを探索し、効果的な攻撃戦略を自律的に発見する、最初の自律的赤チームエージェントである。
DTapを通じて、さまざまなバックボーンモデル上に構築された一般的なAIエージェントの大規模評価を行う。
論文 参考訳（メタデータ） (2026-05-06T11:59:48Z) - Your Agent is More Brittle Than You Think: Uncovering Indirect Injection Vulnerabilities in Agentic LLMs [32.38053469964495]
システム間インタラクションを含む拡張されたアクションスペースは、深刻なセキュリティ上の問題を引き起こす。
悪意のある命令をサードパーティのコンテンツ内に隠蔽するIPIは、データ流出などの不正なアクションをトリガーする。
9個のLPMバックボーンにまたがる4つの高度なIPI攻撃ベクトルに対する6つの防御戦略を評価した。
論文 参考訳（メタデータ） (2026-04-04T21:27:04Z) - Cognitive Control Architecture (CCA): A Lifecycle Supervision Framework for Robustly Aligned AI Agents [1.014002853673217]
LLMエージェントはIPI(Indirect Prompt Injection)攻撃に対して脆弱である。
IPIは外部情報ソースを汚染することでハイジャックエージェントの動作を攻撃している。
本稿では,全ライフサイクルの認知管理を実現するための総合的な枠組みである認知制御アーキテクチャ(CCA)を提案する。
論文 参考訳（メタデータ） (2025-12-07T08:11:19Z) - OpenAgentSafety: A Comprehensive Framework for Evaluating Real-World AI Agent Safety [58.201189860217724]
OpenAgentSafetyは,8つの危機リスクカテゴリにまたがるエージェントの動作を評価する包括的なフレームワークである。
従来の作業とは異なり、我々のフレームワークは、Webブラウザ、コード実行環境、ファイルシステム、bashシェル、メッセージングプラットフォームなど、実際のツールと対話するエージェントを評価します。
ルールベースの分析とLSM-as-judgeアセスメントを組み合わせることで、過度な行動と微妙な不安全行動の両方を検出する。
論文 参考訳（メタデータ） (2025-07-08T16:18:54Z) - SafeMobile: Chain-level Jailbreak Detection and Automated Evaluation for Multimodal Mobile Agents [58.21223208538351]
本研究は,モバイルマルチモーダルエージェントを取り巻くセキュリティ問題について考察する。
行動シーケンス情報を組み込んだリスク識別機構の構築を試みる。
また、大規模言語モデルに基づく自動アセスメントスキームも設計している。
論文 参考訳（メタデータ） (2025-07-01T15:10:00Z) - Guardians of the Agentic System: Preventing Many Shots Jailbreak with Agentic System [0.8136541584281987]
本研究は,3つの検査手法を用いて,逆チューリングテストによりローグエージェントを検出し,マルチエージェントシミュレーションにより知覚的アライメントを解析する。
GEMINI 1.5 Pro と llama-3.3-70B, Deepseek r1 モデルを用いて, 抗ジェイルブレイクシステムを開発した。
GEMINI 1.5 Proの94%の精度など、検出能力は強いが、長時間の攻撃を受けた場合、システムは永続的な脆弱性に悩まされる。
論文 参考訳（メタデータ） (2025-02-23T23:35:15Z) - SafeAgentBench: A Benchmark for Safe Task Planning of Embodied LLM Agents [58.65256663334316]
我々は,対話型シミュレーション環境におけるLLMエージェントの安全性を考慮したタスク計画のための最初のベンチマークであるSafeAgentBenchを紹介する。
SafeAgentBenchは、(1)10の潜在的な危険と3つのタスクタイプをカバーするために厳格にキュレートされた750のタスクの実行可能な多種多様な高品質データセット、(2)低レベルコントローラを備えた普遍的な実施環境、9つの最先端ベースラインに対して17のハイレベルアクションでマルチエージェント実行をサポートするSafeAgentEnv、(3)実行とセマンティックの両方の観点から信頼性の高い評価方法を含む。
論文 参考訳（メタデータ） (2024-12-17T18:55:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。