論文の概要: Black-Box Red Teaming of Agentic AI: A Taxonomy-Driven Framework for Automated Risk Discovery
- arxiv url: http://arxiv.org/abs/2609.09647v1
- Date: Wed, 09 Sep 2026 03:00:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.879032
- Title: Black-Box Red Teaming of Agentic AI: A Taxonomy-Driven Framework for Automated Risk Discovery
- Title（参考訳）: エージェントAIのブラックボックスチーム:リスク発見自動化のための分類駆動フレームワーク
- Abstract要約: 基本システム記述のみを必要とするリスク対応エージェント評価のための体系的ブラックボックスフレームワークを提案する。
提案手法では,(1)リスクカテゴリに可観測行動をマッピングする7つのドメイン分類法,(2)ドメイン毎に120の逆シナリオを生成する完全自動化されたSAGE-RTレッドチーム,(3)LLM判定を用いた人為的評価を提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Agentic systems are rapidly moving to production, where they read untrusted inputs, call tools with real permissions, and act autonomously, expanding the security surface beyond chat-only models. Yet standard evaluations remain single-turn and fail to capture multi-step agent vulnerabilities. We present a systematic black-box framework for risk-aware agent evaluation requiring only basic system descriptions. Our approach introduces: (1) a seven-domain taxonomy mapping observable behaviors to risk categories, (2) fully automated SAGE-RT red teaming producing 120 adversarial scenarios per domain, and (3) human-validated evaluation using LLM judges. Empirical validation across two agent architectures (CrewAI and AutoGen) with four base models reveals alarming patterns: 56.25\% average governance risk, 65\% privacy risk in multi-agent configurations, and agent behavior vulnerabilities reaching 85\%. Our black-box approach effectively identifies critical architectural vulnerabilities without privileged access, providing a scalable path toward safer agent deployments.
- Abstract（参考訳）: エージェントシステムは急速に本番環境に移行し、信頼できない入力を読み、実際の許可でツールを呼び出し、自律的に行動し、チャットのみのモデルを超えてセキュリティ面を拡張する。
しかし、標準的な評価はシングルターンのままであり、マルチステップエージェントの脆弱性を捕捉できない。
基本システム記述のみを必要とするリスク対応エージェント評価のための体系的ブラックボックスフレームワークを提案する。
提案手法では,(1)リスクカテゴリに可観測行動をマッピングする7つの領域分類法,(2)ドメイン毎に120の逆シナリオを生成する完全自動化SAGE-RTレッドチーム,(3)LLM判定を用いた人為的評価を提案する。
4つのベースモデルを持つ2つのエージェントアーキテクチャ(CrewAIとAutoGen)の実証検証では、平均的なガバナンスリスク56.25\%、マルチエージェント構成におけるプライバシリスク65\%、エージェントの動作脆弱性85\%という警告パターンが明らかになった。
私たちのブラックボックスアプローチは、特権アクセスなしで重要なアーキテクチャ上の脆弱性を効果的に識別し、より安全なエージェントデプロイメントへのスケーラブルなパスを提供します。
関連論文リスト
- A New Framework for Cybersecurity Refusals in AI Agents [52.94784168139071]
攻撃的セキュリティの文脈において、拒絶境界を確立するための最初の枠組みを提示する。
本研究では,現在のLLMエージェントがWebベースの攻撃的セキュリティシナリオにおいて,適切な拒絶境界にどのように準拠しているかを評価するために,このフレームワークを適用した。
論文 参考訳（メタデータ） (2026-05-31T15:39:39Z) - DecodingTrust-Agent Platform (DTap): A Controllable and Interactive Red-Teaming Platform for AI Agents [121.77550256034]
DecodingTrust-Agent Platform (DTap)は、AIエージェントのためのコントロール可能でインタラクティブなレッドチームプラットフォームである。
DTap-Redは、多様なインジェクションベクターを探索し、効果的な攻撃戦略を自律的に発見する、最初の自律的赤チームエージェントである。
DTapを通じて、さまざまなバックボーンモデル上に構築された一般的なAIエージェントの大規模評価を行う。
論文 参考訳（メタデータ） (2026-05-06T11:59:48Z) - Parallax: Why AI Agents That Think Must Never Act [0.0]
本稿では,4つの原則に基づく自律型AI実行のパラダイムであるParallaxを紹介する。
本稿では、Goのオープンソースリファレンス実装であるOpenParallaxを紹介し、Assume-Compromise Evaluationを用いて評価する。
9つの攻撃カテゴリにおける280件の敵の試験ケースのうち、パララックスは98.9%の攻撃をブロックし、デフォルト設定ではゼロの偽陽性、最大セキュリティ設定では100%の攻撃をブロックした。
論文 参考訳（メタデータ） (2026-04-14T17:20:48Z) - Security Considerations for Multi-agent Systems [4.004329206052807]
マルチエージェント人工知能システム(英: Multi-agent AI system、MAS)は、エージェント間のコミュニケーションを通じて、委任されたツール権限を行使し、永続的なメモリを共有し、コーディネートする自律エージェントのシステムである。
本研究は、MASの脅威景観を体系的に特徴づけ、それに対するAIのための16のセキュリティフレームワークを定量的に評価する。
論文 参考訳（メタデータ） (2026-03-09T22:46:27Z) - Just Ask: Curious Code Agents Reveal System Prompts in Frontier LLMs [65.6660735371212]
textbftextscJustAskは,インタラクションのみで効果的な抽出戦略を自律的に発見するフレームワークである。
これは、アッパー信頼境界に基づく戦略選択と、原子プローブと高レベルのオーケストレーションにまたがる階層的なスキル空間を用いて、オンライン探索問題として抽出を定式化する。
この結果から,現代のエージェントシステムにおいて,システムプロンプトは致命的ではあるがほぼ無防備な攻撃面であることがわかった。
論文 参考訳（メタデータ） (2026-01-29T03:53:25Z) - Automated Red-Teaming Framework for Large Language Model Security Assessment: A Comprehensive Attack Generation and Detection System [4.864011355064205]
本稿では,大規模言語モデル(LLM)におけるセキュリティ脆弱性を明らかにするための,敵のプロンプトを生成し,実行し,評価する自動リピートフレームワークを提案する。
本フレームワークは,メタプロンプトに基づく攻撃合成,マルチモーダル脆弱性検出,および6つの主要な脅威カテゴリにまたがる標準化された評価プロトコルを統合する。
GPT-OSS-20Bモデルの実験では、21の重大度と12の新たな攻撃パターンを含む47の異なる脆弱性が明らかになった。
論文 参考訳（メタデータ） (2025-12-21T19:12:44Z) - OpenAgentSafety: A Comprehensive Framework for Evaluating Real-World AI Agent Safety [58.201189860217724]
OpenAgentSafetyは,8つの危機リスクカテゴリにまたがるエージェントの動作を評価する包括的なフレームワークである。
従来の作業とは異なり、我々のフレームワークは、Webブラウザ、コード実行環境、ファイルシステム、bashシェル、メッセージングプラットフォームなど、実際のツールと対話するエージェントを評価します。
ルールベースの分析とLSM-as-judgeアセスメントを組み合わせることで、過度な行動と微妙な不安全行動の両方を検出する。
論文 参考訳（メタデータ） (2025-07-08T16:18:54Z) - SafeMobile: Chain-level Jailbreak Detection and Automated Evaluation for Multimodal Mobile Agents [58.21223208538351]
本研究は,モバイルマルチモーダルエージェントを取り巻くセキュリティ問題について考察する。
行動シーケンス情報を組み込んだリスク識別機構の構築を試みる。
また、大規模言語モデルに基づく自動アセスメントスキームも設計している。
論文 参考訳（メタデータ） (2025-07-01T15:10:00Z) - AgentVigil: Generic Black-Box Red-teaming for Indirect Prompt Injection against LLM Agents [54.29555239363013]
本稿では,間接的なインジェクション脆弱性を自動的に検出し,悪用するための汎用的なブラックボックスファジリングフレームワークであるAgentVigilを提案する。
我々はAgentVigilをAgentDojoとVWA-advの2つの公開ベンチマークで評価し、o3-miniとGPT-4oに基づくエージェントに対して71%と70%の成功率を達成した。
攻撃を現実世界の環境に適用し、悪質なサイトを含む任意のURLに誘導するエージェントをうまく誘導する。
論文 参考訳（メタデータ） (2025-05-09T07:40:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。