論文の概要: DUMA-Bench: A Dual-Control Multi-Agent Benchmark for Evaluating LLM Agent Security
- arxiv url: http://arxiv.org/abs/2609.24662v1
- Date: Mon, 21 Sep 2026 14:28:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-23 18:04:04.004543
- Title: DUMA-Bench: A Dual-Control Multi-Agent Benchmark for Evaluating LLM Agent Security
- Title（参考訳）: DUMA-Bench: LLMエージェントのセキュリティ評価のためのデュアルコントロルマルチエージェントベンチマーク
- Abstract要約: LLMベースのエージェントは、ユーザやツール、外部システムと対話する環境において、ますます運用されるようになっている。
エージェントのセキュリティ評価のためのベンチマークおよび評価プロトコルである textbfDUMA-Bench を導入する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: LLM-based agents increasingly operate in environments where they interact with users, tools, and external systems. Yet most security evaluations assume passive users and static control, ignoring the interactive dynamics that shape real agent behavior. We introduce \textbf{DUMA-Bench}, a benchmark and evaluation protocol for measuring agent security under \emph{dual-control} interaction, where both the agent and the user can influence the shared environment state. DUMA-Bench extends $τ^2$-bench ~\cite{barres2025tau} with adversarial environments covering eight vulnerability classes, including RAG poisoning, cross-agent manipulation, and unsafe output handling. We evaluate \textbf{14 models from five model families} (OpenAI, Anthropic, DeepSeek, Qwen, and Z.ai) across eight domains and multiple user-behavior regimes. Across our experiments, introducing dual-control interaction increases the attack success rate from \textbf{26.9\%} to \textbf{41.1\%}. These results show that agent security is not solely a property of the model but emerges from the interaction between the model, the user, and the environment. DUMA-Bench provides a missing evaluation layer for studying security in realistic agent deployments.
- Abstract（参考訳）: LLMベースのエージェントは、ユーザやツール、外部システムと対話する環境において、ますます運用されるようになっている。
しかし、ほとんどのセキュリティ評価では、受動的ユーザと静的制御を前提としており、実際のエージェントの動作を形作るインタラクティブなダイナミクスを無視している。
本稿では, エージェントとユーザの両方が共有環境の状態に影響を及ぼすことのできる, エージェントのセキュリティ測定のためのベンチマークおよび評価プロトコルである \textbf{DUMA-Bench} を紹介する。
DUMA-Benchは$τ^2$-bench ~\cite{barres2025tau}を拡張し、RAG中毒、クロスエージェント操作、安全でない出力処理を含む8つの脆弱性クラスをカバーする。
我々は,5つのモデルファミリ(OpenAI, Anthropic, DeepSeek, Qwen, Z.ai)から,8つのドメインと複数のユーザビヘイビアレジームを対象とする‘textbf{14モデル’を評価する。
実験全体を通して、二重制御相互作用の導入は、攻撃成功率を \textbf{26.9\%} から \textbf{41.1\%} に引き上げる。
これらの結果は、エージェントのセキュリティが単にモデルのプロパティであるだけでなく、モデルとユーザと環境の間のインタラクションから生まれることを示している。
DUMA-Benchは、現実的なエージェントデプロイメントのセキュリティを研究するための、欠落した評価レイヤを提供する。
関連論文リスト
- AgentHijack: Benchmarking Computer Use Agent Robustness to Common Environment Corruptions [78.49000936275773]
我々は、一般的な汚職下でのコンピュータ利用エージェントの堅牢性を評価するために設計されたベンチマークであるAgentHijackを紹介する。
MLLMをベースとした各種デスクトップタスクを評価し, 汚職の小さな事例であっても, 大幅な性能劣化が生じることを確認した。
本稿では,動作の要約と環境チェックに責任を負う見物人として,アクションジェネレータと接地機能を統合したフレームワークであるAgent Hijack-Agentを提案する。
論文 参考訳（メタデータ） (2026-05-25T11:09:22Z) - BackdoorAgent: A Unified Framework for Backdoor Attacks on LLM-based Agents [58.83028403414688]
大規模言語モデル(LLM)エージェントは、計画、メモリ、ツールの使用を組み合わせた多段階ワークフローを通じてタスクを実行する。
エージェントワークフローの特定のステージに注入されたバックドアトリガーは、複数の中間状態を通して持続し、下流出力に悪影響を及ぼす可能性がある。
LLMエージェントにおけるバックドア脅威を統一したエージェント中心のビューを提供するモジュールおよびステージアウェアフレームワークである textbfBackdoorAgent を提案する。
論文 参考訳（メタデータ） (2026-01-08T03:49:39Z) - OpenAgentSafety: A Comprehensive Framework for Evaluating Real-World AI Agent Safety [58.201189860217724]
OpenAgentSafetyは,8つの危機リスクカテゴリにまたがるエージェントの動作を評価する包括的なフレームワークである。
従来の作業とは異なり、我々のフレームワークは、Webブラウザ、コード実行環境、ファイルシステム、bashシェル、メッセージングプラットフォームなど、実際のツールと対話するエージェントを評価します。
ルールベースの分析とLSM-as-judgeアセスメントを組み合わせることで、過度な行動と微妙な不安全行動の両方を検出する。
論文 参考訳（メタデータ） (2025-07-08T16:18:54Z) - DRIFT: Dynamic Rule-Based Defense with Injection Isolation for Securing LLM Agents [52.92354372596197]
大規模言語モデル(LLM)は、強力な推論と計画能力のため、エージェントシステムの中心となってきています。
この相互作用は、外部ソースからの悪意のある入力がエージェントの振る舞いを誤解させる可能性がある、インジェクション攻撃のリスクも引き起こす。
本稿では,信頼に値するエージェントシステムのための動的ルールベースの分離フレームワークを提案する。
論文 参考訳（メタデータ） (2025-06-13T05:01:09Z) - $τ^2$-Bench: Evaluating Conversational Agents in a Dual-Control Environment [32.345011712015435]
AIエージェントの既存のベンチマークは、シングルコントロール環境をシミュレートする。
我々は$tau2$-benchを導入し、エージェントとユーザの両方が、共有された動的な環境で動くツールを活用しています。
特に,エージェントが非ユーザからデュアルコントロールに移行すると,パフォーマンスが著しく低下する。
論文 参考訳（メタデータ） (2025-06-09T17:52:18Z) - Mobile-Bench-v2: A More Realistic and Comprehensive Benchmark for VLM-based Mobile Agents [33.899782380901314]
VLMベースのモバイルエージェントは、スマートフォンのGUIやXML構造化テキストと対話できることから、ますます人気が高まっている。
既存のオンラインベンチマークは、動的環境変化による安定した報酬信号を得るのに苦労している。
Mobile-Bench-v2は共通タスク分割を含み、オフラインのマルチパス評価によってエージェントがステップ報酬を得る能力を評価する。
論文 参考訳（メタデータ） (2025-05-17T07:58:34Z) - Dissecting Adversarial Robustness of Multimodal LM Agents [70.2077308846307]
我々は、VisualWebArena上に現実的な脅威モデルを用いて、200の敵タスクと評価スクリプトを手動で作成する。
我々は,クロボックスフロンティアLMを用いた最新のエージェントを,リフレクションやツリーサーチを行うエージェントを含む,壊すことに成功している。
AREを使用して、新しいコンポーネントの追加に伴うロバスト性の変化を厳格に評価しています。
論文 参考訳（メタデータ） (2024-06-18T17:32:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。