論文の概要: APEX-Harm: Evaluating Agent Safety in Shared Professional Workspaces
- arxiv url: http://arxiv.org/abs/2610.13623v1
- Date: Fri, 09 Oct 2026 14:05:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-13 04:06:29.612518
- Title: APEX-Harm: Evaluating Agent Safety in Shared Professional Workspaces
- Title（参考訳）: APEX-Harm: 共有プロフェッショナルスペースにおけるエージェントの安全性評価
- Abstract要約: 我々は、金融、コンサルティング、法的タスクを行うエージェントに対して、プロンプトとスクリプトインジェクションを評価するためのベンチマークであるAPEX-Harmを紹介する。
各タスクには、メール、カレンダー、チャット、ドキュメント、スプレッドシート、PDF、コード実行ツールとともに、115から328のファイルが含まれている。
ベンチマークには、静的および動的インジェクション、タスク固有のスクリプト置換、アタッカーが提供するジェネリックスクリプトを含む6つのアタックカテゴリが含まれている。
- 参考スコア（独自算出の注目度）: 81.48656398420874
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Professional agents increasingly work through command-line interfaces and multiple tools over shared workspaces containing files, messages, and business applications. These environments create safety risks that are difficult to capture with attacks placed at a single, known read location. We introduce APEX-Harm, a benchmark for evaluating prompt and script injection against long-horizon agents performing finance, consulting, and legal tasks in large workspaces. Each task contains 115 to 328 files, together with email, calendar, chat, document, spreadsheet, PDF, and code-execution tools exposed through MCP servers. The benchmark includes six attack categories covering static and dynamic injections, task-specific script replacement, and attacker-provided generic scripts, and evaluates attack success, exposure, and task performance. We evaluate 12 frontier models on 180 task instances per model. Opus 5 and Sonnet 5 have the lowest overall attack success rates (8% and 20%), while task-specific script replacement and attacker-provided generic script attacks remain substantially more effective, averaging 81-84% and 73% attack success, respectively. Gemini 3.8 Flash achieves the highest mean task score (0.877) while still exhibiting a 33% attack success rate. These results show that completing the requested task is not sufficient evidence of safe behavior: an agent can produce a correct deliverable while also performing an unauthorized action in the workspace.
- Abstract（参考訳）: プロのエージェントは、ファイル、メッセージ、ビジネスアプリケーションを含む共有ワークスペース上で、コマンドラインインターフェースや複数のツールを介して作業するようになっている。
これらの環境は、単一の読み取り場所にある攻撃で捕捉し難い安全リスクを生み出します。
我々は,大規模ワークスペースにおける金融,コンサルティング,法的タスクを行う長期エージェントに対して,プロンプトとスクリプトインジェクションを評価するためのベンチマークであるAPEX-Harmを紹介する。
各タスクには、メール、カレンダー、チャット、ドキュメント、スプレッドシート、PDF、コード実行ツールとともに、115から328のファイルが含まれている。
このベンチマークには、静的および動的インジェクション、タスク固有のスクリプト置換、アタッカーが提供するジェネリックスクリプトを含む6つのアタックカテゴリが含まれており、攻撃の成功、露出、タスクパフォーマンスを評価している。
モデル毎に180のタスクインスタンス上で12のフロンティアモデルを評価する。
Opus 5とSonnet 5は、全体の攻撃成功率(8%と20%)が最も低く、タスク固有のスクリプト置換とアタッカーによるジェネリックスクリプト攻撃は、それぞれ81～84%、攻撃成功率は73%である。
Gemini 3.8 Flashは最高の平均タスクスコア(0.877)を達成し、それでも33%の攻撃成功率を示している。
これらの結果は、要求されたタスクの完了が安全な行動を示す十分な証拠ではないことを示している。
関連論文リスト
- NetAgent: Multi-Task Agentic Network Traffic Analysis Made Practical [53.87671627926138]
NetAgentはマルチタスクトラフィック分析のための最初のエージェントフレームワークである。
複雑なタスク理解、オンザフライの分解とオーケストレーション、動的リプランニング、ロングホライゾン分析をサポートする。
論文 参考訳（メタデータ） (2026-10-05T20:58:45Z) - MMSkillRisk: Can Agents Stay Safe When Multimodal Skills Become Traps? [20.554629787408754]
我々はMMSkillRiskを紹介した。MMSkillRiskは、マルチモーダルスキルにおける画像による攻撃のエンドツーエンド安全性評価のための最初のベンチマークである。
28のキュレートされたクリーンスキルから構築されたMMSkillRiskには、36のアタックパッケージと、5つのアタック目標にまたがる108の実行可能なケースが含まれている。
攻撃成功率は36.5%で、GPT-5.6-solは72.2%、Codexは72.2%だった。
論文 参考訳（メタデータ） (2026-09-28T08:07:45Z) - ClawsBench: Evaluating Capability and Safety of LLM Productivity Agents in Simulated Workspaces [17.202580606345666]
生産性タスクを自動化するために、大規模言語モデル(LLM)エージェントがますますデプロイされる。
既存のベンチマークは単純化された環境に依存しており、現実的なマルチサービス環境をキャプチャできない。
我々は,現実的な生産性設定におけるLCMエージェントの評価と改善のためのベンチマークであるClawsBenchを紹介する。
論文 参考訳（メタデータ） (2026-04-06T21:09:06Z) - SkillJect: Automating Stealthy Skill-Based Prompt Injection for Coding Agents with Trace-Driven Closed-Loop Refinement [120.52289344734415]
エージェントスキルに適したステルスプロンプトインジェクションのための自動フレームワークを提案する。
フレームワークは、明示的なステルス制約の下でインジェクションスキルを合成するアタックエージェント、インジェクションされたスキルを使用してタスクを実行するコードエージェント、アクショントレースをログする評価エージェントの3つのエージェントでクローズドループを形成する。
本手法は,現実的な環境下で高い攻撃成功率を達成する。
論文 参考訳（メタデータ） (2026-02-15T16:09:48Z) - Breaking the Code: Security Assessment of AI Code Agents Through Systematic Jailbreaking Attacks [11.371490212283383]
コード対応の大規模言語モデル(LLM)エージェントはソフトウェア工学に組み込まれ、コードを読み、書き、実行することができる。
JAWS-BENCHは、3つのエスカレーションワークスペースにまたがるベンチマークであり、攻撃能力を反映している。
JAWS-0のプロンプトのみの条件下では、コードエージェントは平均して61%の攻撃を受けており、58%が有害、52%がパース、27%がエンドツーエンドで実行される。
論文 参考訳（メタデータ） (2025-10-01T18:38:20Z) - OpenAgentSafety: A Comprehensive Framework for Evaluating Real-World AI Agent Safety [58.201189860217724]
OpenAgentSafetyは,8つの危機リスクカテゴリにまたがるエージェントの動作を評価する包括的なフレームワークである。
従来の作業とは異なり、我々のフレームワークは、Webブラウザ、コード実行環境、ファイルシステム、bashシェル、メッセージングプラットフォームなど、実際のツールと対話するエージェントを評価します。
ルールベースの分析とLSM-as-judgeアセスメントを組み合わせることで、過度な行動と微妙な不安全行動の両方を検出する。
論文 参考訳（メタデータ） (2025-07-08T16:18:54Z) - AgentVigil: Generic Black-Box Red-teaming for Indirect Prompt Injection against LLM Agents [54.29555239363013]
本稿では,間接的なインジェクション脆弱性を自動的に検出し,悪用するための汎用的なブラックボックスファジリングフレームワークであるAgentVigilを提案する。
我々はAgentVigilをAgentDojoとVWA-advの2つの公開ベンチマークで評価し、o3-miniとGPT-4oに基づくエージェントに対して71%と70%の成功率を達成した。
攻撃を現実世界の環境に適用し、悪質なサイトを含む任意のURLに誘導するエージェントをうまく誘導する。
論文 参考訳（メタデータ） (2025-05-09T07:40:17Z) - SafeAgentBench: A Benchmark for Safe Task Planning of Embodied LLM Agents [58.65256663334316]
我々は,対話型シミュレーション環境におけるLLMエージェントの安全性を考慮したタスク計画のための最初のベンチマークであるSafeAgentBenchを紹介する。
SafeAgentBenchは、(1)10の潜在的な危険と3つのタスクタイプをカバーするために厳格にキュレートされた750のタスクの実行可能な多種多様な高品質データセット、(2)低レベルコントローラを備えた普遍的な実施環境、9つの最先端ベースラインに対して17のハイレベルアクションでマルチエージェント実行をサポートするSafeAgentEnv、(3)実行とセマンティックの両方の観点から信頼性の高い評価方法を含む。
論文 参考訳（メタデータ） (2024-12-17T18:55:58Z) - Cybench: A Framework for Evaluating Cybersecurity Capabilities and Risks of Language Models [33.1538965735133]
Cybenchは、サイバーセキュリティタスクを特定し、それらのタスク上でエージェントを評価するためのフレームワークである。
4つの異なるCTFコンペティションから、40のプロフェッショナルレベルのCapture the Flag(CTF)タスクが含まれています。
GPT-4o, OpenAI o1-preview, Claude 3 Opus, Claude 3.5 Sonnet, Mixtral 8x22b Instruct, Gemini 1.5 Pro, Llama 3 70B Chat, Llama 3.1 405B Instruct。
論文 参考訳（メタデータ） (2024-08-15T17:23:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。