論文の概要: OpenAgentSafety: A Comprehensive Framework for Evaluating Real-World AI Agent Safety

• arxiv url: http://arxiv.org/abs/2507.06134v1
• Date: Tue, 08 Jul 2025 16:18:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-09 16:34:38.337209
• Title: OpenAgentSafety: A Comprehensive Framework for Evaluating Real-World AI Agent Safety
• Title（参考訳）: OpenAgentSafety: 現実世界のAIエージェントの安全性を評価するための総合的なフレームワーク
• Authors: Sanidhya Vijayvargiya, Aditya Bharat Soni, Xuhui Zhou, Zora Zhiruo Wang, Nouha Dziri, Graham Neubig, Maarten Sap,
• Abstract要約: OpenAgentSafetyは,8つの危機リスクカテゴリにまたがるエージェントの動作を評価する包括的なフレームワークである。 従来の作業とは異なり、我々のフレームワークは、Webブラウザ、コード実行環境、ファイルシステム、bashシェル、メッセージングプラットフォームなど、実際のツールと対話するエージェントを評価します。 ルールベースの分析とLSM-as-judgeアセスメントを組み合わせることで、過度な行動と微妙な不安全行動の両方を検出する。
• 参考スコア（独自算出の注目度）: 58.201189860217724
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in AI agents capable of solving complex, everyday tasks, from scheduling to customer service, have enabled deployment in real-world settings, but their possibilities for unsafe behavior demands rigorous evaluation. While prior benchmarks have attempted to assess agent safety, most fall short by relying on simulated environments, narrow task domains, or unrealistic tool abstractions. We introduce OpenAgentSafety, a comprehensive and modular framework for evaluating agent behavior across eight critical risk categories. Unlike prior work, our framework evaluates agents that interact with real tools, including web browsers, code execution environments, file systems, bash shells, and messaging platforms; and supports over 350 multi-turn, multi-user tasks spanning both benign and adversarial user intents. OpenAgentSafety is designed for extensibility, allowing researchers to add tools, tasks, websites, and adversarial strategies with minimal effort. It combines rule-based analysis with LLM-as-judge assessments to detect both overt and subtle unsafe behaviors. Empirical analysis of five prominent LLMs in agentic scenarios reveals unsafe behavior in 51.2% of safety-vulnerable tasks with Claude-Sonnet-3.7, to 72.7% with o3-mini, highlighting critical safety vulnerabilities and the need for stronger safeguards before real-world deployment.
• Abstract（参考訳）: スケジューリングからカスタマサービスに至るまで、複雑な日常的なタスクを解決できるAIエージェントの最近の進歩は、現実の環境でのデプロイメントを可能にしているが、その安全でない行動の可能性は厳格な評価を必要とする。 以前のベンチマークではエージェントの安全性の評価が試みられていたが、ほとんどの場合、シミュレーションされた環境、狭いタスクドメイン、非現実的なツール抽象化に依存して不足している。 OpenAgentSafetyは,8つのクリティカルリスクカテゴリにわたるエージェントの動作を評価するための,包括的でモジュール化されたフレームワークです。 従来の作業とは異なり、我々のフレームワークは、Webブラウザ、コード実行環境、ファイルシステム、bashシェル、メッセージングプラットフォームなど、実際のツールと対話するエージェントを評価します。 OpenAgentSafetyは拡張性のために設計されており、最小限の努力でツール、タスク、ウェブサイト、および敵戦略を追加することができる。 ルールベースの分析とLSM-as-judgeアセスメントを組み合わせることで、過度な行動と微妙な不安全行動の両方を検出する。 エージェントシナリオにおける5つの顕著なLCMの実証分析では、クロード・ソネット-3.7の安全性を損なうタスクの51.2%から、o3-miniの72.7%まで、安全性の重大な脆弱性と、実際の展開前により強力なセーフガードの必要性を強調している。

関連論文リスト

• Kaleidoscopic Teaming in Multi Agent Simulations [75.47388708240042]
  我々は,エージェントが行う複雑な行動,思考プロセス,行動の安全性リスクを評価する上で,既存のレッドチームや安全評価フレームワークは不十分であると主張している。 我々は,新しいコンテキスト内最適化手法を導入し,安全解析のためのより良いシナリオを生成する。 エージェントの安全性を測定するためのフレームワークとともに使用できる適切なメトリクスを提案する。
  論文  参考訳（メタデータ） (2025-06-20T23:37:17Z)
• Automating Safety Enhancement for LLM-based Agents with Synthetic Risk Scenarios [77.86600052899156]
  LLM(Large Language Model)ベースのエージェントは、現実のアプリケーションにますますデプロイされる。 完全自動合成データ生成によるエージェント安全性を体系的に向上する最初のフレームワークであるAutoSafeを提案する。 AutoSafeは安全性のスコアを平均で45%向上させ、現実世界のタスクでは28.91%の改善を実現している。
  論文  参考訳（メタデータ） (2025-05-23T10:56:06Z)
• AgentVigil: Generic Black-Box Red-teaming for Indirect Prompt Injection against LLM Agents [54.29555239363013]
  本稿では,間接的なインジェクション脆弱性を自動的に検出し,悪用するための汎用的なブラックボックスファジリングフレームワークであるAgentVigilを提案する。 我々はAgentVigilをAgentDojoとVWA-advの2つの公開ベンチマークで評価し、o3-miniとGPT-4oに基づくエージェントに対して71%と70%の成功率を達成した。 攻撃を現実世界の環境に適用し、悪質なサイトを含む任意のURLに誘導するエージェントをうまく誘導する。
  論文  参考訳（メタデータ） (2025-05-09T07:40:17Z)
• LlamaFirewall: An open source guardrail system for building secure AI agents [0.5603362829699733]
  大規模言語モデル(LLM)は、単純なチャットボットから複雑なタスクを実行できる自律エージェントへと進化してきた。 リスクを軽減するための決定論的解決策が欠如していることを考えると、リアルタイムガードレールモニターが不可欠である。 私たちはオープンソースのセキュリティにフォーカスしたガードレールフレームワークであるLlamaFirewallを紹介します。
  論文  参考訳（メタデータ） (2025-05-06T14:34:21Z)
• SafeAgentBench: A Benchmark for Safe Task Planning of Embodied LLM Agents [42.69984822098671]
  既存のベンチマークは主に重要な安全リスクを見落とし、パフォーマンスの計画に集中しています。 我々は,対話型シミュレーション環境におけるLLMエージェントの安全性を考慮したタスク計画のための最初のベンチマークであるSafeAgentBenchを提案する。 SafeAgentBenchは、(1)10の潜在的な危険と3つのタスクタイプをカバーするために厳格にキュレートされた750のタスクの実行可能な、多種多様で高品質なデータセット、(2)低レベルコントローラを備えた普遍的な実施環境であるSafeAgentEnvは、8つの最先端ベースラインに対して17のハイレベルアクションでマルチエージェント実行をサポートし、(3)実行とセマンティックの両方の観点から信頼性の高い評価方法である。
  論文  参考訳（メタデータ） (2024-12-17T18:55:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。