論文の概要: A Safety and Security Framework for Real-World Agentic Systems

• arxiv url: http://arxiv.org/abs/2511.21990v1
• Date: Thu, 27 Nov 2025 00:19:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-01 19:47:55.33639
• Title: A Safety and Security Framework for Real-World Agentic Systems
• Title（参考訳）: 実世界のエージェントシステムのための安全とセキュリティの枠組み
• Authors: Shaona Ghosh, Barnaby Simkin, Kyriacos Shiarlis, Soumili Nandi, Dan Zhao, Matthew Fiedler, Julia Bazinska, Nikki Pope, Roopa Prabhu, Daniel Rohrer, Michael Demoret, Bartley Richardson,
• Abstract要約: 本稿では,企業展開におけるエージェントAIシステムの確保のための動的かつ実用的なフレームワークを提案する。 本稿では,ユーザ安全のレンズによる新たなエージェントリスクの同定手法を提案する。 NVIDIAのフラッグシップエージェント研究アシスタントであるAI-Q Research Assistantの詳細なケーススタディを通じて、フレームワークの有効性を実証する。
• 参考スコア（独自算出の注目度）: 2.05255620498371
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper introduces a dynamic and actionable framework for securing agentic AI systems in enterprise deployment. We contend that safety and security are not merely fixed attributes of individual models but also emergent properties arising from the dynamic interactions among models, orchestrators, tools, and data within their operating environments. We propose a new way of identification of novel agentic risks through the lens of user safety. Although, for traditional LLMs and agentic models in isolation, safety and security has a clear separation, through the lens of safety in agentic systems, they appear to be connected. Building on this foundation, we define an operational agentic risk taxonomy that unifies traditional safety and security concerns with novel, uniquely agentic risks, including tool misuse, cascading action chains, and unintended control amplification among others. At the core of our approach is a dynamic agentic safety and security framework that operationalizes contextual agentic risk management by using auxiliary AI models and agents, with human oversight, to assist in contextual risk discovery, evaluation, and mitigation. We further address one of the most challenging aspects of safety and security of agentic systems: risk discovery through sandboxed, AI-driven red teaming. We demonstrate the framework effectiveness through a detailed case study of NVIDIA flagship agentic research assistant, AI-Q Research Assistant, showcasing practical, end-to-end safety and security evaluations in complex, enterprise-grade agentic workflows. This risk discovery phase finds novel agentic risks that are then contextually mitigated. We also release the dataset from our case study, containing traces of over 10,000 realistic attack and defense executions of the agentic workflow to help advance research in agentic safety.
• Abstract（参考訳）: 本稿では,企業展開におけるエージェントAIシステムの確保のための動的かつ実用的なフレームワークを提案する。 安全とセキュリティは、個々のモデルの固定属性であるだけでなく、モデル、オーケストレータ、ツール、および運用環境内のデータ間の動的相互作用から生じる創発的特性でもある、と我々は主張する。 本稿では,ユーザ安全のレンズによる新たなエージェントリスクの同定手法を提案する。 従来のLLMやエージェントモデルでは、安全性と安全性は明確に分離されているが、エージェントシステムの安全性のレンズを通して、それらが接続されているように見える。 本財団を基盤として,従来の安全・セキュリティ上の問題と,ツール誤用,カスケード行動連鎖,意図しない制御増幅など,独特なエージェント的リスクとを一体化して運用するエージェント的リスク分類を定義した。 このアプローチのコアとなるのは、コンテキスト的リスク発見、評価、緩和を支援するために、補助的なAIモデルとエージェントを使用して、コンテキスト的エージェントリスク管理を運用する動的エージェント安全性とセキュリティフレームワークです。 私たちはさらに、エージェントシステムの安全性とセキュリティに関する最も困難な側面の1つに対処しています。 NVIDIAのフラッグシップエージェント研究アシスタントであるAI-Q Research Assistantの詳細なケーススタディにより、複雑なエンタープライズレベルのエージェントワークフローにおいて、実用的でエンドツーエンドの安全性とセキュリティ評価を示すことにより、フレームワークの有効性を実証する。 このリスク発見フェーズは、コンテキスト的に緩和される新しいエージェント的リスクを見つける。 我々はまた、エージェントの安全性の研究を促進するために、エージェントワークフローの1万以上の現実的な攻撃と防御実行の痕跡を含む、ケーススタディからのデータセットもリリースした。

関連論文リスト

• SafeMobile: Chain-level Jailbreak Detection and Automated Evaluation for Multimodal Mobile Agents [58.21223208538351]
  本研究は,モバイルマルチモーダルエージェントを取り巻くセキュリティ問題について考察する。 行動シーケンス情報を組み込んだリスク識別機構の構築を試みる。 また、大規模言語モデルに基づく自動アセスメントスキームも設計している。
  論文  参考訳（メタデータ） (2025-07-01T15:10:00Z)
• Securing Generative AI Agentic Workflows: Risks, Mitigation, and a Proposed Firewall Architecture [0.0]
  Generative Artificial Intelligence(GenAI)は、大きな進歩を示すと同時に、新たなセキュリティ課題も導入している。 本稿では、データプライバシやモデル操作、エージェントの自律性やシステム統合に関わる問題など、GenAIエージェントに固有の重要なセキュリティ脆弱性について概説する。 提案されている"GenAI Security Firewall"アーキテクチャは、これらのシステムに対して包括的で、適応可能で、効率的な保護を提供するように設計されている。
  論文  参考訳（メタデータ） (2025-06-10T07:36:54Z)
• SafeAgent: Safeguarding LLM Agents via an Automated Risk Simulator [77.86600052899156]
  LLM(Large Language Model)ベースのエージェントは、現実のアプリケーションにますますデプロイされる。 完全自動合成データ生成によるエージェント安全性を体系的に向上する最初のフレームワークであるAutoSafeを提案する。 AutoSafeは安全性のスコアを平均で45%向上させ、現実世界のタスクでは28.91%の改善を実現している。
  論文  参考訳（メタデータ） (2025-05-23T10:56:06Z)
• Securing Agentic AI: A Comprehensive Threat Model and Mitigation Framework for Generative AI Agents [0.0]
  本稿では,GenAIエージェントに特化した包括的脅威モデルを提案する。 研究は、9つの主要な脅威を特定し、5つの主要なドメインにまたがってそれらを整理する。
  論文  参考訳（メタデータ） (2025-04-28T16:29:24Z)
• HAICOSYSTEM: An Ecosystem for Sandboxing Safety Risks in Human-AI Interactions [95.49509269498367]
  本稿では,多様な複雑な社会的相互作用におけるAIエージェントの安全性を調べるフレームワークであるHAICOSYSTEMを提案する。 私たちは7つの領域(医療、金融、教育など)にわたる92のシナリオに基づいて1840のシミュレーションを実行します。 我々の実験は、最先端のLSMは、プロプライエタリかつオープンソースの両方で、50%以上のケースで安全リスクを示すことを示した。
  論文  参考訳（メタデータ） (2024-09-24T19:47:21Z)
• Safeguarding AI Agents: Developing and Analyzing Safety Architectures [0.0]
  本稿では,人間チームと連携するAIシステムにおける安全対策の必要性について論じる。 我々は,AIエージェントシステムにおける安全プロトコルを強化する3つのフレームワークを提案し,評価する。 これらのフレームワークはAIエージェントシステムの安全性とセキュリティを大幅に強化することができると結論付けている。
  論文  参考訳（メタデータ） (2024-09-03T10:14:51Z)
• EARBench: Towards Evaluating Physical Risk Awareness for Task Planning of Foundation Model-based Embodied AI Agents [53.717918131568936]
  EAI(Embodied AI)は、高度なAIモデルを現実世界のインタラクションのための物理的なエンティティに統合する。 高レベルのタスク計画のためのEAIエージェントの"脳"としてのファンデーションモデルは、有望な結果を示している。 しかし、これらのエージェントの物理的環境への展開は、重大な安全性上の課題を呈している。 本研究では,EAIシナリオにおける身体的リスクの自動評価のための新しいフレームワークEARBenchを紹介する。
  論文  参考訳（メタデータ） (2024-08-08T13:19:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。