論文の概要: Formalizing the Safety, Security, and Functional Properties of Agentic AI Systems

• arxiv url: http://arxiv.org/abs/2510.14133v1
• Date: Wed, 15 Oct 2025 22:02:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-17 21:15:14.637028
• Title: Formalizing the Safety, Security, and Functional Properties of Agentic AI Systems
• Title（参考訳）: エージェントAIシステムの安全性・セキュリティ・機能特性の定式化
• Authors: Edoardo Allegrini, Ananth Shreekumar, Z. Berkay Celik,
• Abstract要約: 本稿では2つの基礎モデルからなるエージェントAIシステムのためのモデリングフレームワークを提案する。 1つ目はホストエージェントモデルで、ユーザと対話するトップレベルのエンティティを形式化し、タスクを分解し、外部エージェントやツールを活用して実行をオーケストレーションする。 第2のタスクライフサイクルモデルでは、個々のサブタスクの状態と、作成から完了までの遷移を詳述し、タスク管理とエラー処理の詳細なビューを提供します。
• 参考スコア（独自算出の注目度）: 10.734711935895225
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Agentic AI systems, which leverage multiple autonomous agents and Large Language Models (LLMs), are increasingly used to address complex, multi-step tasks. The safety, security, and functionality of these systems are critical, especially in high-stakes applications. However, the current ecosystem of inter-agent communication is fragmented, with protocols such as the Model Context Protocol (MCP) for tool access and the Agent-to-Agent (A2A) protocol for coordination being analyzed in isolation. This fragmentation creates a semantic gap that prevents the rigorous analysis of system properties and introduces risks such as architectural misalignment and exploitable coordination issues. To address these challenges, we introduce a modeling framework for agentic AI systems composed of two foundational models. The first, the host agent model, formalizes the top-level entity that interacts with the user, decomposes tasks, and orchestrates their execution by leveraging external agents and tools. The second, the task lifecycle model, details the states and transitions of individual sub-tasks from creation to completion, providing a fine-grained view of task management and error handling. Together, these models provide a unified semantic framework for reasoning about the behavior of multi-AI agent systems. Grounded in this framework, we define 17 properties for the host agent and 14 for the task lifecycle, categorized into liveness, safety, completeness, and fairness. Expressed in temporal logic, these properties enable formal verification of system behavior, detection of coordination edge cases, and prevention of deadlocks and security vulnerabilities. Through this effort, we introduce the first rigorously grounded, domain-agnostic framework for the systematic analysis, design, and deployment of correct, reliable, and robust agentic AI systems.
• Abstract（参考訳）: 複数の自律エージェントと大規模言語モデル(LLM)を活用するエージェントAIシステムは、複雑で多段階的なタスクに対処するためにますます利用されている。 これらのシステムの安全性、セキュリティ、機能は、特に高度なアプリケーションにおいて重要である。 しかし、現在のエージェント間通信のエコシステムは断片化されており、ツールアクセスのための Model Context Protocol (MCP) や、分離して分析されるコーディネーションのための Agent-to-Agent (A2A) プロトコルなどである。 この断片化は、システムプロパティの厳密な分析を防止し、アーキテクチャ上のミスアライメントや悪用可能な調整問題のようなリスクを導入するセマンティックギャップを生み出します。 これらの課題に対処するために,2つの基礎モデルからなるエージェントAIシステムのモデリングフレームワークを導入する。 1つ目はホストエージェントモデルで、ユーザと対話するトップレベルのエンティティを形式化し、タスクを分解し、外部エージェントやツールを活用して実行をオーケストレーションする。 第2のタスクライフサイクルモデルでは、個々のサブタスクの状態と、作成から完了までの遷移を詳述し、タスク管理とエラー処理の詳細なビューを提供します。 これらのモデルが組み合わさって、マルチAIエージェントシステムの振る舞いを推論するための統一的なセマンティックフレームワークを提供する。 この枠組みに基づき、ホストエージェントの17のプロパティとタスクライフサイクルの14のプロパティを定義し、生存性、安全性、完全性、公正性に分類する。 時間論理で表現されたこれらの特性は、システム動作の形式的検証、コーディネーションエッジケースの検出、デッドロックとセキュリティ脆弱性の防止を可能にする。 この取り組みを通じて、我々は、正確で信頼性があり堅牢なエージェントAIシステムの体系的分析、設計、デプロイのための、厳格に根ざした、ドメインに依存しない最初のフレームワークを紹介します。

関連論文リスト

• Securing Agentic AI: Threat Modeling and Risk Analysis for Network Monitoring Agentic AI System [2.5145802129902664]
  MAESTROフレームワークはエージェントAIの脆弱性を公開、評価、排除するために使用された。 プロトタイプエージェントシステムはPython、LangChain、WebSocketでテレメトリを使用して構築、実装された。
  論文  参考訳（メタデータ） (2025-08-12T00:14:12Z)
• A Comprehensive Survey of Self-Evolving AI Agents: A New Paradigm Bridging Foundation Models and Lifelong Agentic Systems [53.37728204835912]
  既存のAIシステムは、デプロイ後も静的な手作業による構成に依存している。 近年,インタラクションデータと環境フィードバックに基づいてエージェントシステムを自動拡張するエージェント進化手法が研究されている。 この調査は、自己進化型AIエージェントの体系的な理解を研究者や実践者に提供することを目的としている。
  論文  参考訳（メタデータ） (2025-08-10T16:07:32Z)
• Agentic Web: Weaving the Next Web with AI Agents [109.13815627467514]
  大規模言語モデル(LLM)を活用したAIエージェントの出現は、エージェントWebに対する重要な転換点である。 このパラダイムでは、エージェントが直接対話して、ユーザに代わって複雑なタスクを計画、コーディネート、実行します。 本稿では,エージェントWebの理解と構築のための構造化フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-07-28T17:58:12Z)
• TRiSM for Agentic AI: A Review of Trust, Risk, and Security Management in LLM-based Agentic Multi-Agent Systems [8.683314804719506]
  本稿では,エージェントマルチエージェントシステム(AMAS)における信頼・リスク・セキュリティマネジメント(TRiSM)の構造的分析について述べる。 まず、エージェントAIの概念的基礎を調べ、従来のAIエージェントとアーキテクチャ的区別を強調します。 次に、Textit Explainability、ModelOps、Security、Privacy、Textittheirのガバナンスガバナンスといった重要な柱を中心に構築された、エージェントAIのためのAI TRiSMフレームワークを適応して拡張します。 調整失敗から調整失敗まで、エージェントAIのユニークな脅威と脆弱性を捉えるためにリスク分類法が提案されている。
  論文  参考訳（メタデータ） (2025-06-04T16:26:11Z)
• A Novel Zero-Trust Identity Framework for Agentic AI: Decentralized Authentication and Fine-Grained Access Control [7.228060525494563]
  本稿では,Agentic AI IAMフレームワークの提案について述べる。 リッチで検証可能なエージェント識別子(ID)に基づく包括的フレームワークを提案する。 また、Zero-Knowledge Proofs(ZKPs)によって、プライバシ保護属性の開示と検証可能なポリシーコンプライアンスを実現する方法について検討する。
  論文  参考訳（メタデータ） (2025-05-25T20:21:55Z)
• Internet of Agents: Fundamentals, Applications, and Challenges [68.9543153075464]
  異種エージェント間のシームレスな相互接続、動的発見、協調的なオーケストレーションを可能にする基盤となるフレームワークとして、エージェントのインターネット(IoA)を紹介した。 我々は,機能通知と発見,適応通信プロトコル,動的タスクマッチング,コンセンサスとコンフリクト解決機構,インセンティブモデルなど,IoAの重要な運用イネーラを分析した。
  論文  参考訳（メタデータ） (2025-05-12T02:04:37Z)
• Agent-as-a-Judge: Evaluate Agents with Agents [61.33974108405561]
  本稿ではエージェント・アズ・ア・ジャッジ(Agent-as-a-Judge)フレームワークを紹介し,エージェント・システムを用いてエージェント・システムの評価を行う。 これはLLM-as-a-Judgeフレームワークの有機的拡張であり、タスク解決プロセス全体の中間フィードバックを可能にするエージェント的特徴を取り入れている。 55のリアルな自動化AI開発タスクのベンチマークであるDevAIを紹介します。
  論文  参考訳（メタデータ） (2024-10-14T17:57:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。