論文の概要: Perspectives on a Reliability Monitoring Framework for Agentic AI Systems

• arxiv url: http://arxiv.org/abs/2511.09178v1
• Date: Thu, 13 Nov 2025 01:37:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-13 22:34:54.447973
• Title: Perspectives on a Reliability Monitoring Framework for Agentic AI Systems
• Title（参考訳）: エージェントAIシステムのための信頼性監視フレームワークの展望
• Authors: Niclas Flehmig, Mary Ann Lundteigen, Shen Yin,
• Abstract要約: エージェントAIシステムの動作時の信頼性の課題は,その特性に基づいて導出する。 本稿ではエージェントAIシステムのための2層信頼性監視フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 5.539407031861404
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The implementation of agentic AI systems has the potential of providing more helpful AI systems in a variety of applications. These systems work autonomously towards a defined goal with reduced external control. Despite their potential, one of their flaws is the insufficient reliability which makes them especially unsuitable for high-risk domains such as healthcare or process industry. Unreliable systems pose a risk in terms of unexpected behavior during operation and mitigation techniques are needed. In this work, we derive the main reliability challenges of agentic AI systems during operation based on their characteristics. We draw the connection to traditional AI systems and formulate a fundamental reliability challenge during operation which is inherent to traditional and agentic AI systems. As our main contribution, we propose a two-layered reliability monitoring framework for agentic AI systems which consists of a out-of-distribution detection layer for novel inputs and AI transparency layer to reveal internal operations. This two-layered monitoring approach gives a human operator the decision support which is needed to decide whether an output is potential unreliable or not and intervene. This framework provides a foundation for developing mitigation techniques to reduce risk stemming from uncertain reliability during operation.
• Abstract（参考訳）: エージェントAIシステムの実装は、さまざまなアプリケーションでより有用なAIシステムを提供する可能性を秘めている。 これらのシステムは、外部制御を減らし、定義された目標に向かって自律的に機能する。 その可能性にもかかわらず、その欠点の1つは信頼性の不足であり、医療やプロセス産業のようなリスクの高い分野には特に適さない。 信頼性の低いシステムは、運用中の予期せぬ動作のリスクを生じさせ、緩和技術が必要である。 本研究では,エージェント型AIシステムの動作における信頼性の課題を,その特性に基づいて導出する。 我々は、従来のAIシステムとのつながりを描き、従来のエージェントAIシステムに固有の、運用中の基本的な信頼性の課題を定式化します。 我々の主な貢献として、エージェントAIシステムのための2層信頼性監視フレームワークを提案し、新しい入力のための配布外検出層と内部操作を明らかにするためのAI透過層からなる。 この2層モニタリングアプローチは、人間のオペレーターに、出力が信頼できないかどうかを判断し、介入する必要がある決定支援を与える。 この枠組みは、運用中に不確実な信頼性から生じるリスクを軽減するために緩和技術を開発する基盤を提供する。

関連論文リスト

• AURA: An Agent Autonomy Risk Assessment Framework [0.0]
  AURA(Agent aUtonomy Risk Assessment)はエージェントAIによるリスクの検出、定量化、緩和を目的とした統合されたフレームワークである。 AURAは、1つまたは複数のAIエージェントを同期的に、あるいは非同期に実行するリスクをスコアし、評価し、緩和するインタラクティブなプロセスを提供する。 AURAはエージェントAIの責任と透過性をサポートし、計算リソースのバランスを保ちながら、堅牢なリスク検出と緩和を提供する。
  論文  参考訳（メタデータ） (2025-10-17T15:30:29Z)
• A Comprehensive Survey of Self-Evolving AI Agents: A New Paradigm Bridging Foundation Models and Lifelong Agentic Systems [53.37728204835912]
  既存のAIシステムは、デプロイ後も静的な手作業による構成に依存している。 近年,インタラクションデータと環境フィードバックに基づいてエージェントシステムを自動拡張するエージェント進化手法が研究されている。 この調査は、自己進化型AIエージェントの体系的な理解を研究者や実践者に提供することを目的としている。
  論文  参考訳（メタデータ） (2025-08-10T16:07:32Z)
• A Survey on AgentOps: Categorization, Challenges, and Future Directions [25.00082531560766]
  本稿ではエージェントシステムオペレーション(AgentOps)と呼ばれるエージェントシステムのための新しい包括的な運用フレームワークを紹介する。 モニタリング,異常検出,根本原因分析,解決の4つの重要な段階について,詳細な定義と説明を行う。
  論文  参考訳（メタデータ） (2025-08-04T06:59:36Z)
• SafeMobile: Chain-level Jailbreak Detection and Automated Evaluation for Multimodal Mobile Agents [58.21223208538351]
  本研究は,モバイルマルチモーダルエージェントを取り巻くセキュリティ問題について考察する。 行動シーケンス情報を組み込んだリスク識別機構の構築を試みる。 また、大規模言語モデルに基づく自動アセスメントスキームも設計している。
  論文  参考訳（メタデータ） (2025-07-01T15:10:00Z)
• Safeguarding AI Agents: Developing and Analyzing Safety Architectures [0.0]
  本稿では,人間チームと連携するAIシステムにおける安全対策の必要性について論じる。 我々は,AIエージェントシステムにおける安全プロトコルを強化する3つのフレームワークを提案し,評価する。 これらのフレームワークはAIエージェントシステムの安全性とセキュリティを大幅に強化することができると結論付けている。
  論文  参考訳（メタデータ） (2024-09-03T10:14:51Z)
• EARBench: Towards Evaluating Physical Risk Awareness for Task Planning of Foundation Model-based Embodied AI Agents [53.717918131568936]
  EAI(Embodied AI)は、高度なAIモデルを現実世界のインタラクションのための物理的なエンティティに統合する。 高レベルのタスク計画のためのEAIエージェントの"脳"としてのファンデーションモデルは、有望な結果を示している。 しかし、これらのエージェントの物理的環境への展開は、重大な安全性上の課題を呈している。 本研究では,EAIシナリオにおける身体的リスクの自動評価のための新しいフレームワークEARBenchを紹介する。
  論文  参考訳（メタデータ） (2024-08-08T13:19:37Z)
• Towards Guaranteed Safe AI: A Framework for Ensuring Robust and Reliable AI Systems [88.80306881112313]
  我々は、AI安全性に対する一連のアプローチを紹介し、定義する。 これらのアプローチの中核的な特徴は、高保証の定量的安全性保証を備えたAIシステムを作ることである。 これら3つのコアコンポーネントをそれぞれ作成するためのアプローチを概説し、主な技術的課題を説明し、それらに対する潜在的なソリューションをいくつか提案します。
  論文  参考訳（メタデータ） (2024-05-10T17:38:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。