論文の概要: Perspectives on a Reliability Monitoring Framework for Agentic AI Systems
- arxiv url: http://arxiv.org/abs/2511.09178v1
- Date: Thu, 13 Nov 2025 01:37:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-13 22:34:54.447973
- Title: Perspectives on a Reliability Monitoring Framework for Agentic AI Systems
- Title（参考訳）: エージェントAIシステムのための信頼性監視フレームワークの展望
- Authors: Niclas Flehmig, Mary Ann Lundteigen, Shen Yin,
- Abstract要約: エージェントAIシステムの動作時の信頼性の課題は,その特性に基づいて導出する。
本稿ではエージェントAIシステムのための2層信頼性監視フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 5.539407031861404
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The implementation of agentic AI systems has the potential of providing more helpful AI systems in a variety of applications. These systems work autonomously towards a defined goal with reduced external control. Despite their potential, one of their flaws is the insufficient reliability which makes them especially unsuitable for high-risk domains such as healthcare or process industry. Unreliable systems pose a risk in terms of unexpected behavior during operation and mitigation techniques are needed. In this work, we derive the main reliability challenges of agentic AI systems during operation based on their characteristics. We draw the connection to traditional AI systems and formulate a fundamental reliability challenge during operation which is inherent to traditional and agentic AI systems. As our main contribution, we propose a two-layered reliability monitoring framework for agentic AI systems which consists of a out-of-distribution detection layer for novel inputs and AI transparency layer to reveal internal operations. This two-layered monitoring approach gives a human operator the decision support which is needed to decide whether an output is potential unreliable or not and intervene. This framework provides a foundation for developing mitigation techniques to reduce risk stemming from uncertain reliability during operation.
- Abstract（参考訳）: エージェントAIシステムの実装は、さまざまなアプリケーションでより有用なAIシステムを提供する可能性を秘めている。
これらのシステムは、外部制御を減らし、定義された目標に向かって自律的に機能する。
その可能性にもかかわらず、その欠点の1つは信頼性の不足であり、医療やプロセス産業のようなリスクの高い分野には特に適さない。
信頼性の低いシステムは、運用中の予期せぬ動作のリスクを生じさせ、緩和技術が必要である。
本研究では,エージェント型AIシステムの動作における信頼性の課題を,その特性に基づいて導出する。
我々は、従来のAIシステムとのつながりを描き、従来のエージェントAIシステムに固有の、運用中の基本的な信頼性の課題を定式化します。
我々の主な貢献として、エージェントAIシステムのための2層信頼性監視フレームワークを提案し、新しい入力のための配布外検出層と内部操作を明らかにするためのAI透過層からなる。
この2層モニタリングアプローチは、人間のオペレーターに、出力が信頼できないかどうかを判断し、介入する必要がある決定支援を与える。
この枠組みは、運用中に不確実な信頼性から生じるリスクを軽減するために緩和技術を開発する基盤を提供する。
関連論文リスト
- Just Ask: Curious Code Agents Reveal System Prompts in Frontier LLMs [65.6660735371212]
textbftextscJustAskは,インタラクションのみで効果的な抽出戦略を自律的に発見するフレームワークである。
これは、アッパー信頼境界に基づく戦略選択と、原子プローブと高レベルのオーケストレーションにまたがる階層的なスキル空間を用いて、オンライン探索問題として抽出を定式化する。
この結果から,現代のエージェントシステムにおいて,システムプロンプトは致命的ではあるがほぼ無防備な攻撃面であることがわかった。
論文 参考訳（メタデータ） (2026-01-29T03:53:25Z) - Interpreting Agentic Systems: Beyond Model Explanations to System-Level Accountability [0.6745502291821954]
エージェントシステムは、ゴール指向の振る舞いを持つ自律システムを構築するために、大規模言語モデルをどのように活用するかを変えてきた。
主に静的モデルのために開発された現在の解釈可能性技術は、エージェントシステムに適用する際の制限を示す。
本稿では,エージェントシステムにおける既存の解釈可能性手法の適合性と限界について検討する。
論文 参考訳（メタデータ） (2026-01-23T21:05:32Z) - Agentic Uncertainty Quantification [76.94013626702183]
本稿では,言語化された不確実性をアクティブな双方向制御信号に変換する統合されたデュアルプロセスエージェントUQ(AUQ)フレームワークを提案する。
システム1(Uncertainty-Aware Memory, UAM)とシステム2(Uncertainty-Aware Reflection, UAR)は、これらの説明を合理的な手段として利用し、必要な時にのみターゲットの推論時間解決をトリガーする。
論文 参考訳（メタデータ） (2026-01-22T07:16:26Z) - A Survey of Agentic AI and Cybersecurity: Challenges, Opportunities and Use-case Prototypes [7.02443431688472]
Agentic AIは、単一ステップ生成モデルから、長期的タスクに対する推論、計画、行動、適応が可能なシステムへの重要な転換点である。
本調査は,サイバーセキュリティにおけるエージェントAIの影響について検討する。
論文 参考訳（メタデータ） (2026-01-08T02:46:06Z) - Assured Autonomy: How Operations Research Powers and Orchestrates Generative AI Systems [18.881800772626427]
生成モデルは、実現可能性、分散シフトに対する堅牢性、ストレステストを提供するメカニズムと組み合わせない限り、運用領域で脆弱である可能性がある、と我々は主張する。
我々は,運用研究に根ざした自律性確保のための概念的枠組みを開発する。
これらの要素は、安全クリティカルで信頼性に敏感な運用領域における自律性を保証するための研究アジェンダを定義する。
論文 参考訳（メタデータ） (2025-12-30T04:24:06Z) - AURA: An Agent Autonomy Risk Assessment Framework [0.0]
AURA(Agent aUtonomy Risk Assessment)はエージェントAIによるリスクの検出、定量化、緩和を目的とした統合されたフレームワークである。
AURAは、1つまたは複数のAIエージェントを同期的に、あるいは非同期に実行するリスクをスコアし、評価し、緩和するインタラクティブなプロセスを提供する。
AURAはエージェントAIの責任と透過性をサポートし、計算リソースのバランスを保ちながら、堅牢なリスク検出と緩和を提供する。
論文 参考訳（メタデータ） (2025-10-17T15:30:29Z) - A Comprehensive Survey of Self-Evolving AI Agents: A New Paradigm Bridging Foundation Models and Lifelong Agentic Systems [53.37728204835912]
既存のAIシステムは、デプロイ後も静的な手作業による構成に依存している。
近年,インタラクションデータと環境フィードバックに基づいてエージェントシステムを自動拡張するエージェント進化手法が研究されている。
この調査は、自己進化型AIエージェントの体系的な理解を研究者や実践者に提供することを目的としている。
論文 参考訳（メタデータ） (2025-08-10T16:07:32Z) - A Survey on AgentOps: Categorization, Challenges, and Future Directions [25.00082531560766]
本稿ではエージェントシステムオペレーション(AgentOps)と呼ばれるエージェントシステムのための新しい包括的な運用フレームワークを紹介する。
モニタリング,異常検出,根本原因分析,解決の4つの重要な段階について,詳細な定義と説明を行う。
論文 参考訳（メタデータ） (2025-08-04T06:59:36Z) - SafeMobile: Chain-level Jailbreak Detection and Automated Evaluation for Multimodal Mobile Agents [58.21223208538351]
本研究は,モバイルマルチモーダルエージェントを取り巻くセキュリティ問題について考察する。
行動シーケンス情報を組み込んだリスク識別機構の構築を試みる。
また、大規模言語モデルに基づく自動アセスメントスキームも設計している。
論文 参考訳（メタデータ） (2025-07-01T15:10:00Z) - Safeguarding AI Agents: Developing and Analyzing Safety Architectures [0.0]
本稿では,人間チームと連携するAIシステムにおける安全対策の必要性について論じる。
我々は,AIエージェントシステムにおける安全プロトコルを強化する3つのフレームワークを提案し,評価する。
これらのフレームワークはAIエージェントシステムの安全性とセキュリティを大幅に強化することができると結論付けている。
論文 参考訳（メタデータ） (2024-09-03T10:14:51Z) - EARBench: Towards Evaluating Physical Risk Awareness for Task Planning of Foundation Model-based Embodied AI Agents [53.717918131568936]
EAI(Embodied AI)は、高度なAIモデルを現実世界のインタラクションのための物理的なエンティティに統合する。
高レベルのタスク計画のためのEAIエージェントの"脳"としてのファンデーションモデルは、有望な結果を示している。
しかし、これらのエージェントの物理的環境への展開は、重大な安全性上の課題を呈している。
本研究では,EAIシナリオにおける身体的リスクの自動評価のための新しいフレームワークEARBenchを紹介する。
論文 参考訳（メタデータ） (2024-08-08T13:19:37Z) - Towards Guaranteed Safe AI: A Framework for Ensuring Robust and Reliable AI Systems [88.80306881112313]
我々は、AI安全性に対する一連のアプローチを紹介し、定義する。
これらのアプローチの中核的な特徴は、高保証の定量的安全性保証を備えたAIシステムを作ることである。
これら3つのコアコンポーネントをそれぞれ作成するためのアプローチを概説し、主な技術的課題を説明し、それらに対する潜在的なソリューションをいくつか提案します。
論文 参考訳（メタデータ） (2024-05-10T17:38:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。