論文の概要: Intelligence as Managed Autonomy: Failure, Escalation, and Governance for Agentic AI Systems
- arxiv url: http://arxiv.org/abs/2605.27628v1
- Date: Tue, 26 May 2026 19:49:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-28 17:38:55.487795
- Title: Intelligence as Managed Autonomy: Failure, Escalation, and Governance for Agentic AI Systems
- Title（参考訳）: 管理された自律性としての知性:エージェントAIシステムの失敗、エスカレーション、ガバナンス
- Authors: Srini Ramaswamy,
- Abstract要約: 本稿では,非有界自律のアーキテクチャ的脆弱性について考察する。
この理論をSMARtモデル(Stable、Meta-cognitive、Assisted、Regulationの4層フレームワーク)を用いてインスタンス化する。
自律ライフサイクルにおける障害管理の形式化は、信頼性と管理された人工知能の実現に向けた重要なステップである、と結論付けます。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As autonomous and agentic AI systems scale in robotic and human-machine environments, managing hallucination and persistent but unjustified action remains an open challenge. Rather than attributing these failures solely to model or alignment limitations, this paper explores the architectural vulnerability of unbounded autonomy - the presumption that an agent should continue operating regardless of rising uncertainty. It introduces a theory of managed autonomy that defines intelligent behavior through the formal capacity to detect epistemic drift, suspend reasoning, attempt recovery, and ultimately surrender control when reliability diminishes. We instantiate this theory via the SMARt (Self-Managing Multi-tier Autonomous Reasoning with Regulated/Revoked transitions) model, a four-layer framework featuring Stable, Meta-cognitive, Assisted, and Regulated states. By developing a timed, guarded Petri net formulation, we establish theoretically bounded properties for the system, demonstrating how architecture can formally mandate escalation, constrain invalid outputs, and ensure governance reachability under specified conditions. We further analyze how incorporating domain-specific trigger sets across varied operational settings (e.g., healthcare, robotics, etc.) can systematically preserve safety, assuming completeness and soundness criteria are met. Because these triggers are designed to be adaptive, the SMARt model accommodates the safe, controlled expansion of an agent's operational scope over time. We conclude that formalizing failure management within the autonomy lifecycle is a crucial step toward realizing reliable and governed artificial intelligence.
- Abstract（参考訳）: 自律的でエージェント的なAIシステムは、ロボットと人間の機械環境においてスケールするので、幻覚と永続的で不当な行動を管理することは、依然としてオープンな課題である。
この論文は、モデルやアライメントの制限だけに起因するのではなく、非有界な自律性のアーキテクチャ上の脆弱性を探求する。
管理された自律性の理論を導入し、形式的な能力を通じて知的行動を定義し、頭蓋骨のドリフトを検出し、推論を中断し、回復を試み、信頼性が低下すると最終的に降伏制御を行う。
SMARt(Self-Managing Multi-tier Autonomous Reasoning with Regulated/Revoked transitions)モデルによってこの理論をインスタンス化する。
時間付きガードされたペトリネットの定式化を開発することにより,システムに対する理論的拘束性を確立し,アーキテクチャがエスカレーションを公式に管理し,無効な出力を制限し,特定の条件下でのガバナンスの到達性を確保する方法を示す。
さらに,完全性や音質基準が満たされれば,さまざまな操作環境(医療,ロボティクスなど)にドメイン固有のトリガーセットを組み込むことで,安全性を体系的に維持する方法について分析する。
これらのトリガーは適応的に設計されているため、SMARtモデルはエージェントの操作範囲を時間とともに安全に制御できる。
自律ライフサイクルにおける障害管理の形式化は、信頼性と管理された人工知能の実現に向けた重要なステップである、と結論付けます。
関連論文リスト
- IRAM-Omega-Q: A Computational Architecture for Uncertainty Regulation in Artificial Agents [0.0]
IRAM-Omega-Qは内部制御を量子的状態表現上の閉ループ制御としてモデル化する計算アーキテクチャである。
その結果、人工エージェントの具体的な設計原則として不確実性規制が支持された。
論文 参考訳（メタデータ） (2026-03-16T23:58:11Z) - A Survey of Reasoning in Autonomous Driving Systems: Open Challenges and Emerging Paradigms [49.66022971508878]
私たちは、推論はモジュラーコンポーネントからシステムの認知コアに高めるべきだと論じています。
応答性推論のトレードオフやソーシャルゲーム推論など,7つの中核的推論課題を導出し,体系化する。
我々は,LLMに基づく推論と,ミリ秒スケールで安全クリティカルな車両制御の要求との間の,高レイテンシ,熟考的特性の根本的かつ未解決な緊張関係を同定する。
論文 参考訳（メタデータ） (2026-03-11T07:40:53Z) - Agentic Problem Frames: A Systematic Approach to Engineering Reliable Domain Agents [0.0]
大きな言語モデル(LLM)は、自律的なエージェントへと進化していますが、現在の"フレームワークレス"な開発は、あいまいな自然言語に基づいています。
本研究では,内部モデルインテリジェンスからエージェントと環境間の構造的相互作用に焦点を移すシステム工学フレームワークであるエージェント問題フレーム(APF)を提案する。
論文 参考訳（メタデータ） (2026-02-22T06:32:32Z) - Agentic AI for Cybersecurity: A Meta-Cognitive Architecture for Governable Autonomy [0.0]
本稿では,サイバーセキュリティのオーケストレーションはエージェント型マルチエージェント認知システムとして再認識されるべきである,と論じる。
本稿では,特定・仮説形成・文脈解釈・説明・ガバナンスに責任を負う異種AIエージェントを,メタ認知判断機能を通じて協調する概念的枠組みを提案する。
我々の貢献は、メタ認知判断を第一級システム機能として組み込むことによって、この認知構造をアーキテクチャ的に明確化し、統制可能にすることである。
論文 参考訳（メタデータ） (2026-02-12T12:52:49Z) - The Devil Behind Moltbook: Anthropic Safety is Always Vanishing in Self-Evolving AI Societies [57.387081435669835]
大規模言語モデルから構築されたマルチエージェントシステムは、スケーラブルな集合知性と自己進化のための有望なパラダイムを提供する。
エージェント社会が継続的自己進化、完全隔離、安全性の不変性を満たすことは不可能であることを示す。
我々は、特定された安全上の懸念を軽減するために、いくつかの解決方法を提案する。
論文 参考訳（メタデータ） (2026-02-10T15:18:19Z) - Agentic Uncertainty Quantification [76.94013626702183]
本稿では,言語化された不確実性をアクティブな双方向制御信号に変換する統合されたデュアルプロセスエージェントUQ(AUQ)フレームワークを提案する。
システム1(Uncertainty-Aware Memory, UAM)とシステム2(Uncertainty-Aware Reflection, UAR)は、これらの説明を合理的な手段として利用し、必要な時にのみターゲットの推論時間解決をトリガーする。
論文 参考訳（メタデータ） (2026-01-22T07:16:26Z) - Assured Autonomy: How Operations Research Powers and Orchestrates Generative AI Systems [18.881800772626427]
生成モデルは、実現可能性、分散シフトに対する堅牢性、ストレステストを提供するメカニズムと組み合わせない限り、運用領域で脆弱である可能性がある、と我々は主張する。
我々は,運用研究に根ざした自律性確保のための概念的枠組みを開発する。
これらの要素は、安全クリティカルで信頼性に敏感な運用領域における自律性を保証するための研究アジェンダを定義する。
論文 参考訳（メタデータ） (2025-12-30T04:24:06Z) - Making LLMs Reliable When It Matters Most: A Five-Layer Architecture for High-Stakes Decisions [51.56484100374058]
現在の大規模言語モデル(LLM)は、実行前にアウトプットをチェックできるが、不確実な結果を伴う高い戦略決定には信頼性が低い検証可能な領域で優れている。
このギャップは、人間と人工知能(AI)システムの相互認知バイアスによって引き起こされ、そのセクターにおける評価と投資の持続可能性の保証を脅かす。
本報告では、7つのフロンティアグレードLDMと3つの市場向けベンチャーヴィグネットの時間的圧力下での系統的質的評価から生まれた枠組みについて述べる。
論文 参考訳（メタデータ） (2025-11-10T22:24:21Z) - A Survey on Autonomy-Induced Security Risks in Large Model-Based Agents [45.53643260046778]
大規模言語モデル(LLM)の最近の進歩は、自律型AIエージェントの台頭を触媒している。
これらの大きなモデルエージェントは、静的推論システムからインタラクティブなメモリ拡張エンティティへのパラダイムシフトを示す。
論文 参考訳（メタデータ） (2025-06-30T13:34:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。