論文の概要: The Controllability Trap: A Governance Framework for Military AI Agents
- arxiv url: http://arxiv.org/abs/2603.03515v1
- Date: Tue, 03 Mar 2026 20:48:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-05 21:29:15.086227
- Title: The Controllability Trap: A Governance Framework for Military AI Agents
- Title（参考訳）: Controllability Trap: 軍用AIエージェントのためのガバナンスフレームワーク
- Authors: Subramanyam Sahoo,
- Abstract要約: 我々はエージェント軍事AIガバナンスフレームワーク(AMAGF)を提案する。
AMAGFは、予防的ガバナンス、予防的ガバナンス、矯正的ガバナンスの3つの柱を中心に構成された測定可能なアーキテクチャである。
制御品質スコア(英: Control Quality Score, CQS)は、人間の制御を定量化し、制御が弱まるにつれて累積応答を可能にする複合リアルタイムメトリックである。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Agentic AI systems - capable of goal interpretation, world modeling, planning, tool use, long-horizon operation, and autonomous coordination - introduce distinct control failures not addressed by existing safety frameworks. We identify six agentic governance failures tied to these capabilities and show how they erode meaningful human control in military settings. We propose the Agentic Military AI Governance Framework (AMAGF), a measurable architecture structured around three pillars: Preventive Governance (reducing failure likelihood), Detective Governance (real-time detection of control degradation), and Corrective Governance (restoring or safely degrading operations). Its core mechanism, the Control Quality Score (CQS), is a composite real-time metric quantifying human control and enabling graduated responses as control weakens. For each failure type, we define concrete mechanisms, assign responsibilities across five institutional actors, and formalize evaluation metrics. A worked operational scenario illustrates implementation, and we situate the framework within established agent safety literature. We argue that governance must move from a binary conception of control to a continuous model in which control quality is actively measured and managed throughout the operational lifecycle.
- Abstract（参考訳）: エージェントAIシステム - 目標解釈、世界モデリング、計画、ツール使用、長期操作、自律的な調整が可能な - は、既存の安全フレームワークで対処されていない、明確な制御障害を導入している。
我々は、これらの能力に結びついた6つのエージェント的ガバナンスの失敗を特定し、軍事的環境において有意義な人的コントロールを省く方法を示す。
本稿では,AMAGF(Agentic Military AI Governance Framework)を提案する。AMAGFは,予防的ガバナンス(失敗の可能性の低減),予防的ガバナンス(制御劣化のリアルタイム検出),矯正的ガバナンス(操作の復元あるいは安全に劣化)の3つの柱を中心に構成された,計測可能なアーキテクチャである。
制御品質スコア(英: Control Quality Score, CQS)は、人間の制御を定量化し、制御が弱まるにつれて累積応答を可能にする複合リアルタイムメトリックである。
各障害タイプについて、具体的なメカニズムを定義し、5つの機関のアクターに責任を割り当て、評価指標を定式化する。
動作シナリオは実装を示し、確立されたエージェント安全文献内にフレームワークを配置する。
ガバナンスは、コントロールのバイナリ概念から、運用ライフサイクルを通じてコントロール品質を積極的に測定し管理する継続的モデルに移行する必要がある、と私たちは主張しています。
関連論文リスト
- Agentic AI for Cybersecurity: A Meta-Cognitive Architecture for Governable Autonomy [0.0]
本稿では,サイバーセキュリティのオーケストレーションはエージェント型マルチエージェント認知システムとして再認識されるべきである,と論じる。
本稿では,特定・仮説形成・文脈解釈・説明・ガバナンスに責任を負う異種AIエージェントを,メタ認知判断機能を通じて協調する概念的枠組みを提案する。
我々の貢献は、メタ認知判断を第一級システム機能として組み込むことによって、この認知構造をアーキテクチャ的に明確化し、統制可能にすることである。
論文 参考訳（メタデータ） (2026-02-12T12:52:49Z) - Aegis: Towards Governance, Integrity, and Security of AI Voice Agents [52.7512082818639]
音声エージェントのガバナンス,整合性,セキュリティのためのフレームワークであるAegisを提案する。
我々は,銀行コールセンタ,ITサポート,ロジスティクスにおけるケーススタディを通じて,この枠組みを評価する。
モデルファミリ間の系統的な差異を観察し,より感受性の高いオープンウェイトモデルを示した。
論文 参考訳（メタデータ） (2026-02-07T05:51:36Z) - Institutional AI: A Governance Framework for Distributional AGI Safety [1.3763052684269788]
AIモデルのコア特性から生じる3つの構造的問題を同定する。
ソリューションはInstitutional AIであり、AIエージェント集団の効果的なガバナンスの問題としてアライメントを扱うシステムレベルのアプローチである。
論文 参考訳（メタデータ） (2026-01-15T17:08:26Z) - CaMeLs Can Use Computers Too: System-level Security for Computer Use Agents [60.98294016925157]
AIエージェントは、悪意のあるコンテンツがエージェントの行動をハイジャックして認証情報を盗んだり、金銭的損失を引き起こすような、インジェクション攻撃に弱い。
CUAのためのシングルショットプランニングでは、信頼できるプランナーが、潜在的に悪意のあるコンテンツを観察する前に、条件付きブランチで完全な実行グラフを生成する。
このアーキテクチャ分離は命令インジェクションを効果的に防止するが、ブランチステアリング攻撃を防ぐには追加の対策が必要であることを示す。
論文 参考訳（メタデータ） (2026-01-14T23:06:35Z) - Making LLMs Reliable When It Matters Most: A Five-Layer Architecture for High-Stakes Decisions [51.56484100374058]
現在の大規模言語モデル(LLM)は、実行前にアウトプットをチェックできるが、不確実な結果を伴う高い戦略決定には信頼性が低い検証可能な領域で優れている。
このギャップは、人間と人工知能(AI)システムの相互認知バイアスによって引き起こされ、そのセクターにおける評価と投資の持続可能性の保証を脅かす。
本報告では、7つのフロンティアグレードLDMと3つの市場向けベンチャーヴィグネットの時間的圧力下での系統的質的評価から生まれた枠組みについて述べる。
論文 参考訳（メタデータ） (2025-11-10T22:24:21Z) - Diagnose, Localize, Align: A Full-Stack Framework for Reliable LLM Multi-Agent Systems under Instruction Conflicts [75.20929587906228]
LLM(Large Language Model)を利用したマルチエージェントシステム(MAS)は、複雑なタスクにおける協調推論、ツールの使用、役割特化調整を急速に進めている。
しかし、信頼性クリティカルなデプロイメントは、体系的な障害モード、すなわち命令の競合による階層的コンプライアンスによって妨げられている。
論文 参考訳（メタデータ） (2025-09-27T08:43:34Z) - Never Compromise to Vulnerabilities: A Comprehensive Survey on AI Governance [211.5823259429128]
本研究は,本質的セキュリティ,デリバティブ・セキュリティ,社会倫理の3つの柱を中心に構築された,技術的・社会的次元を統合した包括的枠組みを提案する。
我々は,(1)防衛が進化する脅威に対して失敗する一般化ギャップ,(2)現実世界のリスクを無視する不適切な評価プロトコル,(3)矛盾する監視につながる断片的な規制,の3つの課題を特定する。
私たちのフレームワークは、研究者、エンジニア、政策立案者に対して、堅牢でセキュアなだけでなく、倫理的に整合性があり、公的な信頼に値するAIシステムを開発するための実用的なガイダンスを提供します。
論文 参考訳（メタデータ） (2025-08-12T09:42:56Z) - Limits of Safe AI Deployment: Differentiating Oversight and Control [0.0]
「Human oversight」は、監視や制御といった重要な概念の曖昧さや矛盾した解釈を成すリスクである。
本稿では,AI以外の文献の監視を対象とする批判的レビューを行う。
コントロールは失敗を防ぐことを目的としており、監視は将来の予防のための検出、修復、インセンティブに焦点を当てている。
論文 参考訳（メタデータ） (2025-07-04T12:22:35Z) - Oversight Structures for Agentic AI in Public-Sector Organizations [0.0]
責任あるエージェントのデプロイメントに不可欠な5つのガバナンスの側面を特定します。
エージェントの監視は、既存の3つのガバナンス課題の強化バージョンを提供する。
本稿では,公共セクターの制約に適合する制度構造と設計エージェントを両立させるアプローチを提案する。
論文 参考訳（メタデータ） (2025-06-05T09:57:15Z) - Designing Control Barrier Function via Probabilistic Enumeration for Safe Reinforcement Learning Navigation [55.02966123945644]
本稿では,ニューラルネットワーク検証技術を利用して制御障壁関数(CBF)とポリシー修正機構の設計を行う階層型制御フレームワークを提案する。
提案手法は,安全なCBFベースの制御層を構築するために使用される,安全でない操作領域を特定するための確率的列挙に依存する。
これらの実験は、効率的なナビゲーション動作を維持しながら、安全でない動作を補正する提案手法の能力を実証するものである。
論文 参考訳（メタデータ） (2025-04-30T13:47:25Z) - How to evaluate control measures for LLM agents? A trajectory from today to superintelligence [4.027240141373031]
我々は、AI能力の向上にレッドチームの余裕を適応するためのフレームワークを提案する。
エージェントの実際の能力プロファイルの知識が比例制御評価にどのように役立つかを示す。
論文 参考訳（メタデータ） (2025-04-07T16:52:52Z) - SOPBench: Evaluating Language Agents at Following Standard Operating Procedures and Constraints [59.645885492637845]
SOPBenchは、各サービス固有のSOPコードプログラムを実行可能な関数の有向グラフに変換する評価パイプラインである。
提案手法では,各サービス固有のSOPコードプログラムを実行可能関数の有向グラフに変換し,自然言語SOP記述に基づいてこれらの関数を呼び出しなければならない。
我々は18の先行モデルを評価し、上位モデルでさえタスクが困難であることを示す。
論文 参考訳（メタデータ） (2025-03-11T17:53:02Z) - Value Functions are Control Barrier Functions: Verification of Safe
Policies using Control Theory [46.85103495283037]
本稿では,制御理論から学習値関数への検証手法の適用方法を提案する。
我々は値関数と制御障壁関数の間の関係を確立する原定理を定式化する。
我々の研究は、RLベースの制御システムの汎用的でスケーラブルで検証可能な設計のための公式なフレームワークに向けた重要な一歩である。
論文 参考訳（メタデータ） (2023-06-06T21:41:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。