論文の概要: The Controllability Trap: A Governance Framework for Military AI Agents

• arxiv url: http://arxiv.org/abs/2603.03515v1
• Date: Tue, 03 Mar 2026 20:48:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-05 21:29:15.086227
• Title: The Controllability Trap: A Governance Framework for Military AI Agents
• Title（参考訳）: Controllability Trap: 軍用AIエージェントのためのガバナンスフレームワーク
• Abstract要約: 我々はエージェント軍事AIガバナンスフレームワーク(AMAGF)を提案する。 AMAGFは、予防的ガバナンス、予防的ガバナンス、矯正的ガバナンスの3つの柱を中心に構成された測定可能なアーキテクチャである。 制御品質スコア(英: Control Quality Score, CQS)は、人間の制御を定量化し、制御が弱まるにつれて累積応答を可能にする複合リアルタイムメトリックである。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Agentic AI systems - capable of goal interpretation, world modeling, planning, tool use, long-horizon operation, and autonomous coordination - introduce distinct control failures not addressed by existing safety frameworks. We identify six agentic governance failures tied to these capabilities and show how they erode meaningful human control in military settings. We propose the Agentic Military AI Governance Framework (AMAGF), a measurable architecture structured around three pillars: Preventive Governance (reducing failure likelihood), Detective Governance (real-time detection of control degradation), and Corrective Governance (restoring or safely degrading operations). Its core mechanism, the Control Quality Score (CQS), is a composite real-time metric quantifying human control and enabling graduated responses as control weakens. For each failure type, we define concrete mechanisms, assign responsibilities across five institutional actors, and formalize evaluation metrics. A worked operational scenario illustrates implementation, and we situate the framework within established agent safety literature. We argue that governance must move from a binary conception of control to a continuous model in which control quality is actively measured and managed throughout the operational lifecycle.
• Abstract（参考訳）: エージェントAIシステム - 目標解釈、世界モデリング、計画、ツール使用、長期操作、自律的な調整が可能な - は、既存の安全フレームワークで対処されていない、明確な制御障害を導入している。 我々は、これらの能力に結びついた6つのエージェント的ガバナンスの失敗を特定し、軍事的環境において有意義な人的コントロールを省く方法を示す。 本稿では,AMAGF(Agentic Military AI Governance Framework)を提案する。AMAGFは,予防的ガバナンス(失敗の可能性の低減),予防的ガバナンス(制御劣化のリアルタイム検出),矯正的ガバナンス(操作の復元あるいは安全に劣化)の3つの柱を中心に構成された,計測可能なアーキテクチャである。 制御品質スコア(英: Control Quality Score, CQS)は、人間の制御を定量化し、制御が弱まるにつれて累積応答を可能にする複合リアルタイムメトリックである。 各障害タイプについて、具体的なメカニズムを定義し、5つの機関のアクターに責任を割り当て、評価指標を定式化する。 動作シナリオは実装を示し、確立されたエージェント安全文献内にフレームワークを配置する。 ガバナンスは、コントロールのバイナリ概念から、運用ライフサイクルを通じてコントロール品質を積極的に測定し管理する継続的モデルに移行する必要がある、と私たちは主張しています。

関連論文リスト

• Towards Trustworthy Embodied Intelligence: A Systems Framework and Graded Trustworthiness Levels [53.63220028820581]
  身体的知性は、学習した知覚と意思決定をリアルタイムの計算、制御、物理的相互作用と統合する。 我々は,信頼に値するインテリジェンスを,特定のタスクを確実に実行するための持続能力として定義する。
  論文  参考訳（メタデータ） (2026-07-28T17:50:44Z)
• Neuro-Symbolic Agents for Regulated Process Automation: Challenges and Research Agenda [43.328395470827665]
  規制産業に埋め込まれた象徴的な構造は、コアアーキテクチャコンポーネントとして扱われるべきである、と我々は主張する。 本稿では,鉄道監視の補完パラダイムとしてコンプライアンス・バイ・コンストラクションを提案する。 我々は、高影響研究領域として、規制プロセスの自動化に携わるよう、ニューロシンボリックなコミュニティに呼びかける。
  論文  参考訳（メタデータ） (2026-06-11T14:34:11Z)
• From Assistance to Agency: Rethinking Autonomy and Control in CI/CD Pipelines [0.0]
  本稿では,エージェント型継続的インテグレーションと継続的デプロイメント(CI/CD)のビジョンについて述べる。 研究のプロトタイプと産業用プラットフォームに基づいて,現状のシステムは,主に有界自律型データプレーンで運用されていることを示す。 制約付き自律性を支配的な設計として、外部ガバナンスを主要な安全メカニズムとして、デプロイメントのモーメントと評価方法論のギャップを広げる3つのパターンを特定します。
  論文  参考訳（メタデータ） (2026-05-08T00:15:43Z)
• EmbodiedGovBench: A Benchmark for Governance, Recovery, and Upgrade Safety in Embodied Agent Systems [14.412476605788482]
  EmbodiedGovBenchは、エンボディエージェントシステムのガバナンス指向評価のためのベンチマークである。 現実的な摂動の下で、システムは制御可能か、ポリシーに縛られたか、回復可能か、監査可能か、進化安全かを評価する。
  論文  参考訳（メタデータ） (2026-04-13T08:34:04Z)
• From Governance Norms to Enforceable Controls: A Layered Translation Method for Runtime Guardrails in Agentic AI [0.0]
  本稿では,標準由来のガバナンス目標を4つのコントロール層に結合するレイヤ変換手法を提案する。 ガバナンスの目的、技術的なコントロール、ランタイムのガードレール、保証の証拠を区別します。 標準は、アーキテクチャ、ランタイムポリシー、ヒューマンエスカレーション、監査を横断するコントロール配置をガイドしなければなりません。
  論文  参考訳（メタデータ） (2026-04-06T22:49:28Z)
• Architecting Secure AI Agents: Perspectives on System-Level Defenses Against Indirect Prompt Injection Attacks [46.32011684548212]
  AIエージェントは間接的なプロンプトインジェクションに対して脆弱であり、信頼できないデータに埋め込まれた悪意のある命令は危険なエージェントアクションを引き起こす可能性がある。 本稿では,間接的インジェクション攻撃に対するシステムレベルの防御の展望について論じる。
  論文  参考訳（メタデータ） (2026-03-31T17:15:46Z)
• When Should a Robot Think? Resource-Aware Reasoning via Reinforcement Learning for Embodied Robotic Decision-Making [68.12864562049957]
  身体ロボットシステムは、高レベルの推論をサポートするために、大規模言語モデル(LLM)ベースのエージェントにますます依存している。 エージェントはいつ、いつ、いつ行動すべきか? 本稿では,エンボディエージェントのリソース・アウェア・オーケストレーションのための階層的なフレームワークであるRARRL(Resource-Aware Reasoning via Reinforcement Learning)を提案する。
  論文  参考訳（メタデータ） (2026-03-17T15:38:50Z)
• AI Governance Control Stack for Operational Stability: Achieving Hardened Governance in AI Systems [0.0]
  本稿では、トレーサブルでレジリエントなAIシステムの動作を保証するために設計された階層型ガバナンスアーキテクチャである、運用安定のためのAIガバナンス制御スタックを紹介する。 提案したコントロールスタックには,システム・オブ・レコーズ・バージョン管理,エビデンスに基づく検証,意思決定時の説明可能性ロギング,テレメトリ監視,モデルドリフト検出,ガバナンスエスカレーションという,6つの補完的なガバナンスレイヤが統合されている。
  論文  参考訳（メタデータ） (2026-03-12T19:01:42Z)
• SAGE-LLM: Towards Safe and Generalizable LLM Controller with Fuzzy-CBF Verification and Graph-Structured Knowledge Retrieval for UAV Decision [46.089736018739295]
  大型言語モデル (LLM) には、ドメイン固有のUAV制御知識と正式な安全保証がない。 本稿では,LLMに基づく列車自由な2層決定アーキテクチャを提案し,低レベルの高精度制御と高レベルの安全計画を統合する。
  論文  参考訳（メタデータ） (2026-02-27T06:41:04Z)
• Agentic AI for Cybersecurity: A Meta-Cognitive Architecture for Governable Autonomy [0.0]
  本稿では,サイバーセキュリティのオーケストレーションはエージェント型マルチエージェント認知システムとして再認識されるべきである,と論じる。 本稿では,特定・仮説形成・文脈解釈・説明・ガバナンスに責任を負う異種AIエージェントを,メタ認知判断機能を通じて協調する概念的枠組みを提案する。 我々の貢献は、メタ認知判断を第一級システム機能として組み込むことによって、この認知構造をアーキテクチャ的に明確化し、統制可能にすることである。
  論文  参考訳（メタデータ） (2026-02-12T12:52:49Z)
• Aegis: Towards Governance, Integrity, and Security of AI Voice Agents [52.7512082818639]
  音声エージェントのガバナンス,整合性,セキュリティのためのフレームワークであるAegisを提案する。 我々は,銀行コールセンタ,ITサポート,ロジスティクスにおけるケーススタディを通じて,この枠組みを評価する。 モデルファミリ間の系統的な差異を観察し,より感受性の高いオープンウェイトモデルを示した。
  論文  参考訳（メタデータ） (2026-02-07T05:51:36Z)
• Position: Capability Control Should be a Separate Goal From Alignment [43.64120192267]
  本稿では、アライメントとは別の目標として能力制御を取り扱うべきであると論じる。 モデルライフサイクル全体にわたって機能制御メカニズムを3つのレイヤにまとめます。 主な課題は、知識の双対的な性質と構成的一般化である。
  論文  参考訳（メタデータ） (2026-02-05T00:30:59Z)
• Institutional AI: A Governance Framework for Distributional AGI Safety [1.3763052684269788]
  AIモデルのコア特性から生じる3つの構造的問題を同定する。 ソリューションはInstitutional AIであり、AIエージェント集団の効果的なガバナンスの問題としてアライメントを扱うシステムレベルのアプローチである。
  論文  参考訳（メタデータ） (2026-01-15T17:08:26Z)
• CaMeLs Can Use Computers Too: System-level Security for Computer Use Agents [60.98294016925157]
  AIエージェントは、悪意のあるコンテンツがエージェントの行動をハイジャックして認証情報を盗んだり、金銭的損失を引き起こすような、インジェクション攻撃に弱い。 CUAのためのシングルショットプランニングでは、信頼できるプランナーが、潜在的に悪意のあるコンテンツを観察する前に、条件付きブランチで完全な実行グラフを生成する。 このアーキテクチャ分離は命令インジェクションを効果的に防止するが、ブランチステアリング攻撃を防ぐには追加の対策が必要であることを示す。
  論文  参考訳（メタデータ） (2026-01-14T23:06:35Z)
• Making LLMs Reliable When It Matters Most: A Five-Layer Architecture for High-Stakes Decisions [51.56484100374058]
  現在の大規模言語モデル(LLM)は、実行前にアウトプットをチェックできるが、不確実な結果を伴う高い戦略決定には信頼性が低い検証可能な領域で優れている。 このギャップは、人間と人工知能(AI)システムの相互認知バイアスによって引き起こされ、そのセクターにおける評価と投資の持続可能性の保証を脅かす。 本報告では、7つのフロンティアグレードLDMと3つの市場向けベンチャーヴィグネットの時間的圧力下での系統的質的評価から生まれた枠組みについて述べる。
  論文  参考訳（メタデータ） (2025-11-10T22:24:21Z)
• Diagnose, Localize, Align: A Full-Stack Framework for Reliable LLM Multi-Agent Systems under Instruction Conflicts [75.20929587906228]
  LLM(Large Language Model)を利用したマルチエージェントシステム(MAS)は、複雑なタスクにおける協調推論、ツールの使用、役割特化調整を急速に進めている。 しかし、信頼性クリティカルなデプロイメントは、体系的な障害モード、すなわち命令の競合による階層的コンプライアンスによって妨げられている。
  論文  参考訳（メタデータ） (2025-09-27T08:43:34Z)
• Never Compromise to Vulnerabilities: A Comprehensive Survey on AI Governance [211.5823259429128]
  本研究は,本質的セキュリティ,デリバティブ・セキュリティ,社会倫理の3つの柱を中心に構築された,技術的・社会的次元を統合した包括的枠組みを提案する。 我々は,(1)防衛が進化する脅威に対して失敗する一般化ギャップ,(2)現実世界のリスクを無視する不適切な評価プロトコル,(3)矛盾する監視につながる断片的な規制,の3つの課題を特定する。 私たちのフレームワークは、研究者、エンジニア、政策立案者に対して、堅牢でセキュアなだけでなく、倫理的に整合性があり、公的な信頼に値するAIシステムを開発するための実用的なガイダンスを提供します。
  論文  参考訳（メタデータ） (2025-08-12T09:42:56Z)
• Limits of Safe AI Deployment: Differentiating Oversight and Control [0.0]
  「Human oversight」は、監視や制御といった重要な概念の曖昧さや矛盾した解釈を成すリスクである。 本稿では,AI以外の文献の監視を対象とする批判的レビューを行う。 コントロールは失敗を防ぐことを目的としており、監視は将来の予防のための検出、修復、インセンティブに焦点を当てている。
  論文  参考訳（メタデータ） (2025-07-04T12:22:35Z)
• Oversight Structures for Agentic AI in Public-Sector Organizations [0.0]
  責任あるエージェントのデプロイメントに不可欠な5つのガバナンスの側面を特定します。 エージェントの監視は、既存の3つのガバナンス課題の強化バージョンを提供する。 本稿では,公共セクターの制約に適合する制度構造と設計エージェントを両立させるアプローチを提案する。
  論文  参考訳（メタデータ） (2025-06-05T09:57:15Z)
• Designing Control Barrier Function via Probabilistic Enumeration for Safe Reinforcement Learning Navigation [55.02966123945644]
  本稿では,ニューラルネットワーク検証技術を利用して制御障壁関数(CBF)とポリシー修正機構の設計を行う階層型制御フレームワークを提案する。 提案手法は,安全なCBFベースの制御層を構築するために使用される,安全でない操作領域を特定するための確率的列挙に依存する。 これらの実験は、効率的なナビゲーション動作を維持しながら、安全でない動作を補正する提案手法の能力を実証するものである。
  論文  参考訳（メタデータ） (2025-04-30T13:47:25Z)
• How to evaluate control measures for LLM agents? A trajectory from today to superintelligence [4.027240141373031]
  我々は、AI能力の向上にレッドチームの余裕を適応するためのフレームワークを提案する。 エージェントの実際の能力プロファイルの知識が比例制御評価にどのように役立つかを示す。
  論文  参考訳（メタデータ） (2025-04-07T16:52:52Z)
• SOPBench: Evaluating Language Agents at Following Standard Operating Procedures and Constraints [59.645885492637845]
  SOPBenchは、各サービス固有のSOPコードプログラムを実行可能な関数の有向グラフに変換する評価パイプラインである。 提案手法では,各サービス固有のSOPコードプログラムを実行可能関数の有向グラフに変換し,自然言語SOP記述に基づいてこれらの関数を呼び出しなければならない。 我々は18の先行モデルを評価し、上位モデルでさえタスクが困難であることを示す。
  論文  参考訳（メタデータ） (2025-03-11T17:53:02Z)
• Value Functions are Control Barrier Functions: Verification of Safe Policies using Control Theory [46.85103495283037]
  本稿では,制御理論から学習値関数への検証手法の適用方法を提案する。 我々は値関数と制御障壁関数の間の関係を確立する原定理を定式化する。 我々の研究は、RLベースの制御システムの汎用的でスケーラブルで検証可能な設計のための公式なフレームワークに向けた重要な一歩である。
  論文  参考訳（メタデータ） (2023-06-06T21:41:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。