論文の概要: Testing and Evaluation of Agentic AI Systems In Military Command and Control
- arxiv url: http://arxiv.org/abs/2608.20597v1
- Date: Thu, 20 Aug 2026 22:31:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-24 14:49:32.258391
- Title: Testing and Evaluation of Agentic AI Systems In Military Command and Control
- Title(参考訳): 軍事指揮制御におけるエージェントAIシステムの試験と評価
- Abstract要約: エージェントAIシステムは、厳格なテストと人間の監視に対する公的なコミットメントの下で、軍事指揮統制(C2)のために調達されている。
提案手法は,テスト項目を4つのクラスタに分類した8つの仮定を定式化したものである。
最初の3つの仮定クラスタに対して10の保証クレームを導出し、現在および新興メソッドがそれぞれに対処できるかどうかを評価する。
- 参考スコア(独自算出の注目度): 0.6273214774587439
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Agentic AI systems are being procured for military command and control (C2) under public commitments to rigorous testing and human oversight. Whether such commitments can be discharged depends on their supporting assurance case, which requires three elements: claims specifying the conditions for acceptability, evidence bearing on those claims, and an argument connecting the two. Through a structured review of 240 documented Testing and Evaluation (T&E) practices, spanning eight evaluation dimensions and three lifecycle stages, we identify eight assumptions that established methods make about their test article, grouped into four clusters: system specifiability, stability, composability, and supervisability. Agentic properties weaken all eight assumptions. This erosion affects the argument connecting evidence to claims, not the claims or evidence themselves. As a result, test results may satisfy process requirements, but they do not warrant the inference from tested to fielded behavior. We derive ten assurance claims for the first three assumption clusters and assess whether current and emerging methods can address each, mapping operational consequences through five C2 scenarios. Supervisability is identified but not assessed here, since evidencing it depends on system stability results and human factors T&E methods beyond the present scope. The documented record does not support broad claims about system-level behavior, but narrower claims remain recoverable in principle, contingent on mature methods: bounded mission envelopes, trajectory-grounded correctness, executable runtime constraints, and characterized run-to-run variance. Part of the evidentiary burden shifts into deployment, making the determination to field a continuing act. Where evidence cannot be generated, the residual uncertainty can be governed through defined expiry conditions and assigned ownership.
- Abstract(参考訳): エージェントAIシステムは、厳格なテストと人間の監視に対する公的なコミットメントの下で、軍事指揮統制(C2)のために調達されている。
このようなコミットメントを解除できるかどうかは、その支持保証ケースに依存するが、それは3つの要素を必要とする: 受け入れ可能性の条件を規定するクレーム、それらのクレームに付随する証拠、および2つのクレームを接続する議論である。
8つの評価次元と3つのライフサイクルステージにまたがる、240の文書化されたテストと評価(T&E)プラクティスの構造化レビューを通じて、確立されたメソッドがテスト記事に関する8つの仮定を特定し、システム仕様、安定性、コンポーザビリティ、監視可能性の4つのクラスタにグループ化した。
エージェント特性は8つの仮定全てを弱める。
この浸食は、主張や証拠そのものではなく、主張と証拠を結びつける議論に影響を及ぼす。
その結果、テスト結果はプロセス要件を満たすことができるが、テストからフィールド化された振る舞いへの推論は保証されない。
最初の3つの仮定クラスタに対する10の保証要求を導出し、現在のメソッドと新興メソッドがそれぞれに対処できるかどうかを評価し、5つのC2シナリオで運用結果のマッピングを行います。
システム安定性の結果と人為的要因T&E法に依存しているため、監視性は特定されるが、ここでは評価されない。
文書化された記録はシステムレベルの振る舞いに関する広範な主張をサポートしていないが、原則としてより狭い主張は回復可能である。
明らかな負担の一部がデプロイメントに移行し、継続する行為の実施が決定される。
証拠が生成できない場合、残留不確実性は定義された有効条件と割り当てられた所有権によって管理される。
関連論文リスト
- Cognitive Admission Control: Risk-Conditioned Assurance for Consequential Actions in Agentic Distributed Systems [2.124730017640531]
エージェント分散システムでは、エージェントは外部のインフラを変更できるが、突然変異の実行準備が整っているという証拠は欠如している。
CAC(Cognitive Admission Control)は、この証拠を明示する。
ポリシーは、型付けされた行動とそのモデル化されたリスクを、述語、エビデンスクラス、スコープ、鮮度、証人セットの制約を指定する保証義務にマップする。
承認が成功すると、アクション、証人マニフェスト、ディスパッチタイムガードを結び付ける証明書が生成される。
論文 参考訳(メタデータ) (2026-09-14T20:20:54Z) - Reality Is the Final Verifier: On Two Key Gaps in Agentic Software Engineering [78.51705689800838]
本稿では, 要求, モデル, 評価器の見直しに, 展開証拠を用いた保証・修正ループを提案する。
そこで我々は,人的判断,エージェント能力,計算能力に対する資源配分問題としてエージェント開発を保証した。
論文 参考訳(メタデータ) (2026-09-10T17:58:48Z) - Lift, Associate, and Fuse: A Decision-Centric Framework for 2D-to-3D Foundation Model Transfer [18.616107275409764]
2次元基礎モデルから3次元セグメンテーションへの予測を伝達する手法は、一般にタスクまたは表現によってグループ化される。
我々は5つの演算子として転送システムを表す決定中心のフレームワークである textbfLift, Associate, and Fuse (LAF) を紹介する。
LAFは、永続キャリアの明示的な契約を定義し、破棄された証拠が回収不能になる第1段階を特定する。
論文 参考訳(メタデータ) (2026-08-21T01:33:23Z) - From Trajectories to Evidence: Auditable Experimental Records for Industrial Research Agents [47.678562263387214]
研究エージェントは、産業レコメンデーション設定において、多段階の機械学習実験をますます実施している。
生成されたアーティファクトは、サポートされないか、不完全かもしれないし、実行されたラウンドは無効かもしれないし、あるいは廃止されるかもしれないし、後の修正は、以前の発見を曖昧にするかもしれない。
本稿では,連続的アーティファクトのバウンダリ検証と実行後のクレーム資格を結合するエビデンス・グラウンド・フレームワークを提案する。
論文 参考訳(メタデータ) (2026-08-05T13:37:38Z) - When benchmark inferences do not compose: Projectibility in AI evaluation [0.0]
AIベンチマークの結果が1ステップで連続的なクレームに達することはめったにない。
評価者はそれをさらなるケースに一般化し、能力の証拠として解釈し、新しいタスクに外挿し、他のシステムやサイトへ輸送する。
保証リンクは保証チェーンを自動的に作らない。
論文 参考訳(メタデータ) (2026-07-28T18:07:04Z) - Towards Trustworthy Embodied Intelligence: A Systems Framework and Graded Trustworthiness Levels [53.63220028820581]
身体的知性は、学習した知覚と意思決定をリアルタイムの計算、制御、物理的相互作用と統合する。
我々は,信頼に値するインテリジェンスを,特定のタスクを確実に実行するための持続能力として定義する。
論文 参考訳(メタデータ) (2026-07-28T17:50:44Z) - Epistemic Norms for AI Safety and Alignment Research [0.989901717499058]
2つの領域は2つの解析的に独立な軸に沿って異なると主張する。
sc ECAISAは、あらゆるAIシステムが安全であることを証明していない。
論文 参考訳(メタデータ) (2026-07-27T10:22:46Z) - Position: Behavioural Assurance Cannot Verify the Safety Claims Governance Now Demands [4.125187280299246]
我々は、慎重に設計しても、行動保証は検証できないという安全主張を遂行するよう求められていると論じている。
我々は,この構造ミスマッチを監査ギャップ,要求と達成可能な検証アクセスのばらつきとして形式化し,脆弱な保証の概念を導入する。
本稿では,法的文書における行動証拠の重み付けと,機械的証拠クラスによる自発的な事前配備アクセスの延長という技術的転換を提案する。
論文 参考訳(メタデータ) (2026-05-14T17:54:28Z) - Partial Evidence Bench: Benchmarking Authorization-Limited Evidence in Agentic Systems [0.0]
本稿では、その故障モードを測定するための決定論的ベンチマークであるPartial Evidence Benchを紹介する。
このベンチマークでは、デューディリジェンス、コンプライアンス監査、セキュリティインシデント対応の3つのシナリオファミリが提供されている。
答えの正しさ、完全性意識、ギャップレポートの品質、安全でない完全性行動の4つの面に沿ってシステムを評価する。
論文 参考訳(メタデータ) (2026-05-06T19:01:29Z) - Beyond Task Success: An Evidence-Synthesis Framework for Evaluating, Governing, and Orchestrating Agentic AI [0.0]
本稿では,手動符号化コーパスにおける有界なエビデンス合成に寄与する。
本稿では,(1)評価,ガバナンス,オーケストレーション,保証にまたがる4層フレームワーク,(2)可観測性,決定性,タイムライン,検証性に基づくODTA実行時配置テスト,(3)状態変更動作のための最小アクション検証バンドル,の3つの関連アーティファクトを紹介する。
論文 参考訳(メタデータ) (2026-04-18T20:28:26Z) - Claw-Eval: Toward Trustworthy Evaluation of Autonomous Agents [66.97968363332465]
エージェントベンチマークの3つのギャップに対処するエンドツーエンド評価スイートであるClaw-Evalを紹介した。
Claw-Evalは3つのグループにまたがる9つのカテゴリにまたがる300の人間検証タスクで構成されている。
すべてのエージェントアクションは、3つの独立したエビデンスチャネルを通じて記録される。
論文 参考訳(メタデータ) (2026-04-07T17:43:18Z) - AI Knows What's Wrong But Cannot Fix It: Helicoid Dynamics in Frontier LLMs Under High-Stakes Decisions [51.56484100374058]
ヘリコイド力学(Helicoid dynamics)は、その2番目のドメインの特定の障害状態に与えられる名前である。
システムは巧みに働き、エラーに陥り、何がうまくいかなかったかを正確に名付け、さらに高度な技術で同じパターンを再現する。
この先進的な事例シリーズは、7つの主要なシステムにまたがる体制を文書化する。
論文 参考訳(メタデータ) (2026-03-12T05:25:49Z) - Empirical Estimates on Hand Manipulation are Recoverable: A Step Towards
Individualized and Explainable Robotic Support in Everyday Activities [80.37857025201036]
ロボットシステムの鍵となる課題は、他のエージェントの振る舞いを理解することである。
正しい推論の処理は、(衝突)因子が実験的に制御されない場合、特に困難である。
人に関する観察研究を行うために必要なツールをロボットに装備することを提案する。
論文 参考訳(メタデータ) (2022-01-27T22:15:56Z) - Nested Counterfactual Identification from Arbitrary Surrogate
Experiments [95.48089725859298]
観測と実験の任意の組み合わせからネスト反事実の同定について検討した。
具体的には、任意のネストされた反事実を非ネストされたものへ写像できる反ファクト的非ネスト定理(英語版)(CUT)を証明する。
論文 参考訳(メタデータ) (2021-07-07T12:51:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。