論文の概要: Beyond Component Testing: Validating Agentic AI Systems

• arxiv url: http://arxiv.org/abs/2607.29405v1
• Date: Fri, 31 Jul 2026 13:24:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-03 14:29:40.754501
• Title: Beyond Component Testing: Validating Agentic AI Systems
• Title（参考訳）: コンポーネントテストを超えて - エージェントAIシステムの検証
• Abstract要約: エージェントAIシステムは、計画、ツールの使用、メモリ、インタラクション、適応を組み合わせた多段階の軌道を介して機能する。 本調査では,エージェント評価,ソフトウェア保証,サイバー物理システム,ランタイム監視,規制ガイダンスを対象とする257件の論文をまとめた。
• 参考スコア（独自算出の注目度）: 2.403279740172383
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Agentic AI systems act through multi-step trajectories that combine planning, tool use, memory, interaction, and adaptation. This behavior stretches validation practice beyond component testing and one-shot input--output evaluation, because acceptable system behavior now depends on how decisions unfold over time and under changing environmental conditions. This survey synthesizes 257 papers spanning agent evaluation, software assurance, cyber-physical systems, runtime monitoring, and regulatory guidance in order to characterize the validation problem for agentic systems. The review is organized around a five-dimension taxonomy covering behavioral, safety, temporal, regulatory, and multi-agent concerns, and uses that taxonomy to map current approaches and expose recurrent coverage gaps. The analysis shows that behavioral evaluation is comparatively mature, while temporal validity, runtime evidence maintenance, regulatory legibility, and open-ended multi-agent systems assurance remain under-developed. Three cross-domain case studies (medical care, industrial operations, smart-mobility systems) provide operational illustrations of how the five taxonomy dimensions recur in safety-critical settings, grounded in the failure patterns documented in the reviewed literature. The paper concludes with a lifecycle-oriented research agenda centered on bounded-autonomy specifications, adversarial trajectory generation, runtime monitoring, and audit-ready evidence structures. The central claim is that trustworthy deployment of agentic AI depends on validating trajectories in context rather than assessing isolated components alone.
• Abstract（参考訳）: エージェントAIシステムは、計画、ツールの使用、メモリ、インタラクション、適応を組み合わせた多段階の軌道を介して機能する。 この振る舞いは、コンポーネントテストやワンショットのインプット・アウトプット評価を超えて、検証の実践を延長する。 本調査では,エージェント評価,ソフトウェア保証,サイバー物理システム,ランタイム監視,規制ガイダンスを対象とする257の論文を合成し,エージェントシステムの検証問題を特徴づける。 このレビューは、行動、安全性、時間的、規制、マルチエージェントに関する5次元の分類学に基づいて構成され、その分類学は現在のアプローチをマッピングし、繰り返し発生するカバレッジギャップを明らかにするために使用される。 分析の結果、行動評価は比較的成熟しているが、時間的妥当性、実行時証拠の維持、規制の正当性、オープンなマルチエージェントシステムの保証は未整備であることがわかった。 3つのクロスドメインケーススタディ(医療、産業オペレーション、スマートモビリティシステム)は、レビューされた文献に記録された障害パターンに基づいて、安全クリティカルな環境で5つの分類の次元がどのように再帰するかの運用例を提供する。 本論文は, ライフサイクル指向の研究課題として, 境界自律性仕様, 対向軌道生成, ランタイムモニタリング, 監査対応エビデンス構造について述べる。 エージェントAIの信頼性の高いデプロイは、独立したコンポーネントのみを評価するのではなく、コンテキスト内のトラジェクトリを検証することに依存している、というのが中心的な主張だ。

関連論文リスト

• AI Slop and Hallucinations in Vulnerability Assessment: A Survey on Reasoning Failures and Trustworthy Mitigation [48.55515767840701]
  AIスロープ(AI slop)は、アーティファクト、幻覚的脆弱性、可視だが正しくないパッチ、セマンティックに再パッケージされたバグレポートである。 本稿では,実証的証拠を調査し,統一メカニズムを特定し,信頼に値するトリアージへの道筋をたどる。
  論文  参考訳（メタデータ） (2026-08-26T11:48:38Z)
• Terminal Agents: A Survey of AI Agents in Command-Line Environments [102.48222742145474]
  大規模言語モデルエージェントは、ターミナルを通してますます行動するが、既存の調査は、ソフトウェア工学、ツールの使用、コンピュータ利用の研究にまたがって端末による振る舞いを分散させている。 我々は,端末エージェントを,端末コマンドの実行,テキストフィードバック,ステートフルな環境相互作用を介し,進行を伴う動作を主とするシステムとみなす。 我々の合成は、実現された行動はモデル、インターフェース、ハーネス、ランタイム、環境によって共同で形成されていることを示している。
  論文  参考訳（メタデータ） (2026-08-20T18:16:44Z)
• Engineering Reliable Coding Agents: Evaluating and Operating the System Around the Model [0.0]
  164の学術作品、100の実践記録、29のベンチマーク記録、17の著者・システム・ケース・レコードを合成する。 構造化されたマルチボーカルレビュー、ターゲットとする更新監査、ソフトウェアエンジニアリングカバレッジ分析、分散システムエビデンス合成として書かれた。 本は、深さ56の信頼性記録と13のリサーチリードを含む、バージョン管理された206の信頼性記録を寄稿している。
  論文  参考訳（メタデータ） (2026-08-14T01:34:25Z)
• DocOps: A Verifiable Benchmark for Autonomous Agents in Complex Document Operations [106.74348504930124]
  本稿では,階層的な分類を基盤とした決定論的に検証可能な評価フレームワークであるDocOpsを紹介する。 DocOpsに基づいて,各種エージェントハーネスのクローズドおよびオープンソースモデルを体系的に評価する。 我々の研究は、グローバルな文書整合性を維持するためのエージェントの能力境界を明らかにし、堅牢で非破壊的なエージェントの将来の設計に光を当てている。
  論文  参考訳（メタデータ） (2026-07-22T07:52:59Z)
• PhyAgentOS: A Self-Evolving Operating System for Embodied Agents with Decoupled Cognitive Planning and Physical Execution [49.776611937968]
  我々は、スケジューリング、検証、メモリ、ベンチマーク、安全性をシステムレベルのサービスとして提供するPhyAgentOSを紹介します。 セッション中心のセッションは、スケジューリング、互換性、監督された実行、エビデンス収集、受け入れの最小単位として、アクションではなくセッションを扱う。 SessionVerifierは、実行終了とセマンティックタスク完了を、成功、失敗、または再計画のエビデンスに基づいて判断する。 ベンチマークはデプロイメントセッションと検証パスを再利用するので、結果は実際の実行に遡る。
  論文  参考訳（メタデータ） (2026-07-18T04:46:53Z)
• Referential Security as a New Paradigm for AI Evaluations [5.748110232428846]
  我々は,AI評価の新しいパラダイムとして参照セキュリティを提案する。 このアプローチは、モデルアイデンティティを経験的に検証可能な性質として再設計し、参照安定性を実体セキュリティが条件としているものと区別する。
  論文  参考訳（メタデータ） (2026-05-25T10:24:10Z)
• Monitoring Data-aware Temporal Properties (Extended Version) [56.386411908764494]
  有限トレース上の任意のSMT理論に富む線形時間特性の予測モニタリングについて考察する。 この設定での予測モニタリングは非常に困難であり、監視状態はこれまでのトレースプレフィックスと可能な有限継続の両方に依存している。 本研究は,表現的フラグメントオフMTにおける特性モニタリングのための新しい基礎的枠組みの正しさを提示し,正式に証明するものである。
  論文  参考訳（メタデータ） (2026-05-14T10:23:11Z)
• Towards a Virtual Neuroscientist: Autonomous Neuroimaging Analysis via Multi-Agent Collaboration [53.772014300855375]
  我々は,自律型エンドツーエンド神経画像解析のためのマルチエージェントシステムであるNIAgentを紹介する。 従来のフラットなツール呼び出しエージェントとは異なり、NIAgentはコード中心の実行パラダイムを採用している。 本稿では,コホートレベルの検定とエージェント視覚検査を組み合わせた,自律的品質管理のための階層的検証フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-10T06:30:19Z)
• Automated Self-Testing as a Quality Gate: Evidence-Driven Release Management for LLM Applications [51.56484100374058]
  我々は,エビデンスに基づくリリース決定を伴う品質ゲートを導入する自動自己テストフレームワークを提案する。 内部展開型多エージェント対話型AIシステムの縦型ケーススタディにより,本フレームワークの評価を行った。
  論文  参考訳（メタデータ） (2026-03-13T20:44:15Z)
• The Emergence of Lab-Driven Alignment Signatures: A Psychometric Framework for Auditing Latent Bias and Compounding Risk in Generative AI [0.0]
  本稿では,不確実性の下での潜在特性推定を定量化する新しい監査フレームワークを提案する。 この研究は最適化バイアス、Sycophancy、Status-Quo Legitimizationを含む9つの次元にわたる主要なモデルを監査している。
  論文  参考訳（メタデータ） (2026-02-19T06:56:01Z)
• The Landscape of Prompt Injection Threats in LLM Agents: From Taxonomy to Analysis [24.51410516475904]
  The Prompt Injection (PI) landscape, including attack, Defenses, and their evaluation practices。 我々は,コンテキストに依存したインタラクション設定下でエージェントの振る舞いを体系的に評価する新しいベンチマークであるAgentPIを紹介する。 我々は,文脈依存推論が不可欠である現実的なエージェント設定に一般化することができないが,文脈依存的入力を抑えることで,既存のベンチマークにおいて多くの防御が有効であることを示す。
  論文  参考訳（メタデータ） (2026-02-11T02:47:10Z)
• The Why Behind the Action: Unveiling Internal Drivers via Agentic Attribution [63.61358761489141]
  LLM(Large Language Model)ベースのエージェントは、カスタマーサービス、Webナビゲーション、ソフトウェアエンジニアリングといった現実世界のアプリケーションで広く使われている。 本稿では,タスク結果に関係なく,エージェントの動作を駆動する内部要因を識別する,テキスト汎用エージェント属性のための新しいフレームワークを提案する。 標準ツールの使用やメモリ誘起バイアスのような微妙な信頼性リスクなど、さまざまなエージェントシナリオでフレームワークを検証する。
  論文  参考訳（メタデータ） (2026-01-21T15:22:21Z)
• Beyond Task Completion: An Assessment Framework for Evaluating Agentic AI Systems [0.0]
  エージェントAIの最近の進歩は、スタンドアロンの大規模言語モデルから統合システムへと焦点を移している。 LLM、メモリ、ツール、環境を含む4つの評価柱を持つエンドツーエンドのエージェントアセスメントフレームワークを提案する。 我々はこのフレームワークを、従来のメトリクスによる振る舞いの偏りを示す、代表的なAutonomous CloudOpsユースケースで検証する。
  論文  参考訳（メタデータ） (2025-12-14T18:17:40Z)
• AgentGuard: Runtime Verification of AI Agents [1.14219428942199]
  AgentGuardは、エージェントAIシステムの実行時検証のためのフレームワークである。 動的確率保証(Dynamic Probabilistic Assurance)と呼ばれる新しいパラダイムを通じて、継続的な量的保証を提供する。
  論文  参考訳（メタデータ） (2025-09-28T13:08:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。