論文の概要: Beyond Task Success: An Evidence-Synthesis Framework for Evaluating, Governing, and Orchestrating Agentic AI
- arxiv url: http://arxiv.org/abs/2604.19818v1
- Date: Sat, 18 Apr 2026 20:28:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-23 15:36:10.558495
- Title: Beyond Task Success: An Evidence-Synthesis Framework for Evaluating, Governing, and Orchestrating Agentic AI
- Title（参考訳）: タスク成功を超えて:エージェントAIの評価、統治、オーケストレーションのためのエビデンス合成フレームワーク
- Abstract要約: 本稿では,手動符号化コーパスにおける有界なエビデンス合成に寄与する。
本稿では,(1)評価,ガバナンス,オーケストレーション,保証にまたがる4層フレームワーク,(2)可観測性,決定性,タイムライン,検証性に基づくODTA実行時配置テスト,(3)状態変更動作のための最小アクション検証バンドル,の3つの関連アーティファクトを紹介する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Agentic AI systems plan, use tools, maintain state, and act across multi-step workflows with external effects, meaning trustworthy deployment can no longer be judged by task completion alone. The current literature remains fragmented across benchmark-centered evaluation, standards-based governance, orchestration architectures, and runtime assurance mechanisms. This paper contributes a bounded evidence synthesis across a manually coded corpus of twenty-four recent sources. The core finding is a governance-to-action closure gap: evaluation tells us whether outcomes were good, governance defines what should be allowed, but neither identifies where obligations bind to concrete actions or how compliance can later be proven. To close that gap, the paper introduces three linked artifacts: (1) a four-layer framework spanning evaluation, governance, orchestration, and assurance; (2) an ODTA runtime-placement test based on observability, decidability, timeliness, and attestability; and (3) a minimum action-evidence bundle for state-changing actions. Across sources, evaluation papers identify safety, robustness, and trajectory-level measurement as open gaps; governance frameworks define obligations but omit execution-time control logic; orchestration research positions the control plane as the locus of policy mediation, identity, and telemetry; runtime-governance work shows path-dependent behavior cannot be governed through prompts or static permissions alone; and action-safety studies show text alignment does not reliably transfer to tool actions. A worked enterprise procurement-agent scenario illustrates how these artifacts consolidate existing evidence without introducing new experimental data.
- Abstract（参考訳）: エージェントAIシステムは計画し、ツールを使用し、状態を維持し、外部効果のあるマルチステップワークフローをまたいで行動する。
現在の文献は、ベンチマーク中心の評価、標準ベースのガバナンス、オーケストレーションアーキテクチャ、ランタイム保証メカニズムで断片化されている。
本稿では,手動符号化コーパスにおける有界なエビデンス合成に寄与する。
評価は、成果が良いかどうかを教えてくれ、ガバナンスは、何が許容されるべきかを定義します。
このギャップを埋めるために,1) 評価,ガバナンス,オーケストレーション,保証にまたがる4層フレームワーク,2) 可観測性,決定性,タイムライン,検証性に基づくODTAランタイム配置テスト,3) 状態変更アクションのための最小アクションエビデンスバンドルを紹介した。
ガバナンスフレームワークは義務を定義するが、実行時の制御ロジックを省略する; オーケストレーション研究は、コントロールプレーンをポリシーの仲介、アイデンティティ、テレメトリの要点として位置付ける; ランタイムガバナンスワークは、プロンプトや静的なパーミッションだけでパスに依存した振る舞いを管理できない; アクションセーフティスタディは、テキストアライメントがツールアクションに確実に移行していないことを示している。
作業中の企業調達-エージェントシナリオでは、これらのアーティファクトが、新しい実験データを導入することなく、既存のエビデンスを統合する方法を示している。
関連論文リスト
- ScrambleToolBench: Agents Search Exhaustively Even When Their Own Map Points to the Next Step [74.83535434786145]
ScrambleToolBenchは,行動推論の分離を目的とした対話型端末ベンチマークである。
このベンチマークでは、エージェントがテストとエラーのインタラクションを通じて、隠されたツールの振る舞いを明らかにする必要がある。
現状の言語モデルに対する我々の評価は、初期発見が成功しても頑健な適応にはならないことを示している。
論文 参考訳（メタデータ） (2026-08-03T15:07:46Z) - Towards Trustworthy Embodied Intelligence: A Systems Framework and Graded Trustworthiness Levels [53.63220028820581]
身体的知性は、学習した知覚と意思決定をリアルタイムの計算、制御、物理的相互作用と統合する。
我々は,信頼に値するインテリジェンスを,特定のタスクを確実に実行するための持続能力として定義する。
論文 参考訳（メタデータ） (2026-07-28T17:50:44Z) - Agent Security Needs Redefinition through a Holistic Framework [46.88917910966891]
被告は、命令が悪意あるように見えるかどうかを問う。ベンチマークは、エージェントが有害な鳴き声を行うかどうかを問う。
我々は,エージェントの軌道全体にわたって連続的に評価されなければならない4つの特性を通じて,コンテキストセキュリティを運用する。
論文 参考訳（メタデータ） (2026-07-24T06:43:09Z) - A Methodology for Auditable Trustworthiness Levels in AI Lifecycle Governance [0.3384279376065155]
我々は、AIガバナンスにおける監査可能な信頼性レベルのための軽量な方法論を提案する。
この方法論には、信頼性レベルを表現および学習するための正式なフレームワークと、軽量なAIライフサイクルガバナンス手順の2つのコンポーネントがある。
我々の手法は法的または他の専門家の判断に取って代わらない。
論文 参考訳（メタデータ） (2026-07-17T17:11:22Z) - A Five-Plane Reference Architecture for Runtime Governance of Production AI Agents [0.0]
本稿では,生産AIエージェントのガバナンスのための参照アーキテクチャを提案する。
我々は、許容と否定を一般化する6つの割り込みプリミティブの分類を定義し、4つの正当性不変量について主張する。
5つの具体的判断にまたがる7つの生産エージェントの脅威の隠蔽を実証する。
論文 参考訳（メタデータ） (2026-06-10T16:54:47Z) - Proof-Carrying Agent Actions: Model-Agnostic Runtime Governance for Heterogeneous Agent Systems [0.6526824510982799]
本稿では,アクション証明書を中心としたランタイム中立ガバナンスモデルであるProof-Carrying Agent Actions (PCAA)を提案する。
PCAAは5つのチェックポイント(事前行動の許容、行動のオープン、仮定のキャプチャ、承認、結果のクロージャ)を統括する。
異種エージェント制御プレーンと開示バウンダリ評価プロトコルの参照実装を用いてモデルについて検討する。
論文 参考訳（メタデータ） (2026-06-02T18:10:35Z) - SeClaw: Spec-Driven Security Task Synthesis for Evaluating Autonomous Agents [87.26967184869198]
SeClawは、仕様駆動のセキュリティタスク合成と、自律エージェントの実行ベースのセキュリティ評価を組み合わせたフレームワークである。
ベンチマークは、リソース、ユーザタスク、環境、本質的なエージェントの振る舞いから生じるリスクをカバーしている。
論文 参考訳（メタデータ） (2026-06-01T14:23:42Z) - ContextFlow: Hierarchical Task-State Alignment for Long-Horizon Embodied Agents [41.517468049737936]
ロングホライゾンの実施するエージェントは、ナビゲーション、探索、アプローチ、操作を専門家に委任する傾向にある。
タスク状態の不整合(Task-state misalignment)、すなわち、プランナーのアクティブステージ、実行時のエビデンス、記憶されたコンテキスト、委任されたエグゼクティブが、もはや同じ次のステップの決定を正当化しないタスクレベルの整合性障害(Task-level consistency failure)について研究する。
我々は,段階を明示的な契約として表現し,実行時の観察結果をエビデンスパケットに変換し,スコープ付き更新を適用する検査可能なアライメントフレームワークであるContextFlowを提案する。
論文 参考訳（メタデータ） (2026-05-19T03:49:17Z) - Time to REFLECT: Can We Trust LLM Judges for Evidence-based Research Agents? [61.49434544687523]
本稿では,エージェント環境におけるきめ細かい故障検出を目的としたメタ評価ベンチマークREFLECTを紹介する。
REFLECTはプロセスレベルの障害モードと結果レベルの障害モードの詳細な分類を定義し、制御および局所的な介入を実行することでインスタンス化する。
私たちの実験では、最高のパフォーマンスモデルでさえ、推論、ツール使用、レポート品質の失敗に対して、全体的なアキュラシーを55%以下に達成しています。
論文 参考訳（メタデータ） (2026-05-18T23:55:08Z) - Auditable Agents [10.007755929469814]
LLMエージェントはツールを呼び、データベースをクエリし、タスクをデリゲートし、外部の副作用を引き起こす。
エージェントシステムが世界で活動できるようになると、もはや有害なアクションが防げるかどうかという問題ではない。
我々は、説明責任(コンプライアンスを判断し、責任を割り当てる能力)、監査可能性(説明責任を可能にするシステム特性)、監査(信頼できる証拠から振る舞いを再構築するプロセス)を区別する。
論文 参考訳（メタデータ） (2026-04-07T06:25:49Z) - A Trace-Based Assurance Framework for Agentic AI Orchestration: Contracts, Testing, and Governance [0.22940141855172028]
本稿では,Large Language Models (LLM) を用いたエージェントAIシステムの保証フレームワークを提案する。
実行は、明示的なステップとトレースコントラクトを備えたメッセージ・アクション・トレース(MAT)として実装される。
このフレームワークは、有界摂動に対する予算付き反例探索として定式化されたストレステストを含む。
論文 参考訳（メタデータ） (2026-03-18T10:23:48Z) - Cryptographic Runtime Governance for Autonomous AI Systems: The Aegis Architecture for Verifiable Policy Enforcement [0.0]
本稿では,自律型AIシステムのためのランタイムガバナンスアーキテクチャであるAegisについて述べる。
エージスは政策と法的制約を諮問の原則よりも実行条件として扱う。
論文 参考訳（メタデータ） (2026-03-15T04:04:57Z) - A Retrieval-Augmented Language Assistant for Unmanned Aircraft Safety Assessment and Regulatory Compliance [0.0]
本稿では,無人航空機システムにおける安全評価,認証活動,規制コンプライアンスを支援する検索ベースアシスタントの設計と検証について述べる。
提案手法は、権威的な規制ソースのみに依存する制御されたテキストベースのアーキテクチャを使用する。
システムレベルの制御は、生成モデルの一般的な障害モードに対処する。
論文 参考訳（メタデータ） (2026-02-16T08:13:53Z) - DRAFT: Task Decoupled Latent Reasoning for Agent Safety [59.46137757545185]
DRAFT(Task Decoupled Latent Reasoning for Agent Safety)を提案する。
エクストラクターは、完全な軌跡をコンパクトな連続的な潜伏ドラフトに蒸留し、リゾナーはドラフトと元の軌跡に共同で参加して安全性を予測する。
DRAFTの精度は63.27%(LoRA)から91.18%に向上した。
論文 参考訳（メタデータ） (2026-02-11T07:45:14Z) - Preventing the Collapse of Peer Review Requires Verification-First AI [49.995126139461085]
我々は、真理結合、すなわち、過度に科学的真理をトラックする場所のスコアの厳密さを提案する。
プロキシ・ソブリン評価に向けた相転移を駆動する2つの力の形式化を行う。
論文 参考訳（メタデータ） (2026-01-23T17:17:32Z) - OpenNovelty: An LLM-powered Agentic System for Verifiable Scholarly Novelty Assessment [63.662126457336534]
OpenNoveltyは、透明で証拠に基づく新規性分析のためのエージェントシステムである。
回収された実論文のすべての評価を根拠にし、検証可能な判断を確実にする。
OpenNoveltyは、公正で一貫性があり、エビデンスに支えられたピアレビューを促進するスケーラブルなツールで、研究コミュニティに力を与えることを目指している。
論文 参考訳（メタデータ） (2026-01-04T15:48:51Z) - Verifiability-First Agents: Provable Observability and Lightweight Audit Agents for Controlling Autonomous LLM Systems [0.0]
本稿では,暗号およびシンボリック手法を用いてエージェントアクションの実行時の検証を統合する,検証可能性第一アーキテクチャを提案する。
また、制約付き推論を用いて意図と行動の連続的な検証を行う監査エージェントを組み込む。
当社のアプローチでは,評価の焦点を,誤適応の可能性から,誤適応の迅速かつ確実な検出と再伝達にシフトしています。
論文 参考訳（メタデータ） (2025-12-19T06:12:43Z) - Towards Real-Time Fake News Detection under Evidence Scarcity [66.58597356379907]
本稿では,リアルタイムフェイクニュース検出のための新しいフレームワークである評価アウェア・セレクション・オブ・エキスパートズ(EASE)を提案する。
EASEは、利用可能な証拠の十分性を評価した意思決定プロセスに適合する。
本稿では,新興ニュースのモデル一般化を限られた証拠で評価するための新しいベンチマークであるRealTimeNews-25を紹介する。
論文 参考訳（メタデータ） (2025-10-13T11:11:46Z) - Learning Verifiable Control Policies Using Relaxed Verification [49.81690518952909]
本研究は,実行中にプロパティを評価可能なポリシを目標として,トレーニングを通じて検証を実施することを提案する。
アプローチは、微分可能な到達可能性分析を使用して、新しいコンポーネントを損失関数に組み込むことである。
論文 参考訳（メタデータ） (2025-04-23T16:54:35Z) - SOPBench: Evaluating Language Agents at Following Standard Operating Procedures and Constraints [59.645885492637845]
SOPBenchは、各サービス固有のSOPコードプログラムを実行可能な関数の有向グラフに変換する評価パイプラインである。
提案手法では,各サービス固有のSOPコードプログラムを実行可能関数の有向グラフに変換し,自然言語SOP記述に基づいてこれらの関数を呼び出しなければならない。
我々は18の先行モデルを評価し、上位モデルでさえタスクが困難であることを示す。
論文 参考訳（メタデータ） (2025-03-11T17:53:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。