論文の概要: READY or Not: Reliable Enterprise Agent Deployment
- arxiv url: http://arxiv.org/abs/2609.02095v1
- Date: Wed, 02 Sep 2026 04:34:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-03 17:53:18.085096
- Title: READY or Not: Reliable Enterprise Agent Deployment
- Title（参考訳）: READYかどうか: 信頼性の高いエンタープライズエージェントのデプロイ
- Abstract要約: READYは、企業へのAIエージェントのデプロイを資格付けするためのフレームワークである。
人間のAIシステムの信頼性と運用コストを測定する。
統計学的には保留ケースに該当する。
- 参考スコア（独自算出の注目度）: 16.430548759635037
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: An AI agent can perform well on benchmarks and still be unsuitable for deployment. Existing AI-agent benchmarks measure whether an agent can complete realistic professional work, whereas enterprise deployment asks a different question: whether an agent can meet a required reliability level, under acceptable human oversight, and at tolerable cost. We introduce Reliable Enterprise Agent Deployment (READY), a framework for qualifying AI agents for deployment on enterprise workflows. READY preserves each workflow's own definition of successful execution while applying a common qualification procedure. Given an agent, a workflow, and a class of candidate oversight policies, READY measures the reliability and operating cost of the human-AI system, selects the minimum-cost policy that satisfies a specified reliability target, and statistically qualifies it on held-out cases. The resulting deployment profile characterizes the supported operating point: reliability, human-oversight burden, and cost. READY is implemented as an open testbed that decouples workflow specification, execution, evaluation, and qualification, and runs on existing agent-evaluation infrastructure. In an end-to-end clinical-audit case study spanning 16 agent systems and 750 cases, READY reveals differences hidden by autonomous performance: two systems separated by only 0.3 points in autonomous accuracy (72.8% vs. 72.5%) require 39.2% versus 29.6% human review, respectively, to qualify at the same 76% reliability target under the evaluated oversight policy. READY thus shifts enterprise agent evaluation from how well can the agent perform the work? to under what conditions, and at what cost, can it be reliably deployed? By making those conditions explicit and statistically testable, READY provides a basis for comparing agent systems, setting oversight requirements, and making evidence-based deployment decisions.
- Abstract（参考訳）: AIエージェントはベンチマークでうまく機能するが、デプロイには適さない。
既存のAIエージェントベンチマークは、エージェントが現実的なプロフェッショナルな仕事を完了できるかどうかを測定する一方で、エンタープライズデプロイメントでは、エージェントが要求される信頼性レベル、許容される人間の監視下で、許容可能なコストを満たすことができるかどうかという、別の疑問を問う。
Reliable Enterprise Agent Deployment (READY)は、エンタープライズワークフローへのデプロイにAIエージェントを適格化するためのフレームワークである。
READYは、共通の資格手順を適用しながら、それぞれのワークフローの成功した実行の定義を保存する。
エージェント、ワークフロー、および候補監視ポリシーのクラスが与えられたREADYは、人間-AIシステムの信頼性と運用コストを測定し、指定された信頼性目標を満たす最小コストのポリシーを選択し、保持されたケースで統計的にそのポリシーを定めている。
結果として得られたデプロイメントプロファイルは、サポート対象の運用ポイントである信頼性、ヒューマン監視の負担、コストを特徴付けている。
READYは、ワークフロー仕様、実行、評価、資格を分離するオープンなテストベッドとして実装され、既存のエージェント評価インフラストラクチャ上で動作する。
16のエージェントシステムと750のケースにまたがるエンドツーエンドの臨床監査ケーススタディにおいて、READYは自律的なパフォーマンスによって隠された違いを明らかにしている。2つのシステムは自律的な精度で0.3ポイントしか離れていない(72.8%対72.5%)。
したがって、READYは、エンタプライズエージェントの評価を、そのエージェントがいかにうまく仕事をこなせるかからシフトさせるのか?
どんな条件で どんなコストで 確実に展開できるのでしょうか?
これらの条件を明確かつ統計的に検証可能にすることで、READYはエージェントシステムの比較、監視要件の設定、エビデンスベースのデプロイメント決定の基盤を提供する。
関連論文リスト
- A Policy Algebra for Trust-Preserving Agentic AI Execution [5.943264605557423]
本稿では,エージェント能力の行使可能な信頼性エンベロープを定義するポリシー代数を提案する。
この評価は、能力ベンチマークではなく、信頼性と信頼性のトレードオフとして解釈される。
論文 参考訳（メタデータ） (2026-08-17T10:59:15Z) - Stop Shipping AI Agents on Faith: Capability Is Not Production Readiness [0.0]
本稿では,AIエージェントのガバナンス準備度指標であるProofAgent Index(PAI)を紹介する。
PAIは、評価、コンテキスト、コンプライアンス、ガバナンスの4つの側面を組み合わせたデプロイメントエビデンスです。
監査可能なAIエージェント評価とガバナンスのためのオープンソースのインフラストラクチャであるProofAgent Harness内に実装されている。
論文 参考訳（メタデータ） (2026-07-30T04:44:47Z) - PACE: A Proxy for Agentic Capability Evaluation [60.3743414796937]
PACEは、既存の非エージェント評価からインスタンスを選択することで、プロキシベンチマークを構築するフレームワークである。
14のモデル、4つのエージェントベンチマーク、19の非エージェントベンチマークによる実験では、PACE-Benchがエージェントスコアを予測し、LOOCVは絶対誤差(MAE)を4%以下、スピアマン相関は0.80以上、ペアワイズモデルの精度は85%で、いずれもエージェント評価コストの1%以下である。
論文 参考訳（メタデータ） (2026-07-02T10:59:03Z) - ORAgentBench: Can LLM Agents Solve Challenging Operations Research Tasks End to End? [28.383940617377856]
ORAgentBenchは、自律エージェントを運用研究タスクで評価するための実行基盤ベンチマークである。
さまざまな運用シナリオにまたがる107のヒューマンレビュータスクが含まれており、それぞれに自然言語で簡潔な複数ファイルデータ、設定アーティファクト、必要なスキーマがパッケージされている。
14のフロンティアエージェントモデルによる実験では、現在のエージェントは信頼性の高いORの実践から程遠いままである。
論文 参考訳（メタデータ） (2026-06-18T04:43:23Z) - The Meta-Agent Challenge: Are Current Agents Capable of Autonomous Agent Development? [80.24951682268332]
本稿では,自律エージェント開発のためのフロンティアモデルのキャパシティをテストするための評価フレームワークであるMeta-Agent Challenge(MAC)を紹介する。
評価の整合性を確保するため、このフレームワークは報奨ハッキングに対する多層防御によって確保される。
メタエージェントは人間工学的な基本方針とほとんど一致せず、その一部はプロプライエタリなフロンティアモデルに支配されている。
論文 参考訳（メタデータ） (2026-06-03T04:58:17Z) - CHI-Bench: Can AI Agents Automate End-to-End, Long-Horizon, Policy-Rich Healthcare Workflows? [150.84850629123287]
現実的な医療業務のエンドツーエンドの自動化は、現在のベンチマークで不足している3つの機能を強調します。
$-Benchは3つのドメインにわたる長期医療のベンチマークである。
30以上のエージェントハーネス/モデル構成で、最高のエージェントはタスクの28.0%しか解決せず、厳格なパス3では20%をクリアし、単一のセッションですべてのタスクを実行するとパフォーマンスは3.8%に低下する。
論文 参考訳（メタデータ） (2026-05-15T22:34:31Z) - Towards Verifiably Safe Tool Use for LLM Agents [53.55621104327779]
大規模言語モデル(LLM)ベースのAIエージェントは、データソース、API、検索エンジン、コードサンドボックス、さらにはその他のエージェントなどのツールへのアクセスを可能にすることで、機能を拡張する。
LLMは意図しないツールインタラクションを起動し、機密データを漏洩したり、クリティカルレコードを上書きしたりするリスクを発生させる。
モデルベースセーフガードのようなリスクを軽減するための現在のアプローチは、エージェントの信頼性を高めるが、システムの安全性を保証することはできない。
論文 参考訳（メタデータ） (2026-01-12T21:31:38Z) - Beyond Accuracy: A Multi-Dimensional Framework for Evaluating Enterprise Agentic AI Systems [0.0]
現在のエージェントAIベンチマークは、タスク完了の正確さを主に評価している。
コスト制御評価の欠如は、同様の精度で50倍のコスト変動をもたらす。
エージェントのパフォーマンスが60%(単一実行)から25%(8ラン一貫性)に低下する不適切な信頼性評価
論文 参考訳（メタデータ） (2025-11-18T04:50:19Z) - OpenAgentSafety: A Comprehensive Framework for Evaluating Real-World AI Agent Safety [58.201189860217724]
OpenAgentSafetyは,8つの危機リスクカテゴリにまたがるエージェントの動作を評価する包括的なフレームワークである。
従来の作業とは異なり、我々のフレームワークは、Webブラウザ、コード実行環境、ファイルシステム、bashシェル、メッセージングプラットフォームなど、実際のツールと対話するエージェントを評価します。
ルールベースの分析とLSM-as-judgeアセスメントを組み合わせることで、過度な行動と微妙な不安全行動の両方を検出する。
論文 参考訳（メタデータ） (2025-07-08T16:18:54Z) - AI Agents-as-Judge: Automated Assessment of Accuracy, Consistency, Completeness and Clarity for Enterprise Documents [0.0]
本研究では,AIエージェントを用いた高度に構造化された企業文書の自動レビューのためのモジュール型マルチエージェントシステムを提案する。
LangChain、CrewAI、TruLens、Guidanceといった現代的なオーケストレーションツールを使用して、文書のセクション単位での評価を可能にする。
99%の情報一貫性(人間の場合は92%)を実現し、エラーとバイアス率を半減させ、1文書あたりの平均レビュー時間を30分から2.5分に短縮する。
論文 参考訳（メタデータ） (2025-06-23T17:46:15Z) - Agent-as-a-Judge: Evaluate Agents with Agents [61.33974108405561]
本稿ではエージェント・アズ・ア・ジャッジ(Agent-as-a-Judge)フレームワークを紹介し,エージェント・システムを用いてエージェント・システムの評価を行う。
これはLLM-as-a-Judgeフレームワークの有機的拡張であり、タスク解決プロセス全体の中間フィードバックを可能にするエージェント的特徴を取り入れている。
55のリアルな自動化AI開発タスクのベンチマークであるDevAIを紹介します。
論文 参考訳（メタデータ） (2024-10-14T17:57:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。