論文の概要: EnterpriseVal: Quantifying the Efficacy, Reliability and Value of Generative AI in the Enterprise
- arxiv url: http://arxiv.org/abs/2609.21841v1
- Date: Fri, 18 Sep 2026 14:39:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-21 18:40:17.150921
- Title: EnterpriseVal: Quantifying the Efficacy, Reliability and Value of Generative AI in the Enterprise
- Title（参考訳）: EnterpriseVal: 企業における生成AIの有効性、信頼性、価値の定量化
- Abstract要約: ほとんどの企業GenAIイニシアチブは、測定可能なビジネス効果を示すことができません。
このギャップを埋めるユースケースレベルの評価システムであるEnterpriseValを紹介します。
i) 試験,モデル,プロンプト,検索,ツール,ガードレール及び人間の監視の下での凍結社会技術的構成の形式的明細書と,必要な評価強度を共同で設定する自律レベル及び結果階層と,(ii) 忠実度,実用性,効率性,信頼性,保証及び監視にまたがる計量カタログと,(iv) 計量ベクトルをマッピングする実行可能なアルゴリズムとして記述された2階層のしきい値ゲートとを含む。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Frontier language models now produce professional deliverables that expert graders judge to match human work on a substantial share of economically valuable tasks, yet most enterprise GenAI initiatives fail to show a measurable business effect and a large fraction of agentic projects are expected to be cancelled. We argue that this is substantially a measurement problem: public benchmarks answer "what can the model do?", whereas a deployment decision requires "is this workflow fit, reliable, safe and worth scaling - here, on our data, under our controls?". We present EnterpriseVal, a use-case-level evaluation system that closes this gap. It comprises (i) a formal specification of the use case and of the frozen socio-technical configuration under test, model, prompts, retrieval, tools, guardrails and human oversight, with an autonomy level and consequence tier that jointly set the required evaluation intensity; (ii) a metric catalogue spanning fidelity, utility, efficiency, reliability, assurance and oversight; (iii) a grading protocol that scales blinded expert judgement with calibrated LLM-as-judge scoring through prediction-powered inference; (iv) a two-tier threshold gate, stated as an executable algorithm, that maps metric vectors with confidence bounds to REJECT/CONDITIONAL/SCALE decisions; and (v) a value-and-risk model in which the reviewer catch rate is a measured parameter. We report a pilot across three workflows in a global bank. In credit-memo drafting, human-graded citation precision reached 88% and hallucination rate 1.6% for the best model against gates of 70% and 5%; in procedure transformation, analyst refinement effort fell from an estimated 27.4 to 2.9 hours per document. We separate established results, documented pilot evidence, the proposed system and open hypotheses, and specify the experiments required for full validation
- Abstract（参考訳）: 最前線の言語モデルでは、専門家が経済的に価値のあるタスクのかなりの割合で人間の仕事と一致すると判断するプロフェッショナルな成果物が生み出されているが、ほとんどの企業GenAIイニシアチブは測定可能なビジネス効果を示しておらず、エージェント的プロジェクトの多くがキャンセルされると予想されている。
パブリックベンチマークは"モデルに何ができるか?"と答えるが、デプロイメントの決定には"このワークフローは適合し、信頼性があり、安全で、スケールする価値があるか - 当社のデータでは、私たちのコントロールの下で?
本稿では,このギャップを埋めるユースケースレベルの評価システムであるEnterpriseValを紹介する。
構成
一 試験、モデル、プロンプト、検索、ツール、ガードレール及び人体監視に係る社会工学的構成及び凍結した社会工学的構成の形式的明細書であって、必要な評価強度を共同で設定する自主レベル及び結果レベルを有するもの
二 完全性、実用性、効率性、信頼性、保証及び監視を網羅する計量カタログ
三 予知による推理による校正LDM-as-judgeスコアによるブラインドド専門家の判断をスケールする格付けプロトコル
(四)信頼境界付き距離ベクトルをREJECT/CONDITIONAL/SCALE決定にマッピングする実行可能アルゴリズムとして記述された二層しきい値ゲート
(v)レビュアーキャッチレートが測定パラメータとなる値とリスクのモデル。
グローバルバンクの3つのワークフローにまたがるパイロットを報告します。
クレジット・メモの起草では、ヒトグレードの引用精度が88%、幻覚率1.6%に達した。
我々は,確立された結果,試験的証拠の文書化,提案システムとオープン仮説を分離し,完全検証に必要な実験を規定した。
関連論文リスト
- Measurement Without Validity: The Compounding Reliability Problem in Agentic AI Evaluation [0.0]
エージェントAI評価パイプラインは、デプロイメント決定、安全認定、規制コンプライアンス要求を正当化するベンチマークスコアを生成する。
正式なフレームワークはまだ、これらのパイプラインのステージにおける妥当性の低下を特徴付けていない。
本稿では,タスク生成,人間シミュレーションキャリブレーション,自動判定の3層合成妥当性モデルを提案する。
論文 参考訳（メタデータ） (2026-08-01T17:50:12Z) - Time to REFLECT: Can We Trust LLM Judges for Evidence-based Research Agents? [61.49434544687523]
本稿では,エージェント環境におけるきめ細かい故障検出を目的としたメタ評価ベンチマークREFLECTを紹介する。
REFLECTはプロセスレベルの障害モードと結果レベルの障害モードの詳細な分類を定義し、制御および局所的な介入を実行することでインスタンス化する。
私たちの実験では、最高のパフォーマンスモデルでさえ、推論、ツール使用、レポート品質の失敗に対して、全体的なアキュラシーを55%以下に達成しています。
論文 参考訳（メタデータ） (2026-05-18T23:55:08Z) - ProEval: Proactive Failure Discovery and Efficient Performance Estimation for Generative AI Evaluation [17.57025670370604]
ProEvalは、転送学習を利用して効率よくパフォーマンスを推定し、障害ケースを識別する、積極的な評価フレームワークである。
真理の1%以内の見積もりを達成するには8～65倍のサンプルが必要ですが、同時により多様な障害ケースを明らかにします。
論文 参考訳（メタデータ） (2026-04-25T01:33:57Z) - Claw-Eval: Toward Trustworthy Evaluation of Autonomous Agents [66.97968363332465]
エージェントベンチマークの3つのギャップに対処するエンドツーエンド評価スイートであるClaw-Evalを紹介した。
Claw-Evalは3つのグループにまたがる9つのカテゴリにまたがる300の人間検証タスクで構成されている。
すべてのエージェントアクションは、3つの独立したエビデンスチャネルを通じて記録される。
論文 参考訳（メタデータ） (2026-04-07T17:43:18Z) - Structured Uncertainty guided Clarification for LLM Agents [126.26213027785813]
LLMエージェントは、ツールコール機能を備えた大きな言語モデルを拡張するが、曖昧なユーザ命令は、しばしば誤った呼び出しやタスクの失敗につながる。
本稿では,ツールコールパラメータに対する構造的不確かさの定式化,完全情報の期待値(EVPI)を目標としたPOMDPのモデル化,冗長性防止のためのアスペクトベースコストモデルを提案する。
我々のSAGE-Agentは、この構造化された不確実性を活用し、より優れた効率を達成するために、曖昧なタスクのカバレッジを7～39%増加させ、明確な質問を1.5～2.7$times$に減らした。
論文 参考訳（メタデータ） (2025-11-11T21:50:44Z) - How can we assess human-agent interactions? Case studies in software agent design [52.953425368394306]
我々は,人間とエージェントの相互作用の厳密な評価に向けて,二つの大きな一歩を踏み出した。
エージェント設計のより効率的な人間中心評価のためのフレームワークであるPULSEを提案する。
私たちは、オープンソースのソフトウェアエージェントOpenHandsを中心に構築された大規模なWebプラットフォームにフレームワークをデプロイします。
論文 参考訳（メタデータ） (2025-10-10T19:04:28Z) - Uncertainty-Guided Expert-AI Collaboration for Efficient Soil Horizon Annotation [0.13999481573773068]
土壌プロファイルを記述するためのマルチモーダルマルチタスクモデルである$textitSoilNet$に共形予測を適用する。
我々は,モデルの不確実性が高い場合に,基本真理アノテーションを得るための限られた予算が利用できる,シミュレーションされたHILアノテーションパイプラインを設計する。
実験により、SoilNetの適合性は回帰タスクにおけるより効率的なアノテーションと分類タスクにおける同等のパフォーマンススコアをもたらすことが示された。
論文 参考訳（メタデータ） (2025-09-29T14:54:23Z) - PentestJudge: Judging Agent Behavior Against Operational Requirements [0.0]
PentestJudgeは、侵入テストエージェントの操作を評価するシステムである。
判定エージェントとして機能するモデルをいくつか評価し、最良のモデルがF1スコア0.83まで到達した。
論文 参考訳（メタデータ） (2025-08-04T21:52:50Z) - Exploring validation metrics for offline model-based optimisation with
diffusion models [50.404829846182764]
モデルベース最適化(MBO)では、マシンラーニングを使用して、(基底真理)オラクルと呼ばれるブラックボックス関数に対する報酬の尺度を最大化する候補を設計することに興味があります。
モデル検証中に基底オラクルに対する近似をトレーニングし、その代わりに使用することができるが、その評価は近似的であり、敵の例に対して脆弱である。
本手法は,外挿量を測定するために提案した評価フレームワークにカプセル化されている。
論文 参考訳（メタデータ） (2022-11-19T16:57:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。