論文の概要: AlphaEval: Evaluating Agents in Production

• arxiv url: http://arxiv.org/abs/2604.12162v1
• Date: Tue, 14 Apr 2026 00:43:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-15 19:11:32.173781
• Title: AlphaEval: Evaluating Agents in Production
• Title（参考訳）: AlphaEval: 生産におけるエージェントの評価
• Authors: Pengrui Lu, Bingyu Xu, Wenjun Zhang, Shengjia Hua, Xuanjian Gao, Ranxiang Ge, Lyumanshan Ye, Linxuan Wu, Yiran Li, Junfei Fish Yu, Yibo Zhang, Ruixin Li, Manxiang Li, Xiao Han, Xiaocong Zhou, Guangyao Chi, Zisheng Chen, Kaishen Chen, Kun Wang, Qihua Xu, Fengyue Meng, Yuchen Ni, Jiajun Li, Jinxiu Liu, Danfeng Zhang, Jingru Zhao, Pengfei Liu,
• Abstract要約: AlphaEvalは、コアビジネスにAIエージェントをデプロイする7つの企業から提供された94のタスクを、実運用環境でベンチマークしたものです。 モデル中心のベンチマークとは異なり、AlphaEvalは完全なエージェント製品を商用システムとして評価し、モデルレベルの評価には見えないパフォーマンスを捉えている。
• 参考スコア（独自算出の注目度）: 32.52315519888507
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The rapid deployment of AI agents in commercial settings has outpaced the development of evaluation methodologies that reflect production realities. Existing benchmarks measure agent capabilities through retrospectively curated tasks with well-specified requirements and deterministic metrics -- conditions that diverge fundamentally from production environments where requirements contain implicit constraints, inputs are heterogeneous multi-modal documents with information fragmented across sources, tasks demand undeclared domain expertise, outputs are long-horizon professional deliverables, and success is judged by domain experts whose standards evolve over time. We present AlphaEval, a production-grounded benchmark of 94 tasks sourced from seven companies deploying AI agents in their core business, spanning six O*NET (Occupational Information Network) domains. Unlike model-centric benchmarks, AlphaEval evaluates complete agent products -- Claude Code, Codex, etc. -- as commercial systems, capturing performance variations invisible to model-level evaluation. Our evaluation framework covers multiple paradigms (LLM-as-a-Judge, reference-driven metrics, formal verification, rubric-based assessment, automated UI testing, etc.), with individual domains composing multiple paradigms. Beyond the benchmark itself, we contribute a requirement-to-benchmark construction framework -- a systematic methodology that transforms authentic production requirements into executable evaluation tasks in minimal time. This framework standardizes the entire pipeline from requirement to evaluation, providing a reproducible, modular process that any organization can adopt to construct production-grounded benchmarks for their own domains.
• Abstract（参考訳）: 商用環境におけるAIエージェントの迅速な展開は、生産現実を反映した評価手法の開発を上回っている。 既存のベンチマークは、明確に定義された要求と決定論的メトリクスを備えたふりかえりされたタスクを通じてエージェント能力を測定する -- 要求が暗黙の制約を含む本番環境から根本的に分岐する条件、入力はソース間で断片化された情報を持つ異質なマルチモーダル文書、タスク要求未宣言のドメイン専門知識、アウトプットは長期の専門的成果物であり、成功は時間とともに標準が進化するドメイン専門家によって判断される。 AlphaEvalは、6つのO*NET(Occupational Information Network)ドメインにまたがって、コアビジネスにAIエージェントをデプロイする7つの企業から提供された94のタスクのプロダクショングラウンドベンチマークである。 モデル中心のベンチマークとは異なり、AlphaEvalは完全なエージェント製品(Claude Code、Codexなど)を商用システムとして評価し、モデルレベルの評価には見えないパフォーマンスを捉えている。 評価フレームワークは、複数のパラダイム(LLM-as-a-Judge、参照駆動メトリクス、形式検証、ルーリックベースのアセスメント、自動UIテストなど)を、複数のパラダイムを構成する個々のドメインでカバーしています。 ベンチマーク自体の他に、要求からベンチマークへの構築フレームワーク -- 実運用要求を最小限の時間で実行可能な評価タスクに変換する、体系的な方法論 -- も提供しています。 このフレームワークは、パイプライン全体を要件から評価まで標準化し、すべての組織が自身のドメインで本番環境でベンチマークを構築するために採用可能な再現可能な、モジュール化されたプロセスを提供します。

関連論文リスト

• ProdCodeBench: A Production-Derived Benchmark for Evaluating AI Coding Agents [10.578603956693696]
  本稿では,ProdCodeBenchを用いて実運用用ベンチマークの計算手法を提案する。 それぞれのキュレートされたサンプルは、7つのプログラミング言語にまたがる冗長なプロンプト、コミットされたコード変更、フェイル・ツー・パステストで構成されている。 4つの基礎モデルの体系的な分析は、53.2%から72.2%の範囲で解決する。
  論文  参考訳（メタデータ） (2026-04-02T01:52:55Z)
• ABC-Bench: Benchmarking Agentic Backend Coding in Real-World Development [72.4729759618632]
  本稿では,現実的かつ実行可能なワークフロー内でエージェントバックエンドコーディングを評価するベンチマークであるABC-Benchを紹介する。 オープンソースリポジトリから8つの言語と19のフレームワークにまたがる224の実践的なタスクをキュレートしました。 我々の評価は、最先端モデルでさえ、これらの総合的なタスクに対して信頼性の高いパフォーマンスを提供するのに苦労していることを示している。
  論文  参考訳（メタデータ） (2026-01-16T08:23:52Z)
• Continuous Benchmark Generation for Evaluating Enterprise-scale LLM Agents [23.277131100190086]
  本稿では,要求の変化に応じてベンチマークを進化させ,進化するAIエージェントの堅牢な評価を行うベンチマーク生成プロセスを提案する。 このアプローチは、開発者が高レベルのインテントを表現し、最先端のLCMを使用して、ごく少数の文書からベンチマークを生成する半構造化ドキュメントに依存している。
  論文  参考訳（メタデータ） (2025-11-13T07:48:22Z)
• Automatically Benchmarking LLM Code Agents through Agent-Driven Annotation and Evaluation [47.85891728056131]
  PRDBenchは、20のドメインにわたる50の現実のPythonプロジェクトからなる、新しいベンチマークである。それぞれに構造化された製品要求文書(PRD)要件、包括的な評価基準、リファレンス実装がある。 我々はエージェント・アズ・ア・ジャッジ(Agen-as-a-Judge)パラダイムを用いてエージェントの出力を評価する。
  論文  参考訳（メタデータ） (2025-10-28T12:26:45Z)
• OutboundEval: A Dual-Dimensional Benchmark for Expert-Level Intelligent Outbound Evaluation of Xbench's Professional-Aligned Series [36.88936933010042]
  OutboundEvalは、インテリジェントなアウトバウンドコールシナリオにおいて、大きな言語モデル(LLM)を評価するための包括的なベンチマークである。 6つの主要なビジネスドメインと30の代表的なサブシナリオにまたがるベンチマークを設計します。 本稿では,タスク実行の正確性,専門知識の適用性,適応性,ユーザエクスペリエンスの質を評価するために,タスクのバリエーションに適応する動的評価手法を提案する。
  論文  参考訳（メタデータ） (2025-10-24T08:27:58Z)
• MCPEval: Automatic MCP-based Deep Evaluation for AI Agent Models [76.72220653705679]
  我々は、エンドツーエンドタスク生成とインテリジェントエージェントの深い評価を自動化するオープンソースのフレームワークであるMCPEvalを紹介する。 MCPEvalはメトリクスを標準化し、ネイティブエージェントツールとシームレスに統合し、評価パイプラインを構築するための手作業を排除する。 実世界の5つのドメインにまたがる実証的な結果から、ニュアンスのある、ドメイン固有のパフォーマンスを明らかにする効果が示された。
  論文  参考訳（メタデータ） (2025-07-17T05:46:27Z)
• OmniEval: An Omnidirectional and Automatic RAG Evaluation Benchmark in Financial Domain [62.89809156574998]
  金融分野において全方向自動RAGベンチマークであるOmniEvalを導入する。 我々のベンチマークは多次元評価フレームワークによって特徴づけられる。 実験では、広範囲なテストデータセットを含むOmniEvalの包括性を実証した。
  論文  参考訳（メタデータ） (2024-12-17T15:38:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。