論文の概要: Messier: A High-Resolution Corpus for Cross-Benchmark Agent Evaluation
- arxiv url: http://arxiv.org/abs/2607.25891v1
- Date: Tue, 28 Jul 2026 15:50:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-29 20:50:42.907755
- Title: Messier: A High-Resolution Corpus for Cross-Benchmark Agent Evaluation
- Title（参考訳）: Messier:クロスベンチマークエージェント評価のための高分解能コーパス
- Abstract要約: Messierは、30のベンチマーク、714のエージェント、11,891のタスク、74,205の検証を含む957,253レコードの統一コーパスである。
M Messierは公開ベンチマークのスコアを集約し、6つの未表現の専門分野と科学分野にわたる5エージェントの実行を補完する。
- 参考スコア（独自算出の注目度）: 37.16322609017877
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Evaluating AI agents in interactive environments is hindered by fragmented tasks, scaffolds, verifiers, and scoring rules. Existing efforts focus on narrow settings, remain limited in scale, or require costly reruns, leaving much of the empirical record incomparable. We introduce Messier, a unified corpus of 957,253 records that span 30 benchmarks, 714 agents, 11,891 tasks, and 74,205 verifiers. Messier consolidates public benchmark scores and supplements them with five-agent runs across six underrepresented professional and scientific domains, including a recent legal benchmark. Each record is standardized by model, scaffold, environment, task, verifier, and aggregation rule, with SOC/NAICS classifications for occupational and industry analysis. Using this corpus, we show frontier progress is uneven across benchmark types, with "function calling" saturated, "programming" improving the fastest, and "enterprise workflows" remaining the most challenging. Furthermore, counterfactual rescoring shows that strict all-pass aggregation in multi-verifier tasks can obscure progress and artificially alter agent rankings. From these standardized records, we derive capability scales that align with Epoch's Evaluation Capability Index rankings at Spearman \r{ho} = 0.81 and can be specialized by domain, occupation, action space, or verifier type. Messier provides a foundational, reusable infrastructure for agent capability scaling, benchmark auditing, and fine-grained analysis of evaluation failures.
- Abstract（参考訳）: 対話環境におけるAIエージェントの評価は、断片化されたタスク、足場、検証器、スコアリングルールによって妨げられる。
既存の取り組みは狭い設定に重点を置いており、規模が限られているか、コストのかかる再実行を必要としている。
30のベンチマーク、714のエージェント、11,891のタスク、74,205の検証を含む957,253レコードの統一コーパスであるMessierを紹介する。
Messierは公開ベンチマークのスコアを強化し、最近の法的なベンチマークを含む6つの未発表の専門分野と科学分野にわたる5エージェントのテストを補完する。
各レコードは、モデル、足場、環境、タスク、検証者、集約ルールによって標準化され、SOC/NAICS分類は産業分析と産業分析に使用される。
このコーパスを使用すると、ベンチマークタイプ間でフロンティアの進捗が不均一であることを示し、"関数呼び出し"が飽和し、"プログラミング"が最速で改善され、"エンタープライズワークフロー"が最も難しいままである。
さらに,マルチ検証タスクにおける厳密なオールパスアグリゲーションが進行を曖昧にし,エージェントランキングを人工的に変更できることを示す。
これらの標準化された記録から、Epoch の Spearman \r{ho} = 0.81 における評価能力指数のランクと整合する能力尺度を導出し、ドメイン、職業、行動空間、検証型を指定できる。
Messierは、エージェント能力スケーリング、ベンチマーク監査、評価失敗のきめ細かい分析のための基盤的で再利用可能なインフラストラクチャを提供する。
関連論文リスト
- AgentBeats: Agentifying Agent Assessment for Openness, Standardization, and Reproducibility [104.46861849039357]
エージェントシステムはドメイン間で急速に進歩しているが、その評価は断片化されている。
根本的問題は、オープンでエージェントに依存しないアセスメントインタフェースがないことである。
我々は、審査員が評価を行い、すべての参加者が標準化されたプロトコルを介して対話するエージェントエージェントアセスメント(AAA)を提唱する。
論文 参考訳（メタデータ） (2026-06-11T17:23:54Z) - Benchmark Everything Everywhere All at Once [28.30618112297148]
ベンチマーク構築用に設計された完全自律型エージェントシステムであるBenchmark Agentを紹介する。
本フレームワークは,ユーザクエリ分析やサブタスク設計からデータアノテーション,品質管理に至るまで,完全なベンチマーク構築パイプラインを編成する。
テキスト理解やマルチモーダル理解,ドメイン固有の推論など,さまざまな評価シナリオにまたがる15の代表的なベンチマークを作成した。
論文 参考訳（メタデータ） (2026-06-04T17:52:04Z) - Automated Benchmark Auditing for AI Agents and Large Language Models [46.03841647776303]
Auto Benchmark Audit (ABA)は、個々のベンチマークタスクを体系的に監査するエージェントフレームワークである。
私たちは、9つのドメインで合計168のベンチマークで、Frontier LLMベンチマークと以前のNeurIPSパブリッシュのコレクションでABAを実行しています。
ABAは、不明瞭なタスク設計、実行環境の矛盾、そして、評価されたタスクの25.7%以上において、誤った根拠の真実を含む重要な問題を特定する。
論文 参考訳（メタデータ） (2026-05-25T17:44:21Z) - AJ-Bench: Benchmarking Agent-as-a-Judge for Environment-Aware Evaluation [71.49152943451328]
我々は,AJ-Benchベンチマークを導入し,ドメイン検索,データシステム,グラフィカルユーザインタフェースの3つの領域にまたがるエージェント・アズ・ア・Judgeを評価する。
実験ではLLM-as-a-Judgeベースラインよりも一貫したパフォーマンス向上を示し、エージェントベースの検証においてかなりオープンな課題を明らかにした。
論文 参考訳（メタデータ） (2026-04-20T13:23:38Z) - Benchmarking at the Edge of Comprehension [38.43582342860192]
ベンチマークが実現不可能になった場合、AIの進歩を計測する能力が重要になります。
完全人間の理解が不可能な場合でも,モデルを比較するために設計された対戦型フレームワークであるCrytique-Resilient Benchmarkingを提案する。
標準的なベンチマークとは異なり、人間は有界検証として機能し、ローカライズされたクレームにフォーカスする。
論文 参考訳（メタデータ） (2026-02-15T20:51:29Z) - Terminal-Bench: Benchmarking Agents on Hard, Realistic Tasks in Command Line Interfaces [126.23612941699565]
Terminal-Bench 2.0は、現実世界の問題に触発されたコンピュータ端末環境における89のタスクからなるベンチマークである。
ベンチマークでは、フロンティアモデルとエージェントのスコアが65%未満であることが示されています。
将来的にはhttps://www.tbench.ai/で開発者や研究者を支援するために、データセットと評価ハーネスを公開しています。
論文 参考訳（メタデータ） (2026-01-17T01:29:30Z) - PentestJudge: Judging Agent Behavior Against Operational Requirements [0.0]
PentestJudgeは、侵入テストエージェントの操作を評価するシステムである。
判定エージェントとして機能するモデルをいくつか評価し、最良のモデルがF1スコア0.83まで到達した。
論文 参考訳（メタデータ） (2025-08-04T21:52:50Z) - Establishing Best Practices for Building Rigorous Agentic Benchmarks [94.69724201080155]
多くのエージェントベンチマークがタスク設定や報酬設計に問題があることを示す。
このような問題は、エージェントのパフォーマンスを最大100%相対的に過小評価することにつながる可能性がある。
我々はベンチマーク構築経験から要約したガイドラインの集合であるAgentic Benchmark Checklist (ABC)を紹介した。
論文 参考訳（メタデータ） (2025-07-03T17:35:31Z) - AI Agents-as-Judge: Automated Assessment of Accuracy, Consistency, Completeness and Clarity for Enterprise Documents [0.0]
本研究では,AIエージェントを用いた高度に構造化された企業文書の自動レビューのためのモジュール型マルチエージェントシステムを提案する。
LangChain、CrewAI、TruLens、Guidanceといった現代的なオーケストレーションツールを使用して、文書のセクション単位での評価を可能にする。
99%の情報一貫性(人間の場合は92%)を実現し、エラーとバイアス率を半減させ、1文書あたりの平均レビュー時間を30分から2.5分に短縮する。
論文 参考訳（メタデータ） (2025-06-23T17:46:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。