論文の概要: EGI-BENCH: An Enterprise General Intelligence Benchmark Suite

• arxiv url: http://arxiv.org/abs/2610.27234v1
• Date: Mon, 19 Oct 2026 20:02:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.489853
• Title: EGI-BENCH: An Enterprise General Intelligence Benchmark Suite
• Title（参考訳）: EGI-BENCH: エンタープライズ汎用インテリジェンスベンチマークスイート
• Abstract要約: EGI-BENCHは8つのエンタープライズエージェントベンチマークを統合した統合されたエージェントベンチマークスイートである。 スイートの上に6次元フレームワーク(M1-M6)であるEnterprise General Intelligence (EGI) Scoreを定義します。 このスイート,サブメトリックルーティング,およびクイック/ディープ予算について述べるとともに,14のフロンティアとコスト効率のLLMについて報告する。
• 参考スコア（独自算出の注目度）: 49.949941814209076
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Enterprise adoption of LLMs in agentic workflows is gated by evaluations that span a wide arc of abilities: CRM operations, heterogeneous-document retrieval, personal data understanding, multi-turn planning, tool use, function calling, long-horizon research, and long-context software engineering. These evaluations live today in separate repositories with divergent runners, dependencies, and scoring conventions, which makes cross-benchmark comparison difficult and obscures what a single aggregate number actually represents. We release EGI-BENCH, a unified LLM agent benchmark suite that consolidates eight enterprise facing agent benchmarks (CRMARENA, HERB, PERSONABENCH, USERBENCH, MCP-UNIVERSE, MCPEVAL, BENCHFORCE, LOCOBENCH) behind a single command-line interface with two runtime-budgeted execution modes. On top of the suite we define the Enterprise General Intelligence (EGI) Score, a six-dimensional framework (M1-M6) whose buckets are populated by fine-grained sub-metrics routed from each benchmark rather than by benchmark-level averages. We describe the suite, the sub-metric routing, and the quick/deep budgets, and report results for fourteen frontier and cost-efficient LLMs spanning the GPT, Claude, and Gemini families under quick mode. Top-line EGI ranges from 39.6 (GPT-4o mini) to 65.6 (gpt-5.5), and no single model dominates every capability axis: gpt-5.5 leads task outcome, planning, and retrieval grounding; Claude Sonnet 4.5 leads tool actioning and safety/abstention; and Claude Haiku 4.5 leads engineering quality. Code is available at https://github.com/SalesforceAIResearch/egi-bench.
• Abstract（参考訳）: CRM操作、異種文書検索、個人データ理解、マルチターン計画、ツール使用、関数呼び出し、長期研究、長期ソフトウェアエンジニアリング。 これらの評価は、現在、異なるランナー、依存関係、スコアリング規則を持つ別々のリポジトリで実施されており、クロスベンチマーク比較が難しく、単一の集約番号が実際に何を表すのかを曖昧にしている。 EGI-BENCHは,8つのエンタープライズエージェントベンチマーク(CRMARENA, HERB, PERSONABENCH, USERBENCH, MCP-UNIVERSE, MCPEVAL, BENCHFORCE, LOCOBENCH)を,ランタイム予算実行モードを2つ備えた単一のコマンドラインインターフェースで統合した,統一LLMエージェントベンチマークスイートである。 ベンチマークレベルの平均値ではなく、各ベンチマークからルーティングされる詳細なサブメトリックによってバケットが集約される6次元フレームワーク(M1-M6)であるEnterprise General Intelligence(EGI) Scoreを定義します。 GPT,Claude,Geminiの各ファミリーにまたがる14のフロンティアおよび費用効率のLLMについて,高速モードで報告する。 トップライン EGI は 39.6 (GPT-4o mini) から 65.6 (gpt-5.5) まで様々で、gpt-5.5 はタスクの成果、計画、検索のグラウンディング、Claude Sonnet 4.5 はツールのアクションと安全性の確保、そして Claude Haiku 4.5 はエンジニアリングの品質をリードする。 コードはhttps://github.com/SalesforceAIResearch/egi-bench.comから入手できる。

関連論文リスト

• EngiAI: A Multi-Agent Framework and Benchmark Suite for LLM-Driven Engineering Design [0.4499833362998488]
  3つの評価次元を持つベンチマークスイートを導入する。 本稿では,LangGraph上に構築されたマルチエージェントシステム(MAS)の実装であるEngiAIを紹介する。
  論文  参考訳（メタデータ） (2026-05-19T12:12:09Z)
• WildClawBench: A Benchmark for Real-World, Long-Horizon Agent Evaluation [88.10947115397971]
  この研究でWildClawBenchは、6つのテーマのカテゴリにまたがる60の人間によるバイリンガルなマルチモーダルタスクのネイティブランタイムベンチマークである。 各タスクは、約8分間のウォールクロック時間と20以上のツールコールで実行されます。 グラディングはハイブリッドであり、決定論的ルールベースのチェック、副作用の環境状態監査、意味的検証のためのLLM/VLM判定を組み合わせている。
  論文  参考訳（メタデータ） (2026-05-11T17:49:43Z)
• GeoBenchX: Benchmarking LLMs in Agent Solving Multistep Geospatial Tasks [0.11458853556386796]
  本稿では,大規模言語モデル(LLM)のツールコール能力を評価するためのベンチマークを確立する。 我々は,23の地理空間機能を備えた簡易なツールコールエージェントを用いて,8種類の商用LCM (Claude Sonnet 3.5, 4, Claude Haiku 3.5, Gemini 2.0 Flash, Gemini 2.5 Pro Preview, GPT-4o, GPT-4.1, o4-mini) を評価した。 OpenAIのGPT-4.1、GPT-4o、GoogleのGemini 2.5 Pro Previewはそれほど遅れていないが、最後の2つはより効率的である。
  論文  参考訳（メタデータ） (2025-03-23T16:20:14Z)
• CRAB: Cross-environment Agent Benchmark for Multimodal Language Model Agents [49.68117560675367]
  Crabは、クロス環境タスクをサポートするように設計された最初のベンチマークフレームワークである。 私たちのフレームワークは複数のデバイスをサポートし、Pythonインターフェースで簡単に任意の環境に拡張できます。 実験の結果、GPT-4oの1剤が38.01%の最高完成率を達成することが示された。
  論文  参考訳（メタデータ） (2024-07-01T17:55:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。