論文の概要: The Era by Eon Benchmark: A Generated Enterprise Estate with Exact Ground Truth for Benchmarking LLM Agents
- arxiv url: http://arxiv.org/abs/2609.09853v1
- Date: Wed, 09 Sep 2026 08:06:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.945717
- Title: The Era by Eon Benchmark: A Generated Enterprise Estate with Exact Ground Truth for Benchmarking LLM Agents
- Title（参考訳）: Eon Benchmark による時代: LLM エージェントのベンチマークのための厳密な地平を持つエンタープライズエステート
- Abstract要約: Era by Eon Benchmarkは、完全なフィクション会社を中心に作られている。
製品シミュレータ、企業固有の内部データベース、ベンチマーク質問、計算された回答キーが含まれている。
23社中の平均リアリズムスコアは61.8から97.0に上昇し、ゼロレコードは合成された。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: LLM agents for enterprise systems of record cannot be evaluated on customer production data, and no existing substitute provides ground truth. We present the Era by Eon Benchmark for evaluating LLM agents that use enterprise tools. The benchmark is built around a complete fictional company. It includes product simulators, company-specific internal databases, benchmark questions, and computed answer keys. Industry, company size, business model, application portfolio, and a seed define each company. One seeded entity graph supplies shared company data to simulators of Salesforce, Zendesk, Slack, Gong, and other products. A questionconditioned generator creates the schemas and records for internal databases. It takes shared entities, keys, and values from the same graph before generating database-specific facts. Both mechanisms therefore describe one consistent enterprise estate. Every expected answer is computed from the final records, so grading is exact. Design and answer-key checks validate the internal databases. A realism scorecard and adversarial detector validate the entity graph. Across 23 generated companies, the mean realism score rose from 61.8 to 97.0, with zero records flagged as synthetic. In the reported simulator-track comparison, nine models answered the same 33 questions three times each. Accuracy estimates ranged from 42.4% to 76.8%, and three of 36 pairwise differences remained supported after correction.
- Abstract（参考訳）: LLMエージェントは、顧客生産データでは評価できないため、既存の代用エージェントが根拠となる真理を提供するものはない。
企業ツールを用いた LLM エージェントの評価には Eon Benchmark が有効である。
このベンチマークは、完全な架空の会社を中心に構築されている。
製品シミュレータ、企業固有の内部データベース、ベンチマーク質問、計算された回答キーが含まれている。
業界規模、企業規模、ビジネスモデル、アプリケーションポートフォリオ、シードはそれぞれの企業を定義します。
1つのシードされたエンティティグラフは、Salesforce、Zendesk、Slack、Gongなどのプロダクトのシミュレーターに共有された企業データを供給している。
質問条件付きジェネレータは、内部データベースのスキーマとレコードを生成する。
データベース固有の事実を生成する前に、同じグラフから共有エンティティ、キー、値を取ります。
したがって、どちらのメカニズムも一貫した企業資産を記述している。
すべての期待された答えは最終記録から計算されるので、グルーピングは正確です。
設計と応答キーチェックは、内部データベースを検証する。
現実主義スコアカードと逆検出器は、エンティティグラフを検証する。
23社中の平均リアリズムスコアは61.8から97.0に上昇し、ゼロレコードは合成された。
シミュレータとトラックの比較では、9つのモデルが同じ33の質問にそれぞれ3回答えた。
精度の見積もりは42.4%から76.8%まで変化し、修正後も36の相違点のうち3つが支持された。
関連論文リスト
- Generating a Consistent Enterprise: Synthesis and Reference-Free Evaluation of Multi-System Business Data [0.0]
本稿では,両端に実際のデータセットを持たないジェネレータについて述べる。
従業員、顧客ベース、販売契約、チケットのサポート、通話記録、チャットメッセージ、ドキュメントなど、完全なフィクション企業を生み出している。
第2のジェネレータは、ビジネス質問のリストからリレーショナルデータベースを構築する。
論文 参考訳（メタデータ） (2026-09-10T09:17:21Z) - DI-Bench: Systematically Generating In-Domain Data Intelligence Benchmarks for Enterprise Agents [9.592889418944608]
データインテリジェンス(DI)のための現実的なベンチマークを生成するパイプラインであるDI-Benchを紹介する。
パイプラインは知識検索、解析計算、ルール基底推論をカバーする731タスクのベンチマークを生成する。
検索したビジネスルールが計算を変更する計算処理を行う場合、モデルは32%の精度しか達成できない。
論文 参考訳（メタデータ） (2026-09-04T23:53:21Z) - Codebook Agent: Amortized Topology Design for LLM Multi-Agent Systems [67.04448659688579]
クエリ非依存の16エントリのコードブックを開発し、上位のデコード候補を1回のバッチフォワードパスでランク付けする。
反復検索がなく、テスト時にメッセージパッシングがないため、Codebook Agentは6つのベンチマークでもっとも正確な方法である。
論文 参考訳（メタデータ） (2026-09-02T08:10:22Z) - Business Truth, not SQL Accuracy: A Rule-Gated 7B Analytics Agent Outperforms a Direct-Prompted 32B Baseline [0.0]
本稿では,2つの合成倉庫における400の凍結作業であるWarehouseBenchについて紹介する。
7BエージェントであるQueryProofは、セマンティックレイヤと物理カタログから派生したルールを使用して、その振る舞いを決定する。
論文 参考訳（メタデータ） (2026-08-10T08:14:24Z) - PairCoder++: Pair Programming as a Universal Paradigm for Verified Code-Driven Multimodal and Structured-Artifact Generation [51.92442051257354]
PairCoderは、実行のみではなく、完全な公式メトリックスイート上で、アーティファクトが検証可能なすべてのベンチマークを本質的に改善する。
TikZのコンパイルレートは、各モデルで10から30ポイント、シングルモデルの2.9から9.2倍である。
論文 参考訳（メタデータ） (2026-07-02T08:36:02Z) - Knowledge Graphs as the Missing Data Layer for LLM-Based Industrial Asset Operations [0.0]
LLMをベースとした産業資産運用のエージェントは、フラットなドキュメントストアに対する推論において、限られた精度を示す。
AssetOpsBenchは、GPT-4エージェントが139の産業保守シナリオで65%を達成することを証明している。
入力された知識グラフをグラウンド基板として扱い、どのように答えられるかによって各質問をルーティングする。
論文 参考訳（メタデータ） (2026-05-26T11:31:46Z) - How Far Is Document Parsing from Solved? PureDocBench: A Source-TraceableBenchmark across Clean, Degraded, and Real-World Settings [56.70440596502351]
昨年は20以上のオープンドキュメントパースモデルが見られたが、ベンチマークはほぼOmniDocBenchにのみ依存している。
HTML/CSSのドキュメントイメージをレンダリングするベンチマークであるPureDocBenchは、10のドメイン、66ページ、1,475ページをカバーしています。
論文 参考訳（メタデータ） (2026-05-08T09:30:31Z) - BenchBench: Benchmarking Automated Benchmark Generation [10.44497524694021]
BenchBenchは、自動ベンチマーク生成をベンチマークするためのパイプラインとデータセットである。
我々は16.7Kアイテムを生成し、15Kコアアイテムをポストフィルタに保持し、152Kグレードのモデル-イテム応答を生成する。
論文 参考訳（メタデータ） (2026-03-21T13:05:32Z) - AlgoVeri: An Aligned Benchmark for Verified Code Generation on Classical Algorithms [54.99368693313797]
既存のベンチマークでは、個々の言語/ツールのみをテストするため、パフォーマンス番号は直接比較できない。
このギャップに対処するAlgoVeriは、Dafny、Verus、Leanで77ドルの古典的アルゴリズムのベリコーディングを評価するベンチマークです。
論文 参考訳（メタデータ） (2026-02-10T06:58:26Z) - Factcheck-Bench: Fine-Grained Evaluation Benchmark for Automatic Fact-checkers [121.53749383203792]
本稿では,大規模言語モデル (LLM) 生成応答の事実性に注釈を付けるための総合的なエンドツーエンドソリューションを提案する。
オープンドメインの文書レベルの事実性ベンチマークを,クレーム,文,文書の3段階の粒度で構築する。
予備実験によると、FacTool、FactScore、Perplexityは虚偽の主張を識別するのに苦労している。
論文 参考訳（メタデータ） (2023-11-15T14:41:57Z) - Generating Benchmarks for Factuality Evaluation of Language Models [61.69950787311278]
FACTOR: Factual Assessment via Corpus Transformation, a scalable approach for LM factuality。
FACTORは、興味のある事実のコーパスをLMの正当性を評価するベンチマークに自動的に変換し、コーパスから真事実を生成する。
その結果, (i) ベンチマークスコアはモデルサイズに応じて増加し, LMが検索によって拡張されたときに向上する; (ii) ベンチマークスコアとパープレキシティは必ずしもモデルランキングに一致しない; (iii) パープレキシティとベンチマークスコアが一致しない場合, 後者はオープンエンド世代における事実性を反映する。
論文 参考訳（メタデータ） (2023-07-13T17:14:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。