論文の概要: ERPBench: Evaluating LLM Agents for Enterprise Decision-Making Across Competitive Market Ecologies
- arxiv url: http://arxiv.org/abs/2609.04667v1
- Date: Fri, 04 Sep 2026 02:58:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-07 18:15:23.897787
- Title: ERPBench: Evaluating LLM Agents for Enterprise Decision-Making Across Competitive Market Ecologies
- Title（参考訳）: ERPBench: 競争力のある市場エコロジーにおける企業意思決定のためのLLMエージェントの評価
- Abstract要約: 大規模言語モデル(LLM)エージェントはますますエンタープライズ向けに提案されているが、既存の評価では競合する市場エコロジー間でビジネス決定の結論が伝達されるかどうかを検査することはめったにない。
ERPBenchは6ラウンドの企業資源計画シミュレーションで、価格、生産、調達、在庫、金融、共有市場競争を組み合わせた企業意思決定エージェントの実行インストールベンチマークである。
- 参考スコア（独自算出の注目度）: 23.12632291331916
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language model (LLM) agents are increasingly proposed for enterprise workflows, yet existing evaluations rarely test whether business-decision conclusions transfer across competitive market ecologies. We introduce ERPBench, an execution-instrumented benchmark for enterprise decision agents in a six-round Enterprise Resource Planning (ERP) simulation with coupled pricing, production, procurement, inventory, finance, and shared-market competition. ERPBench evaluates the same 100 fixed problems in two matched competitive market ecologies: Solo, where each evaluated LLM agent competes against fixed rule-based opponents, and Arena, where six evaluated LLM agents compete in a shared market. Across six model families, this yields 1,200 model-level trajectories spanning 7,200 decision rounds. Under the observed service configuration, the leading model differs between ecologies: DeepSeek leads in Solo (252.29M mean valuation; mean rank 1.67), whereas Gemini leads in Arena (263.95M; 1.76). The two ecologies identify the same task-level winner on only 21 of 100 problems, and Gemini's bottom-rank rate falls from 22 % to 0 % in Arena. ERPBench supports paired evaluation of whether enterprise-agent rankings transfer across competitive market ecologies, supplemented by aggregate execution-intervention analysis. Code and benchmark resources are available in our https://github.com/GAIR-NLP/erp-bench.
- Abstract（参考訳）: 大規模言語モデル(LLM)エージェントは、企業ワークフローのためにますます提案されているが、既存の評価では、競合する市場エコロジー間でビジネス決定の結論が伝達されるかどうかをテストすることは滅多にない。
ERPBenchは6ラウンドの企業資源計画(ERP)シミュレーションで、価格、生産、調達、在庫、金融、共有市場競争を組み合わせた企業意思決定エージェントの実行インストールベンチマークである。
ERPBenchは、2つの競合する市場エコロジーにおいて、それぞれ評価されたLLMエージェントが一定のルールベースの対戦相手と競合するSoloと、6つの評価されたLLMエージェントが共有市場で競合するArenaの100の固定問題を評価している。
6つのモデルファミリーにまたがって、1200のモデルレベルの軌道が7,200の意思決定ラウンドにまたがる。
ディープシークはソロで252.29M、平均ランクは1.67)、ジェミニはアリーナで263.95M、ジェミニは1.76)。
2つのエコロジーは、100件中21件で同じタスクレベルの勝者を識別し、ジェミニのボトムランクレートはアリーナの22 %から0 %に低下する。
ERPBenchは、総合的な実行・介入分析によって補完される競争市場エコロジー間でエンタープライズエージェントのランキングが転送されるかどうかのペア評価をサポートする。
コードとベンチマークのリソースは、https://github.com/GAIR-NLP/erp-bench.orgにある。
関連論文リスト
- From Production Traffic to Post-Training: Building a Self-Hosted LLM That Covers the Corporate Request Mix [55.08143827481755]
200以上の内部アプリケーションから1つのモデルにトラフィックを集約します。
我々は、各軸ごとに別々のGRPOエキスパートを訓練し、2段階のSLERPを介してそれらをマージする。
このモデルは、プラットフォームトラフィックの50%、月1億6600万リクエストをサービスコストのごく一部で吸収する。
論文 参考訳（メタデータ） (2026-09-01T17:39:26Z) - Business Arena: Benchmarking LLM Agents in a Realistic Marketplace [14.641921772947926]
Business Arenaは、AIエージェントが国境を越えた店を経営し、サプライヤーから購入し、長期にわたって購入者に販売する管理環境である。
15のフロンティアモデルを評価し,9倍の差が得られた。
最高のモデルでさえ、人間設計の戦略に遅れをとっており、LLMエージェントにとってビジネス運用は依然として困難であることを示している。
論文 参考訳（メタデータ） (2026-08-09T10:08:21Z) - Meta-Benchmarks for Financial-Services LLM Evaluation [0.0]
我々は、452の公開ベンチマークを41のO*NET Generalized Work Activityにまとめるメタベンチマークフレームワークを提案する。
乗法重み付けスキームは、まだ最高のモデルを分離し、広く報告され、アクティブな使用が続けられているベンチマークに報酬を与える。
2026年6月現在、25の組織で288のモデルをカバーしているポイントインタイムのパブリックスナップショットで、このフレームワークを実演しています。
論文 参考訳（メタデータ） (2026-07-02T05:52:32Z) - Cattle Trade: A Multi-Agent Benchmark for LLM Bluffing, Bidding, and Bargaining [0.5691230599672109]
我々は,大規模言語モデル(LLM)を戦略的推論のエージェントとして評価するためのベンチマークであるtextscCattle Tradeを紹介した。
このベンチマークは、1つのロングホライゾンゲーム内でのオークション、隠れオフのトレードチャレンジ(TC)、バーゲティング、ブラッフィング、相手モデリング、リソース割り当てを組み合わせたものだ。
我々は,242ゲームに対して,コスト効率のよい7つの言語モデルと3つの決定論的コードエージェントを評価した。
論文 参考訳（メタデータ） (2026-05-14T08:20:03Z) - ComplexMCP: Evaluation of LLM Agents in Dynamic, Interdependent, and Large-Scale Tool Sandbox [61.862814740220806]
$textbfComplexMCP$は厳格な条件下でエージェントを評価するために設計されたベンチマークである。
Model Context Protocol (MCP)上に構築された$textbfComplexMCP$は300以上の精巧にテストされたツールを提供する。
論文 参考訳（メタデータ） (2026-05-11T16:20:51Z) - Evaluation of Agents under Simulated AI Marketplace Dynamics [72.02953516461965]
本稿では,情報アクセスシステムを競争市場への参加として評価するシミュレーションに基づくパラダイムを提案する。
我々はこの枠組みを定式化し、TRECのような評価キャンペーンにおける市場シミュレーション、メトリクス、最適化、導入に関する、ビジネスと経済に動機付けられた研究課題の概要を述べる。
論文 参考訳（メタデータ） (2026-04-15T15:01:36Z) - ContestTrade: A Multi-Agent Trading System Based on Internal Contest Mechanism [8.46483000946212]
大規模言語モデル(LLM)に基づくエージェントは、金融取引において大きな可能性を示す。
マーケットノイズに対する高い感度は、LLMベースのトレーディングシステムの性能を損なう。
本稿では,現代企業経営構造にインスパイアされた内部競争機構を特徴とする新しいマルチエージェントシステムを提案する。
論文 参考訳（メタデータ） (2025-08-01T11:48:13Z) - MLRC-Bench: Can Language Agents Solve Machine Learning Research Challenges? [66.87201770167012]
MLRC-Benchは、機械学習(ML)リサーチコンペティションの挑戦において、言語エージェントがいかに効果的に対処できるかを定量化するために設計されたベンチマークである。
MLRC-Benchは以前の研究とは異なり、新しい研究手法を提案し、実装する上で重要なステップを計測する。
最も優れた試験薬でさえ、ベースラインとトップヒューマンのスコアの差の9.3%しか閉じていない。
論文 参考訳（メタデータ） (2025-04-13T19:35:43Z) - Defection-Free Collaboration between Competitors in a Learning System [61.22540496065961]
協力によって収益を失うと、参加者がシステムから外れる競合相手となる協調学習システムについて検討する。
我々は、両社が利益を失わずに相互に共有する、より公平で*欠陥のない*スキームを提案する。
論文 参考訳（メタデータ） (2024-06-22T17:29:45Z) - Benchmarking Robustness and Generalization in Multi-Agent Systems: A
Case Study on Neural MMO [50.58083807719749]
IJCAI 2022で開催されている第2回Neural MMOチャレンジの結果を報告する。
この競合はマルチエージェントシステムの堅牢性と一般化をターゲットにしている。
環境ラッパー、ベースライン、可視化ツール、そしてさらなる研究のための選択されたポリシーを含むベンチマークをオープンソースにします。
論文 参考訳（メタデータ） (2023-08-30T07:16:11Z) - MESOB: Balancing Equilibria & Social Optimality [12.702156510015628]
本稿では,オンライン広告オークションにおける入札推薦を動機として,マルチレベルゲームとマルチエージェントゲームについて考察する。
本稿では, 平均場近似を用いた新規かつトラクタブルな2目的最適化法を提案する。
MESOB-OMOは、競合と協力の二重目的の観点から、ほぼ効率的な解を得ることができる。
論文 参考訳（メタデータ） (2023-07-16T00:43:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。