論文の概要: Business Arena: Benchmarking LLM Agents in a Realistic Marketplace
- arxiv url: http://arxiv.org/abs/2608.08621v1
- Date: Sun, 09 Aug 2026 10:08:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:36.886383
- Title: Business Arena: Benchmarking LLM Agents in a Realistic Marketplace
- Title（参考訳）: Business Arena: LLMエージェントを現実的なマーケットプレースでベンチマークする
- Abstract要約: Business Arenaは、AIエージェントが国境を越えた店を経営し、サプライヤーから購入し、長期にわたって購入者に販売する管理環境である。
15のフロンティアモデルを評価し,9倍の差が得られた。
最高のモデルでさえ、人間設計の戦略に遅れをとっており、LLMエージェントにとってビジネス運用は依然として困難であることを示している。
- 参考スコア（独自算出の注目度）: 14.641921772947926
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Running a business is a challenging form of intelligent work. Operators must infer opportunities from partial signals, commit capital under uncertainty, adapt to delayed outcomes in a changing market, and satisfy regulatory obligations before trading legally. Frontier LLM agents can increasingly complete complex workflows, yet business-related capabilities are rarely evaluated in existing agent benchmarks. We introduce \textbf{Business Arena}, a controlled environment where an AI agent runs a cross-border shop, buying from suppliers and selling to buyers over a long horizon. We ground the arena in real Alibaba.com sourcing data and market conditions calibrated from authoritative sources. Delayed and coupled consequences make individual business decisions difficult to judge, but their combined outcome is measurable through profit. Because profit alone cannot explain why an agent succeeds or fails, we compare agents with human-designed strategies to estimate available opportunity, use skill-level metrics to reveal underlying strengths and weaknesses, and trace realized gains and losses to the actions that produced them. We use mechanism ablations to establish that strong results reflect genuine business intelligence rather than neglect or simulator-specific shortcuts. We evaluate 15 frontier models and find a ninefold difference in mean final net worth. Even the best model falls behind human-designed strategies, indicating that business operation remains challenging for LLM agents. Skill-level analysis reveals operating styles, from margin-focused premium sellers to high-turnover wholesalers and customer-service specialists, while action-level attribution identifies the sourcing, pricing, and recovery decisions that create or destroy value. Together, Business Arena takes a first step toward a realistic and trustworthy testbed for evaluating end-to-end business agents.
- Abstract（参考訳）: ビジネスを実行することは、インテリジェントな作業の難しい形式です。
事業者は、部分的な信号から機会を推測し、不確実性の下で資本をコミットし、変化する市場での遅れた結果に適応し、法的に取引する前に規制上の義務を満たさなければならない。
最前線のLLMエージェントはますます複雑なワークフローを完了させることができるが、既存のエージェントベンチマークでビジネス関連の能力を評価することは滅多にない。
AIエージェントがクロスボーダーショップを運営し、サプライヤーから購入し、長期にわたって購入者に販売する、制御された環境である‘textbf{Business Arena}’を紹介します。
我々は、実際のAlibaba.comのデータソーシングと、権威のある情報源から調整された市場条件にその領域を置きます。
遅延と結合の結果は、個々のビジネス上の決定を判断しにくくするが、それらの組み合わせの結果は利益によって測定可能である。
利益だけでは、エージェントが成功または失敗する理由を説明できないため、エージェントと人間によって設計された戦略を比較して、利用可能な機会を推定し、スキルレベルのメトリクスを使用して、基盤となる強みと弱みを明らかにし、それらを生み出したアクションに対して実現された利益と損失をトレースする。
我々は、メカニズムの短縮を利用して、強い結果が無視やシミュレータ固有のショートカットではなく、真のビジネスインテリジェンスを反映していることを確立します。
15のフロンティアモデルを評価し,9倍の差が得られた。
最高のモデルでさえ、人間設計の戦略に遅れをとっており、LLMエージェントにとってビジネス運用は依然として困難であることを示している。
スキルレベルの分析では、マージンにフォーカスしたプレミアムセラーから、ハイターンオーバの問屋やカスタマーサービスの専門家まで、運用スタイルが明らかにされている。
Business Arenaは、エンドツーエンドのビジネスエージェントを評価するための、現実的で信頼できるテストベッドに向けて、第一歩を踏み出します。
関連論文リスト
- Cattle Trade: A Multi-Agent Benchmark for LLM Bluffing, Bidding, and Bargaining [0.5691230599672109]
我々は,大規模言語モデル(LLM)を戦略的推論のエージェントとして評価するためのベンチマークであるtextscCattle Tradeを紹介した。
このベンチマークは、1つのロングホライゾンゲーム内でのオークション、隠れオフのトレードチャレンジ(TC)、バーゲティング、ブラッフィング、相手モデリング、リソース割り当てを組み合わせたものだ。
我々は,242ゲームに対して,コスト効率のよい7つの言語モデルと3つの決定論的コードエージェントを評価した。
論文 参考訳（メタデータ） (2026-05-14T08:20:03Z) - PieArena: Frontier Language Agents Achieve MBA-Level Negotiation Performance and Reveal Novel Behavioral Differences [13.759960839511807]
マルチエージェントインタラクションを基盤とした大規模ベンチマークベンチマークであるPieArenaを紹介する。
代表的フロンティア言語エージェント(GPT-5)が、訓練されたビジネススクールの生徒と一致したり、成績が良くなった場合の、人間-専門家レベルのパフォーマンスの体系的証拠を見出した。
論文 参考訳（メタデータ） (2026-02-05T04:52:20Z) - TradeTrap: Are LLM-based Trading Agents Truly Reliable and Faithful? [44.01987401527335]
TradeTrapは、適応的および手続き的自律的トレーディングエージェントの両方を体系的にストレステストするための統一的な評価フレームワークである。
市場インテリジェンス、戦略定式化、ポートフォリオと台帳処理、取引実行の4つの中心的コンポーネントをターゲットにしている。
実験により、単一コンポーネントでの小さな摂動がエージェント決定ループを伝播し、極端な濃度、暴走露光、大きなポートフォリオの減少を引き起こすことが示されている。
論文 参考訳（メタデータ） (2025-12-01T23:06:42Z) - Magentic Marketplace: An Open-Source Environment for Studying Agentic Markets [74.91125572848439]
本稿では,サービスエージェントが消費者を代表し,サービスエージェントが競合するビジネスを代表する2面のエージェントマーケットプレースについて検討する。
この環境では、ユーティリティエージェントが達成する行動バイアス、操作に対する脆弱性、検索メカニズムが市場の結果をどのように形作るか、といった主要な市場ダイナミクスを研究することができる。
実験の結果、フロンティアモデルは最適な福祉に近づくことができるが、理想的な探索条件下でのみ適用可能であることが判明した。
論文 参考訳（メタデータ） (2025-10-27T18:35:59Z) - Robust Reinforcement Learning in Finance: Modeling Market Impact with Elliptic Uncertainty Sets [57.179679246370114]
金融分野では、強化学習(RL)エージェントは、価格に影響を与えない歴史的データに基づいて訓練されることが多い。
展開中、これらのエージェントは、自身の取引が資産価格を変えることができるライブマーケットで取引する。
従来のロバストなRLアプローチは、不確実性の集合に対して最悪のパフォーマンスを最適化することで、このモデルの誤特定に対処する。
楕円型不確実性集合の新たなクラスを開発し,効率的かつ堅牢な政策評価を可能にする。
論文 参考訳（メタデータ） (2025-10-22T18:22:25Z) - When Agents Trade: Live Multi-Market Trading Benchmark for LLM Agents [74.55061622246824]
Agent Market Arena (AMA)は、LLM(Large Language Model)ベースのトレーディングエージェントを評価するための、初めてのリアルタイムベンチマークである。
AMAは、検証済みのトレーディングデータ、専門家チェックされたニュース、および統一されたトレーディングフレームワーク内に多様なエージェントアーキテクチャを統合する。
GPT-4o、GPT-4.1、Claude-3.5-haiku、Claude-sonnet-4、Gemini-2.0-flashにまたがる薬剤を評価する。
論文 参考訳（メタデータ） (2025-10-13T17:54:09Z) - StockBench: Can LLM Agents Trade Stocks Profitably In Real-world Markets? [44.10622904101254]
大規模言語モデル(LLM)は、最近、自律エージェントとして強力な能力を示した。
実時間複数ヶ月の株式トレーディング環境でLLMエージェントを評価するためのベンチマークであるStockBenchを紹介する。
我々の評価では、ほとんどのLLMエージェントは、単純な買い買い得ベースラインよりも優れているが、いくつかのモデルでは、より高いリターンをもたらし、より効果的にリスクを管理する可能性を実証している。
論文 参考訳（メタデータ） (2025-10-02T16:54:57Z) - CRMArena-Pro: Holistic Assessment of LLM Agents Across Diverse Business Scenarios and Interactions [85.88573535033406]
CRMArena-Proは、多種多様なプロフェッショナル環境でのLLMエージェントの総合的で現実的な評価のための新しいベンチマークである。
多様なペルソナと堅牢な機密性意識評価によって導かれるマルチターンインタラクションが組み込まれている。
実験によると、主要なLLMエージェントはCRMArena-Proで58%のシングルターン成功しか達成せず、パフォーマンスはマルチターン設定で約35%に大幅に低下している。
論文 参考訳（メタデータ） (2025-05-24T21:33:22Z) - EmoDebt: Bayesian-Optimized Emotional Intelligence for Strategic Agent-to-Agent Debt Recovery [65.30120701878582]
大規模言語モデル(LLM)エージェントは、負債収集のような感情に敏感なドメインの悪用に対して脆弱である。
EmoDebtは、ネゴシエーションにおける感情を表現するモデルの能力を、シーケンシャルな意思決定問題として再設計する感情インテリジェンスエンジンである。
EmoDebtは重要な戦略的堅牢性を実現し、非適応性と感情に依存しないベースラインを大幅に上回っている。
論文 参考訳（メタデータ） (2025-03-27T01:41:34Z) - When AI Meets Finance (StockAgent): Large Language Model-based Stock Trading in Simulated Real-world Environments [55.19252983108372]
LLMによって駆動される、StockAgentと呼ばれるマルチエージェントAIシステムを開発した。
StockAgentを使えば、ユーザーはさまざまな外部要因が投資家取引に与える影響を評価することができる。
AIエージェントに基づく既存のトレーディングシミュレーションシステムに存在するテストセットのリーク問題を回避する。
論文 参考訳（メタデータ） (2024-07-15T06:49:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。