論文の概要: StoreBench: A Live-Commerce Environment for Evaluating and Training Autonomous Operator Agents

• arxiv url: http://arxiv.org/abs/2610.10942v1
• Date: Wed, 07 Oct 2026 21:46:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.682935
• Title: StoreBench: A Live-Commerce Environment for Evaluating and Training Autonomous Operator Agents
• Title（参考訳）: StoreBench: 自律型オペレータエージェントの評価とトレーニングのためのライブコマース環境
• Abstract要約: StoreBenchは、エージェントが中規模のオンラインアパレルストアを運営する、ライブコマース環境である。 7つの大言語モデル(LLM)を30日から45日間の11のシナリオと1年ごとのシミュレーションで評価した。
• 参考スコア（独自算出の注目度）: 5.0226547353990485
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning environments are now a primary lever for improving large language model (LLM) capabilities in post-training, yet most agentic benchmarks remain static: the world moves only when the agent acts, the reward is a terminal verdict, and the pass bar is set arbitrarily. We introduce StoreBench, a live-commerce environment in which an agent runs a mid-size online apparel store on a production-grade commerce backend, testing long-horizon planning and economic judgment under uncertainty. Customers order around the clock, suppliers reprice and fail, and market shocks arrive with partial or no warning. The agent acts through the same 29 merchant tools a human operator would use, under a windowed operation budget that makes simulated time a function of actions taken, so model latency cannot influence simulated time. Pass thresholds are calibrated against scripted anchor policies, the reward is hardened against a catalogue of reward hacks, and every episode replays identically given a sequence of actions. We evaluate seven frontier LLMs on 11 scenarios of 30 to 45 days and a full simulated year, over three world seeds at matched reasoning effort. No model matches the scripted smart-triage policy on average: the best, DeepSeek-V4-Pro, passes 49% of task-seed cells against the heuristic's 97%. Human experts working through the same tools and budgets outscore every model (mean composite 0.708 vs. 0.700). Over a full simulated year under the Claude Code harness, most models show dramatic performance improvement. In a GRPO post-training run, Qwen3.5-27B trained on only five disjoint tasks raises its mean composite on the held-out evaluation tasks from 0.136 to 0.373. We release five example training-split tasks, ten sample trajectories, and the scoring and verification tooling; the full environment and evaluation suite are withheld to keep the benchmark uncontaminated.
• Abstract（参考訳）: 強化学習環境は、後のトレーニングにおいて大きな言語モデル(LLM)機能を改善するための主要なレバーとなっているが、ほとんどのエージェントベンチマークは静的のままである。 そこで,本研究では,中規模のオンラインアパレルストアを製品グレードのコマースバックエンド上で運営し,長期計画と不確実性の下での経済判断をテストする,ライブコマース環境であるStoreBenchを紹介する。 顧客は時計回りに注文し、サプライヤーはリプライとフェールを行い、市場ショックは部分的または無警告でやってくる。 エージェントは、人間のオペレータが使用するのと同じ29の商ツールを介して動作し、ウィンドウ化された運用予算の下では、シミュレーション時間をアクションの関数とするので、モデル遅延はシミュレーション時間に影響を与えることができない。 パスしきい値はスクリプト化されたアンカーポリシーに対して校正され、報酬は報酬のハックのカタログに対して強化され、各エピソードのリプレイは同一に一連のアクションを与えられた。 本研究は,30～45日間の11つのシナリオと1年ごとのフルシミュレートにより,3つの世界種子を整合的推論で評価した。 最高のDeepSeek-V4-Proは、ヒューリスティックの97%に対してタスクシードセルの49%をパスします。 同じツールと予算で作業する人間専門家は、すべてのモデル(合成0.708対0.700)を上回ります。 Claude Codeのフルシミュレートされた1年間にわたって、ほとんどのモデルは劇的なパフォーマンス向上を示している。 GRPO後の訓練において、Qwen3.5-27Bは5つの非結合タスクのみを訓練し、保持された評価タスクの平均合成量を0.136から0.373に引き上げた。 5つのトレーニング分割タスク、10つのサンプルトラジェクトリ、スコアリングと検証ツールをリリースします。

関連論文リスト

• BazaarBench: Delegation Safety in Decentralized C2C Marketplaces Run by LLM Agents [54.5370815419817]
  本稿では,大言語モデル(LLM)エージェントの安全性を評価するためのC2CマーケットプレースとベンチマークであるBazaarBenchを紹介する。 オーナシップ、アイテム条件、トランザクション間のコミットメントを追跡する。 我々は、通常の命令、期限の圧力、または他のトレーダーを搾取するための敵の指示の下で、5つのモデルを評価する。
  論文  参考訳（メタデータ） (2026-10-05T17:26:17Z)
• ClawProBench: Trace-Aware Evaluation of AI Agents with Runtime Coverage and Frozen Workplace-Style Holdouts [0.0]
  エージェントベンチマークは、エージェントがステートフルランタイム上で実行されている場合でも、最終回答のみを評価することが多い。 OpenClaw上でインスタンス化されたランタイムネイティブエージェント評価のためのトレース対応ベンチマークであるClawProBenchを提案する。
  論文  参考訳（メタデータ） (2026-08-23T17:09:02Z)
• UI-Mate: Advancing Open-Weight Foundation GUI Agents with In-Context Demonstrations [68.29650478987561]
  UI-Mateは、環境に根ざしたトレーニングスタックとコンテキスト内の実演学習を統合する基盤GUIエージェントである。 OSWorldでは77.0%、WindowsAgentArenaでは66.2%と評価された。
  論文  参考訳（メタデータ） (2026-08-16T20:59:59Z)
• OdysSim: Building Foundation Models for Human Behavior Simulation [70.35265860287608]
  大規模言語モデルは、対話的評価と社会シミュレーションのための人間のシミュレータとして、ますます多くデプロイされている。 しかし、有益性駆動のポストトレーニングは、それらを同質で過度に同意できるアシスタントレジスタへと引き寄せる。 OdysSimは行動基礎モデルに関する最大のオープン・システマティック・リサーチである。
  論文  参考訳（メタデータ） (2026-06-12T07:31:55Z)
• WildClawBench: A Benchmark for Real-World, Long-Horizon Agent Evaluation [88.10947115397971]
  この研究でWildClawBenchは、6つのテーマのカテゴリにまたがる60の人間によるバイリンガルなマルチモーダルタスクのネイティブランタイムベンチマークである。 各タスクは、約8分間のウォールクロック時間と20以上のツールコールで実行されます。 グラディングはハイブリッドであり、決定論的ルールベースのチェック、副作用の環境状態監査、意味的検証のためのLLM/VLM判定を組み合わせている。
  論文  参考訳（メタデータ） (2026-05-11T17:49:43Z)
• ClawsBench: Evaluating Capability and Safety of LLM Productivity Agents in Simulated Workspaces [17.202580606345666]
  生産性タスクを自動化するために、大規模言語モデル(LLM)エージェントがますますデプロイされる。 既存のベンチマークは単純化された環境に依存しており、現実的なマルチサービス環境をキャプチャできない。 我々は,現実的な生産性設定におけるLCMエージェントの評価と改善のためのベンチマークであるClawsBenchを紹介する。
  論文  参考訳（メタデータ） (2026-04-06T21:09:06Z)
• AegisLLM: Scaling Agentic Systems for Self-Reflective Defense in LLM Security [74.22452069013289]
  AegisLLMは、敵の攻撃や情報漏洩に対する協調的なマルチエージェント防御である。 テスト時のエージェント推論システムのスケーリングは,モデルの有用性を損なうことなく,ロバスト性を大幅に向上させることを示す。 アンラーニングやジェイルブレイクを含む主要な脅威シナリオに対する総合的な評価は、AegisLLMの有効性を示している。
  論文  参考訳（メタデータ） (2025-04-29T17:36:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。