論文の概要: AutoVend: Benchmarking LLM Agents on Long-Horizon Autonomous Vending Operations

• arxiv url: http://arxiv.org/abs/2610.36980v2
• Date: Thu, 05 Nov 2026 03:42:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 21:50:50.231424
• Title: AutoVend: Benchmarking LLM Agents on Long-Horizon Autonomous Vending Operations
• Title（参考訳）: AutoVend: 長距離自動販売運転におけるLCMエージェントのベンチマーク
• Abstract要約: オンラインオフライン(O2O)コマースでは、決定はWebベースのプラットフォームを介して発行されるが、コストのかかる物理的実行によって実現される。 1つのLLMエージェントが5つのサイトタイプにまたがる20台の自動販売機を、Webベースのオペレーティングシステムで180日間管理するベンチマークであるAutoVendを紹介した。 ルールベースの在庫管理ベースラインに対して5つのLCMエージェントを評価し,そのサイトコーディネーション,実行,パフォーマンスを経時的に診断する。
• 参考スコア（独自算出の注目度）: 31.26111084149753
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language model (LLM) agents are extending agent-mediated commerce on the Web from shopping for consumers to operating businesses for sellers. In online-to-offline (O2O) commerce, decisions are issued through Web-based platforms but realized through costly physical execution. Evaluating such agents requires going beyond individual transactions to ask whether decisions made online turn into sustained economic returns. We introduce AutoVend, a benchmark in which one LLM agent manages 20 vending machines across five site types through a Web-based operating interface for 180 simulated days. Its data-grounded simulator combines a shared warehouse, procurement lead times, paid replenishment, inventory expiration, and recurring operating costs. We evaluate five LLM agents against a rule-based inventory-control baseline and diagnose their site coordination, execution, and performance over time. Four of five evaluated LLM agents fall short of this baseline, and returns per dollar of inference cost rank models differently from returns alone. Operational analyses show that gains in individual metrics do not consistently yield stronger economic growth, as inventory and execution costs erode these gains. Trajectory analysis further reveals difficulties in grounding feasible actions, managing inventory commitments, and converting feedback into effective policy revisions.
• Abstract（参考訳）: 大規模言語モデル(LLM)エージェントは、Web上のエージェントによる商業を、消費者のためのショッピングから売り手のためのビジネスまで拡張している。 オンラインオフライン(O2O)コマースでは、決定はWebベースのプラットフォームを介して発行されるが、コストのかかる物理的実行によって実現される。 このようなエージェントを評価するには、オンライン決定が持続的な経済的なリターンになるかどうかを問うために、個々のトランザクションを超える必要がある。 1つのLLMエージェントが5つのサイトタイプにまたがる20台の自動販売機を、Webベースのオペレーティングシステムで180日間管理するベンチマークであるAutoVendを紹介した。 データグラウンドのシミュレーターは、倉庫の共有、鉛調達時間、補充金の支払い、在庫の有効期限、営業コストの繰り返しを組み合わせている。 ルールベースの在庫管理ベースラインに対して5つのLCMエージェントを評価し,そのサイトコーディネーション,実行,パフォーマンスを経時的に診断する。 評価された5つのLSMエージェントのうち4つは、このベースラインから外れており、1ドル当たりの推論コストのランクはリターンのみとは異なる。 運用分析によれば、個々の指標の利回りは、在庫と実行コストがこれらの利回りを損なうため、一貫して経済成長を加速させるわけではない。 軌道分析は、実現可能な行動の根拠、在庫のコミットメントの管理、フィードバックを効果的な政策修正に変換することの難しさをさらに明らかにする。

関連論文リスト

• E-Commerce Bench: Evaluating LLM Agents on Long-Horizon Autonomous Business Operation [54.50499240166176]
  E-Commerce Benchは、マルチラウンドのネゴシエーションと動的イベントを1年間のビジネス運用に統合する、最初のオープンソースベンチマークです。 年末の資産を含む7次元にわたる18のフロンティアモデルを評価し,1つのモデルが支配的でないことを発見した。
  論文  参考訳（メタデータ） (2026-08-31T13:03:57Z)
• MerchantBench: Benchmarking LLM Agents for Long-Term Coherence in E-Commerce Operations [18.706607921548326]
  長期コヒーレンス(英: Long-Term Coherence)とは、累積的な証拠に決定を適応させながら、地平線を越えて目的的行動を維持する能力である。 売り手側のeコマースは、再帰的かつ相互依存的な決定を通じて、この評価に適切な設定を提供する。 MerchantBenchは、98,843件のeコマース製品記録に基づいた365日間の注文レベルのシミュレーションで、エージェントインタラクションのための26のツールを備えている。
  論文  参考訳（メタデータ） (2026-07-31T02:20:24Z)
• CoffeeBench: Benchmarking Long-Horizon LLM Agents in Heterogeneous Multi-Agent Economies [2.545704705278791]
  異種企業からなる長期マルチエージェント経済におけるLCMエージェント評価のためのベンチマークであるCoffeeBenchを紹介する。 農家2人、ロースター2人、小売店2人が90日間のシミュレーションで事業を自律的に運営している。 すべてのモデルがパッシブベースラインを上回り、アクションを取らず、ほとんどのモデルが肯定的な純利益を達成する。
  論文  参考訳（メタデータ） (2026-06-15T12:04:44Z)
• When Agents Trade: Live Multi-Market Trading Benchmark for LLM Agents [74.55061622246824]
  Agent Market Arena (AMA)は、LLM(Large Language Model)ベースのトレーディングエージェントを評価するための、初めてのリアルタイムベンチマークである。 AMAは、検証済みのトレーディングデータ、専門家チェックされたニュース、および統一されたトレーディングフレームワーク内に多様なエージェントアーキテクチャを統合する。 GPT-4o、GPT-4.1、Claude-3.5-haiku、Claude-sonnet-4、Gemini-2.0-flashにまたがる薬剤を評価する。
  論文  参考訳（メタデータ） (2025-10-13T17:54:09Z)
• StockBench: Can LLM Agents Trade Stocks Profitably In Real-world Markets? [44.10622904101254]
  大規模言語モデル(LLM)は、最近、自律エージェントとして強力な能力を示した。 実時間複数ヶ月の株式トレーディング環境でLLMエージェントを評価するためのベンチマークであるStockBenchを紹介する。 我々の評価では、ほとんどのLLMエージェントは、単純な買い買い得ベースラインよりも優れているが、いくつかのモデルでは、より高いリターンをもたらし、より効果的にリスクを管理する可能性を実証している。
  論文  参考訳（メタデータ） (2025-10-02T16:54:57Z)
• When AI Meets Finance (StockAgent): Large Language Model-based Stock Trading in Simulated Real-world Environments [55.19252983108372]
  LLMによって駆動される、StockAgentと呼ばれるマルチエージェントAIシステムを開発した。 StockAgentを使えば、ユーザーはさまざまな外部要因が投資家取引に与える影響を評価することができる。 AIエージェントに基づく既存のトレーディングシミュレーションシステムに存在するテストセットのリーク問題を回避する。
  論文  参考訳（メタデータ） (2024-07-15T06:49:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。