論文の概要: Evaluating Open-Weight E-Commerce Agents with Environment-Grounded Verification

• arxiv url: http://arxiv.org/abs/2609.16093v1
• Date: Mon, 14 Sep 2026 13:35:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 14:56:08.151631
• Title: Evaluating Open-Weight E-Commerce Agents with Environment-Grounded Verification
• Title（参考訳）: 環境保証によるオープンウェイトEコマースエージェントの評価
• Abstract要約: ショッピング会話は、同じカートへの多くのルートを持ち、タスク・サクセス・レートは、それら全てを1つのスコアに還元する。 決定論的かつ再現可能なeコマース環境を構築し、各トライアルの顧客と軌道パラメータをプリコミットする。 20Bから35Bパラメータのオープンウェイトエージェントが8つあり、1エージェントあたり160のトライアルと44のメトリクスがあり、結果として得られる能力プロファイルは、アンダーアクション、過剰購入、サポート対象の製品属性、貧弱な検索を区別する。
• 参考スコア（独自算出の注目度）: 5.646213674986304
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A shopping conversation has many routes to the same cart, and a task-success rate reduces all of them to one score. We build a deterministic and reproducible e-commerce environment that precommits each trial's customer and trajectory parameters, including the persona, difficulty, target cart, and an item reveal schedule. A simulated consumer attempts to buy a target cart from the environment with assistance from the evaluated model. The environment guides the simulator's actions and records every assistant action alongside the environment state at that point. After the trial, these records allow the evaluator to assess individual parts of the conversation against the retained evidence. For example, the evaluator penalizes a search for failing to surface a target product only when the customer has already mentioned that product. We further use this evidence to apply different penalties to tool calls depending on how the assistant's actions compare with an expected tool-call set. Our environment also interacts with the simulator bidirectionally, reading its output to stop the trial when the simulator determines that the customer has become too frustrated and injecting directives in real time that specify when to explore, defer buying an item, or recall a previous exchange. This interaction creates an open-ended and verifiable simulation. Across eight open-weight agents from 20B to 35B parameters, with 160 trials per agent and 44 metrics, the resulting capability profiles distinguish under-action, over-purchase, unsupported product attributes, and poor search, all of which terminal success obscures.
• Abstract（参考訳）: ショッピング会話は、同じカートへの多くのルートを持ち、タスク・サクセス・レートは、それら全てを1つのスコアに還元する。 決定論的かつ再現可能なeコマース環境を構築し、各トライアルの顧客と、ペルソナ、難易度、ターゲットカート、およびアイテム明らかにスケジュールを含む軌道パラメータをプリコミットする。 シミュレーションされた消費者は、評価モデルを用いて、対象カートを環境から購入しようとする。 環境はシミュレータの動作をガイドし、その時点での環境状態と並行してすべてのアシスタントアクションを記録する。 裁判後、これらの記録により、評価官は会話の個々の部分を、保持された証拠に対して評価することができる。 例えば、評価者は、顧客が既にその製品について言及している場合に限って、ターゲット製品に表れなかった検索をペナルティ化する。 さらに、この証拠を用いて、ツールコールに対する異なる罰則を、アシスタントのアクションが期待されるツールコールセットとどのように比較するかによって適用する。 我々の環境はまた、顧客がフラストレーションが多すぎると判断し、いつ探索するか、商品の購入を延期するか、または以前の取引所を思い出すような指示をリアルタイムで注入した場合に、シミュレーターと双方向に対話し、その出力を読み取って試行を止める。 この相互作用は、オープンで検証可能なシミュレーションを生成する。 20Bから35Bパラメータのオープンウェイトエージェントが8つあり、1エージェントあたり160のトライアルと44のメトリクスがあり、結果として得られる能力プロファイルは、アンダーアクション、過剰購入、サポートされていない製品属性、貧弱な検索を区別する。

関連論文リスト

• Towards Faithful Simulation of Human Shopping Behavior [57.234936207923]
  本稿では,GUIを用いたシミュレーションエージェントRecVerseについて紹介する。 メモリの問題に対して、RecVerseは認知にインスパイアされた階層的メモリ、短期的なフォーカスのためのワーキングメモリ、セッション内トレースのためのエピソディックメモリ、高レベルのインテントのためのPreference Memoryを採用する。 最適化の課題として、RecVerseは、セッション全体をスコアする軌道レベルの目標で最適化されている。
  論文  参考訳（メタデータ） (2026-08-21T03:24:32Z)
• ScrambleToolBench: Agents Search Exhaustively Even When Their Own Map Points to the Next Step [74.83535434786145]
  ScrambleToolBenchは,行動推論の分離を目的とした対話型端末ベンチマークである。 このベンチマークでは、エージェントがテストとエラーのインタラクションを通じて、隠されたツールの振る舞いを明らかにする必要がある。 現状の言語モデルに対する我々の評価は、初期発見が成功しても頑健な適応にはならないことを示している。
  論文  参考訳（メタデータ） (2026-08-03T15:07:46Z)
• BehaviorBench: Modeling Real-World User Decisions from Behavioral Traces [53.55407626944686]
  textscBehaviorBenchは、実世界の行動トレースからパーソナライズされた意思決定モデリングを評価するためのベンチマークである。 textscBehaviorBenchは、公開市場とオンチェーンの記録からウォレットレベルの意思決定履歴を再構築する。 2,000以上の評価ウォレットで、ベンチマークには141,445のBeliefインスタンスと1,485,972のTradeインスタンスが含まれている。
  論文  参考訳（メタデータ） (2026-06-01T19:04:36Z)
• SimGym: A Framework for A/B Test Simulation in E-Commerce with Traffic-Grounded VLM Agents [8.496158383333999]
  SimGymは、ライブブラウザで動作するビジョン構造化モデル(VLM)エージェントを使用して、EコマースストアフロントでのA/Bテストのシミュレーションを行うフレームワークである。 実験サイクルを数週間から1時間以内に短縮し、実際の購入者を候補の変種に露出させることなく、迅速な実験を可能にする。
  論文  参考訳（メタデータ） (2026-05-19T00:46:41Z)
• KnowU-Bench: Towards Interactive, Proactive, and Personalized Mobile Agent Evaluation [72.01173512175531]
  KnowU-Benchはパーソナライズされたモバイルエージェントのためのオンラインベンチマークである。 42のGUIタスク、86のパーソナライズされたタスク、64のプロアクティブタスクをカバーしている。 明示的なタスク実行に優れるエージェントは、あいまいな指示の下で50%以下に低下する。
  論文  参考訳（メタデータ） (2026-04-09T16:50:50Z)
• Analyzing the Shopping Journey: Computing Shelf Browsing Visits in a Physical Retail Store [0.5161531917413708]
  「買い物客の棚参りを計算できるアルゴリズム」を導入する。 棚の訪問者は、マシンビジョンに基づく3Dトラッキングとオーバーヘッドカメラによって得られた軌跡から抽出される。 その結果, キャリブレーションを行った環境と異なる環境下で評価すると, 顧客の閲覧行動を認識することができることがわかった。
  論文  参考訳（メタデータ） (2026-01-02T01:40:12Z)
• SessionIntentBench: A Multi-task Inter-session Intention-shift Modeling Benchmark for E-commerce Customer Behavior Understanding [64.45047674586671]
  本稿では,意図木の概念を導入し,データセットキュレーションパイプラインを提案する。 我々は,L(V)LMsのセッション間意図シフト理解能力を評価するマルチモーダルベンチマークSessionIntentBenchを構築した。 1,952,177の意図的エントリ,1,132,145のセッション意図軌跡,および10,905のセッションを使用してマイニングされた13,003,664のタスクにより,既存のセッションデータを活用可能なスケーラブルな方法を提供する。
  論文  参考訳（メタデータ） (2025-07-27T09:04:17Z)
• AutoAssign: Differentiable Label Assignment for Dense Object Detection [94.24431503373884]
  Auto COCOは、物体検出のためのアンカーフリー検出器である。 外観認識は、完全に微分可能な重み付け機構によって実現される。 我々の最良のモデルでは52.1%のAPが達成され、既存の1段検出器よりも優れている。
  論文  参考訳（メタデータ） (2020-07-07T14:32:21Z)
• Counter-example Guided Learning of Bounds on Environment Behavior [11.357397596759172]
  本稿では, 環境の正確なモデルなしで, 仕様適合性を評価可能なデータ駆動型ソリューションを提案する。 私たちのアプローチでは、データとシステムの望ましい振る舞いの仕様を使用して、環境の振る舞いの保守的な反応性境界を学習する。
  論文  参考訳（メタデータ） (2020-01-20T19:58:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。