論文の概要: UserArena: Benchmarking Interactive User Simulation for Long-Horizon Shopping Agents
- arxiv url: http://arxiv.org/abs/2610.30932v1
- Date: Thu, 22 Oct 2026 08:54:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-24 02:08:44.288593
- Title: UserArena: Benchmarking Interactive User Simulation for Long-Horizon Shopping Agents
- Title（参考訳）: UserArena: 長距離ショッピングエージェントのための対話型ユーザシミュレーションのベンチマーク
- Abstract要約: 我々は,11,010ユーザの64,729のセッショントラジェクトリを含む実世界のeコマースインタラクティブベンチマークであるUserArenaを紹介する。
UserArenaはこれらのトラジェクトリをインタラクティブな環境と組み合わせて、コントロールされたプロダクションA/Bテストの結果に対するオフライン検証をサポートする。
学生が生み出すロールアウトに対して,高密度な教師ターゲットを提供するために,トラジェクトリレベルインテントを用いたオンデマンドトラジェクトリ蒸留(OPTD)を提案する。
- 参考スコア（独自算出の注目度）: 36.21913938020941
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Agentic recommendation pursues shopper goals through sequences of context-dependent decisions. Developing and evaluating such policies requires faithful recommendation world models that capture both the interactive shopping environment and users' behavioral responses over long interactions. Existing resources rarely provide long-horizon, fine-grained real-user trajectories or support trajectory-level evaluation and offline validation against production A/B results. We introduce UserArena, a real-world e-commerce interactive benchmark containing 64,729 session trajectories from 11,010 users, spanning 566,102 items and 13 action types. UserArena pairs these trajectories with an interactive environment and supports offline validation against outcomes from a controlled production A/B test, enabling five-level evaluation from output validity and local decisions to sequential behavior, personalization, and outcomes. To improve simulator fidelity over these long-horizon interactions, we further propose On-Policy Trajectory Distillation (OPTD), which uses trajectory-level intent to provide dense teacher targets on student-generated rollouts. Experiments show that OPTD achieves the strongest overall fidelity among the evaluated simulators under UserArena's evaluation protocol and most closely reproduces the production policy effect in offline simulation.
- Abstract（参考訳）: エージェントレコメンデーションは、コンテキストに依存した意思決定のシーケンスを通じて買い物客の目標を追求する。
このようなポリシの開発と評価には,対話型ショッピング環境と,長時間のインタラクションに対するユーザの行動応答の両方をキャプチャする,忠実なレコメンデーションワールドモデルが必要である。
既存のリソースは、長い水平できめ細かな実ユーザトラジェクトリを提供したり、軌道レベルの評価やプロダクションA/B結果に対するオフライン検証をサポートすることはめったにない。
我々は,11,010ユーザから64,729のセッショントラジェクトリを含む実世界のeコマースインタラクティブベンチマークであるUserArenaを紹介した。
UserArenaは、これらのトラジェクトリをインタラクティブな環境と組み合わせ、制御されたプロダクションA/Bテストの結果に対するオフライン検証をサポートし、出力の妥当性と局所的な決定から、シーケンシャルな振る舞い、パーソナライゼーション、結果への5段階の評価を可能にする。
さらに,これらの長期的相互作用に対するシミュレータの忠実度を向上させるために,軌道レベルの意図を用いて,学生が生み出すロールアウトに密集した教師ターゲットを提供するOn-Policy Trajectory Distillation (OPTD)を提案する。
実験の結果,OPTD は UserArena の評価プロトコルで評価されたシミュレータの中で最強の総合的忠実度を達成し,オフラインシミュレーションにおける生産方針効果を最もよく再現していることがわかった。
関連論文リスト
- TRACER: Trajectory-Aligned Learning for Multi-Turn User Simulation [13.030102131786906]
ユーザ意図の進化をモデル化し,シミュレーションされた軌跡を実物と整合させるマルチターンユーザシミュレータTRACERを提案する。
リファレンスコホートに組織された実際のカスタマーサービスセッションでは、TRACER-7Bが11.4の変換F1ポイントで最強のベースラインを越えた。
人間のチューリングテストでは、アノテータはTRACERの会話をほぼ精度で識別した。
論文 参考訳（メタデータ） (2026-09-23T18:30:12Z) - Optimizing Sparse Outcomes Through Dense Behavioral Signals via Value-Guided Preference Distillation [5.277024349608834]
多目的強化学習問題として長軸対話最適化を定式化する。
本研究では, 高密度補助行動信号のスカラー化合成により, 効果的なクレジット割り当てとスパース結果の最適化が可能であることを示す。
本研究は, 蒸留法により, 長期使用者の保持が著しく向上し, 同時に, 肯定的行動や治療・プロセスマーカーが強化されることを実証する。
論文 参考訳（メタデータ） (2026-09-13T16:32:54Z) - NARRA-Gym for Evaluating Interactive Narrative Agents [69.49891044929372]
NARRA-Gymは,まばらな感情的シードを完全なインタラクティブな物語のエピソードに変換する評価環境である。
我々は,8つのベンチマークペルソナに対して制御されたLLM-as-judgeスイープと,参加者がカスタマイズされたモデル出力を評価できる人的評価を用いて,9つのフロンティアLLMを評価する。
論文 参考訳（メタデータ） (2026-05-08T21:36:23Z) - Efficient Agent Evaluation via Diversity-Guided User Simulation [7.723545220477047]
DIVERTは、エージェント-ユーザインタラクションを体系的に探索するための、スナップショットベースの、カバレッジガイド付きユーザーシミュレーションフレームワークである。
重要な決定ポイントでエージェント環境の全状態をキャプチャし、これらのスナップショットから実行を再開する。
DIVERTは、意味的に多様性があり、探索されていない軌道に焦点を合わせることにより、効率とカバレッジの両方を改善している。
論文 参考訳（メタデータ） (2026-04-23T09:41:21Z) - ConvApparel: A Benchmark Dataset and Validation Framework for User Simulators in Conversational Recommenders [48.83868690303791]
このギャップに対処するために設計された、人間とAIの会話の新しいデータセットであるConvApparelを紹介します。
そのユニークなデュアルエージェントデータ収集プロトコル -- "よい" と "悪い" のレコメンデータを使用する -- は、偽物検証を可能にする。
本稿では,統計的アライメント,人間的類似度スコア,および対実的検証を組み合わせた総合的検証フレームワークを提案する。
論文 参考訳（メタデータ） (2026-02-18T23:00:21Z) - Beyond Offline A/B Testing: Context-Aware Agent Simulation for Recommender System Evaluation [0.7031557790463293]
本研究では,日常の生活活動におけるインタラクションを固定することで,信頼できるユーザプロキシをシミュレートするエージェントフレームワークであるContextSimを紹介する。
嗜好を本物の人間に合わせるため、エージェントの内部思想をモデル化し、行動レベルと軌道レベルの両方で一貫性を強制する。
論文 参考訳（メタデータ） (2026-01-26T05:01:00Z) - PUB: An LLM-Enhanced Personality-Driven User Behaviour Simulator for Recommender System Evaluation [9.841963696576546]
Personality-driven User Behaviour Simulator (PUB)は、パーソナライズされたユーザの振る舞いをモデル化するために、Big Fiveのパーソナリティ特性を統合している。
PUBは、行動ログ(例えば、評価、レビュー)とアイテムメタデータからユーザーの個性を動的に推論し、その後、実際のデータに対する統計的忠実性を保存するための合成相互作用を生成する。
Amazonレビューデータセットの実験では、PUBが生成したログは実際のユーザの行動と密接に一致し、パーソナリティ特性とレコメンデーション結果の間に有意義な関連性を明らかにする。
論文 参考訳（メタデータ） (2025-06-05T01:57:36Z) - Search-Based Interaction For Conversation Recommendation via Generative Reward Model Based Simulated User [117.82681846559909]
会話レコメンデーションシステム(CRS)は、マルチターンインタラクションを使用してユーザの好みを捉え、パーソナライズされたレコメンデーションを提供する。
本稿では,CRSと自動インタラクションを行うための生成報酬モデルに基づくシミュレーションユーザGRSUを提案する。
論文 参考訳（メタデータ） (2025-04-29T06:37:30Z) - On Generative Agents in Recommendation [58.42840923200071]
Agent4Recは、Large Language Modelsに基づいたレコメンデーションのユーザーシミュレータである。
各エージェントは、ページ単位でパーソナライズされた推奨モデルと対話する。
論文 参考訳（メタデータ） (2023-10-16T06:41:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。