論文の概要: SimRec: Learning to Search, Ask, and Recommend from Simulated Interaction
- arxiv url: http://arxiv.org/abs/2611.15426v1
- Date: Wed, 11 Nov 2026 12:53:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.143315
- Title: SimRec: Learning to Search, Ask, and Recommend from Simulated Interaction
- Title(参考訳): SimRec: シミュレーションインタラクションから検索、質問、推薦を学ぶ
- Abstract要約: SimRecは、ツール統合レコメンデーションエージェントの完全なインタラクションポリシをトレーニングする強化学習フレームワークである。
ESCIとAmazon C4では、SimRecはQwen3-4BエージェントのNDCG@100を32.23%から35.42%に改善した。
- 参考スコア(独自算出の注目度): 27.567569087980605
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: LLM-based recommendation agents can search catalogs, inspect products, ask users, and revise rejected recommendations. However, these behaviors are often governed by hand-designed workflows, while existing training methods optimize isolated components such as query rewriting or list ranking rather than the interaction policy as a whole. We present SimRec, a reinforcement learning framework that trains the full interaction policy of a tool-integrated recommendation agent. SimRec introduces two components. A task-anchored user simulator provides feedback on every recommendation: conditioned on the current task need rather than on user profile, and it can be an external LLM or the recommender itself under self-play. A task-aligned reward optimizes the whole trajectory with GRPO, crediting natural retrieval quality and valid tool use alongside the final hit, with training-only target injection to handle sparse hits over large catalogs. On ESCI and Amazon C4, SimRec improves the NDCG@100 of a Qwen3-4B agent from 32.23% to 35.42% and from 22.94% to 24.72%}, outperforming training-free agents on far larger backbones and task-aligned baselines on NDCG. Analysis shows that the trained agent verifies candidates, uses preferences, and recovers from rejected recommendations far more often than its untrained counterpart. Our code is available at https://github.com/ZJU-REAL/SimRec .
- Abstract(参考訳): LLMベースのレコメンデーションエージェントは、カタログを検索し、製品を検査し、ユーザーに質問し、拒否されたレコメンデーションを修正できる。
しかしながら、これらの動作は手書きのワークフローによって管理されることが多いが、既存のトレーニング手法では、インタラクションポリシ全体ではなく、クエリ書き換えやリストランキングといった独立したコンポーネントを最適化している。
ツール統合レコメンデーションエージェントの完全なインタラクションポリシをトレーニングする強化学習フレームワークであるSimRecを提案する。
SimRecは2つのコンポーネントを導入している。
タスク対応のユーザシミュレータは、すべてのレコメンデーションに対してフィードバックを提供する: 現在のタスクに条件付けされているのは、ユーザプロファイルではなく、ユーザプロファイルである。
タスクアラインの報酬は、GRPOによる全軌道の最適化、自然な検索品質の信用、最終ヒットと同時に有効なツールの使用、大規模なカタログ上でスパースヒットを処理するためのトレーニング専用ターゲットインジェクションなどを備える。
ESCIとAmazon C4では、SimRecはQwen3-4BエージェントのNDCG@100を32.23%から35.42%に改善し、22.94%から24.72%に改善した。
分析によると、訓練されたエージェントは、未訓練のエージェントよりもはるかに頻繁に、候補者を検証し、選好を使用し、拒否されたレコメンデーションから回復する。
私たちのコードはhttps://github.com/ZJU-REAL/SimRecで利用可能です。
関連論文リスト
- AgentBrew: Offline Tool-Use Agent Learning from Raw Real-World Trajectories [36.7302669545557]
現実世界のアプリケーションは、事前に定義されたタスクや検証、忠実なシミュレーター、大規模環境相互作用のための限られた予算を提供する。
オフラインのトレーニングフレームワークである textbfAgentBrew を提案する。
AgentBrew は Qwen3-32B を +8.7 Acc / +9.7 Score で改善し、Qwen3-235B (+2.3 / +4.4) を上回り、拒絶サンプリングより優れている。
論文 参考訳(メタデータ) (2026-09-05T03:04:23Z) - ERASE -- A Real-World Aligned Benchmark for Unlearning in Recommender Systems [53.62904488040001]
提案するERASEは,推薦システムにおける機械学習のための大規模ベンチマークである。
ERASEは、コラボレーティブフィルタリング、セッションベースレコメンデーション、次世代レコメンデーションの3つのコアタスクにまたがる。
これには、センシティブなインタラクションやスパムを逐次削除するなど、現実世界のアプリケーションにインスパイアされた未学習シナリオが含まれている。
論文 参考訳(メタデータ) (2026-03-09T13:00:23Z) - OptAgent: Optimizing Query Rewriting for E-commerce via Multi-Agent Simulation [1.3722079106827219]
OptAgentは、マルチエージェントシミュレーションと遺伝的アルゴリズムを組み合わせて、eコマースクエリのクエリを検証、最適化する新しいフレームワークである。
我々は、OptAgentを5つのカテゴリで1000の現実世界のeコマースクエリのデータセットで評価する。
論文 参考訳(メタデータ) (2025-10-04T10:41:09Z) - ReST-MCTS*: LLM Self-Training via Process Reward Guided Tree Search [50.45155830888697]
ReST-MCTS*と呼ばれる強化された自己学習手法を開発し、プロセス報酬指導と木探索MCTS*を統合して、高品質な推論トレースを収集し、ポリシーや報酬モデルにステップごとの価値を学習する。
ReST-MCTS* における木探索ポリシーは,Best-of-N や Tree-of-Thought といった従来の LLM 推論ベースラインと比較して,同じ検索予算内で高い精度を達成できることを示す。
論文 参考訳(メタデータ) (2024-06-06T07:40:00Z) - On Generative Agents in Recommendation [58.42840923200071]
Agent4Recは、Large Language Modelsに基づいたレコメンデーションのユーザーシミュレータである。
各エージェントは、ページ単位でパーソナライズされた推奨モデルと対話する。
論文 参考訳(メタデータ) (2023-10-16T06:41:16Z) - User Behavior Simulation with Large Language Model based Agents [116.74368915420065]
LLMベースのエージェントフレームワークを提案し,実際のユーザ動作をシミュレートするサンドボックス環境を設計する。
実験結果から,本手法のシミュレーション行動は実人の行動に非常に近いことが判明した。
論文 参考訳(メタデータ) (2023-06-05T02:58:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。