論文の概要: User Simulator-Guided Multi-Turn Preference Optimization for Reasoning LLM-based Conversational Recommendation

• arxiv url: http://arxiv.org/abs/2604.03671v1
• Date: Sat, 04 Apr 2026 09:52:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-07 15:49:18.712741
• Title: User Simulator-Guided Multi-Turn Preference Optimization for Reasoning LLM-based Conversational Recommendation
• Title（参考訳）: ユーザシミュレータを用いたLLMに基づく会話レコメンデーションのためのマルチスレッド参照最適化
• Authors: Xingyuan Xiang, Xiangchen Pan, Wei Wei,
• Abstract要約: ユーザシミュレータによるマルチターン優先最適化の対話推薦フレームワークを提案する。 シミュレータ生成したフィードバックを明示的なラベルのない真のユーザの好みに合わせるため、マルチタスクによる微調整によるフィードバック品質を向上させる。
• 参考スコア（独自算出の注目度）: 5.313432318455876
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Conversational Recommender Systems (CRSs) leverage natural language interactions for personalized recommendation, yet information-scarce dialogue histories and single-turn recommendation paradigms may severely hinder accurate modeling of complex user preferences. To alleviate this issue, recent studies have introduced LLM-based user simulators, which generate natural language feedback and perform simulated multi-turn interactions to assist recommendation. Nevertheless, since simulators cannot access true user preference labels during inference, their feedback may deviate from actual user interests, causing errors to accumulate over multiple interactions and severely affecting the generalization of the recommender. Inspired by the multi-step reasoning capabilities of LLMs and the effectiveness of reinforcement learning in policy optimization, we propose SMTPO, a user simulator-guided multi-turn preference optimization conversational recommendation framework. To align simulator-generated feedback with true user preferences in the absence of explicit labels, we enhance feedback quality via multi-task supervised fine-tuning (SFT), enabling the simulator to better reflect users' complex and diverse needs. To address the challenge of biased feedback destabilizing multi-turn optimization, we first allow the reasoning LLM-based recommender to learn preference reasoning and recommendation patterns through SFT and then employ reinforcement learning with fine-grained reward design to progressively align with true user preferences, improving recommendation performance. Extensive experiments on public datasets demonstrate the effectiveness and transferability of our method.
• Abstract（参考訳）: 対話型レコメンダシステム(CRS)は、パーソナライズされたレコメンデーションのために自然言語のインタラクションを活用するが、情報共有型ダイアログ履歴とシングルターンレコメンデーションパラダイムは、複雑なユーザの好みの正確なモデリングを著しく妨げる可能性がある。 この問題を軽減するため,最近の研究でLLMベースのユーザシミュレータを導入している。 それでも、シミュレーターは推論中に真のユーザ嗜好ラベルにアクセスできないため、実際のユーザ関心からフィードバックが逸脱し、複数のインタラクションにエラーが蓄積され、レコメンダの一般化に重大な影響を及ぼす可能性がある。 LLMの多段階推論機能とポリシー最適化における強化学習の有効性に着想を得て,ユーザシミュレータによるマルチターン優先最適化の対話推薦フレームワークであるSMTPOを提案する。 シミュレータ生成したフィードバックを明示的なラベルのない真のユーザ嗜好と整合させるため,マルチタスクによる微調整(SFT)によるフィードバック品質の向上を行い,ユーザの複雑で多様なニーズを反映できるようにした。 マルチターン最適化を安定化させるバイアスフィードバックの課題に対処するために、まずLLMベースのレコメンデーション・リコメンデーション・レコメンデーション・パターンをSFTを通して学習し、さらによりきめ細かな報酬設計による強化学習を用いて、真のユーザの嗜好に順応し、レコメンデーション性能を向上させる。 公開データセットに対する大規模な実験により,提案手法の有効性と伝達性を示す。

関連論文リスト

• RecoWorld: Building Simulated Environments for Agentic Recommender Systems [55.979427290369216]
  エージェントレコメンデータシステムに適したシミュレーション環境を構築するための青写真であるRecoWorldを提示する。 ユーザシミュレータは、推奨項目をレビューし、その考え方を更新し、潜在的なユーザ切り離しを感知すると、反射指示を生成する。 エージェント推奨者は、これらのユーザ命令と推論トレースを取り入れ、ダイナミックなフィードバックループを作成することで、そのレコメンデーションに適応する。
  論文  参考訳（メタデータ） (2025-09-12T16:44:34Z)
• Search-Based Interaction For Conversation Recommendation via Generative Reward Model Based Simulated User [117.82681846559909]
  会話レコメンデーションシステム(CRS)は、マルチターンインタラクションを使用してユーザの好みを捉え、パーソナライズされたレコメンデーションを提供する。 本稿では,CRSと自動インタラクションを行うための生成報酬モデルに基づくシミュレーションユーザGRSUを提案する。
  論文  参考訳（メタデータ） (2025-04-29T06:37:30Z)
• Explainable Recommendation with Simulated Human Feedback [8.532115411106068]
  提案する提案手法は,人為的なフィードバック駆動型最適化フレームワークである。 このフレームワークは、人中心で説明可能な要求を達成するために、高い労働コストを発生させることなく、動的にインタラクティブな最適化機構を使用する。 特に,大規模言語モデル(LLM)を人間のシミュレータとして利用して,学習プロセスの指針となる人間的なフィードバックを予測することを提案する。
  論文  参考訳（メタデータ） (2025-04-19T02:46:10Z)
• Reason4Rec: Large Language Models for Recommendation with Deliberative User Preference Alignment [69.11529841118671]
  本稿では,ユーザの嗜好に関する明確な推論を新たなアライメント目標として組み込んだ,新たなDeliberative Recommendationタスクを提案する。 次にReasoningを利用したRecommenderフレームワークを導入する。
  論文  参考訳（メタデータ） (2025-02-04T07:17:54Z)
• RosePO: Aligning LLM-based Recommenders with Human Values [38.029251417802044]
  我々は、パーソナライズされた選好最適化(RosePO)を円滑にするための一般的なフレームワークを提案する。 RosePOは、トレーニング後の段階において、カスタマイズされた人的価値との整合性が向上する。 実世界の3つのデータセットの評価は,本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-10-16T12:54:34Z)
• A LLM-based Controllable, Scalable, Human-Involved User Simulator Framework for Conversational Recommender Systems [14.646529557978512]
  Conversational Recommender System (CRS) はユーザからのリアルタイムフィードバックを利用して好みを動的にモデル化する。 LLM(Large Language Models)は、計算能力の新たな時代を迎えている。 ユーザシミュレータの動作を管理するCSHI(Controlable, scalable, and human-Involved)シミュレータフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-13T03:02:56Z)
• Relative Preference Optimization: Enhancing LLM Alignment through Contrasting Responses across Identical and Diverse Prompts [95.09994361995389]
  Relative Preference Optimization (RPO) は、同一のプロンプトと関連するプロンプトの両方から、より多く、あまり好まれない応答を識別するように設計されている。 RPOは、大きな言語モデルをユーザの好みに合わせて調整し、トレーニングプロセスにおける適応性を改善する優れた能力を示している。
  論文  参考訳（メタデータ） (2024-02-12T22:47:57Z)
• Reward Constrained Interactive Recommendation with Natural Language Feedback [158.8095688415973]
  制約強化強化学習(RL)フレームワークを提案する。 具体的には,ユーザの過去の嗜好に反するレコメンデーションを検出するために,識別器を利用する。 提案するフレームワークは汎用的であり,制約付きテキスト生成のタスクにさらに拡張されている。
  論文  参考訳（メタデータ） (2020-05-04T16:23:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。