Fugu-MT 論文翻訳(概要): Towards Sample-Efficient and Stable Reinforcement Learning for LLM-based Recommendation

論文の概要: Towards Sample-Efficient and Stable Reinforcement Learning for LLM-based Recommendation

arxiv url: http://arxiv.org/abs/2602.00632v1
Date: Sat, 31 Jan 2026 10:02:43 GMT
ステータス: 情報取得中
システム内更新日: 2026-02-03 13:37:29.812587
Title: Towards Sample-Efficient and Stable Reinforcement Learning for LLM-based Recommendation
Title（参考訳）: LLMレコメンデーションのためのサンプル効率・安定強化学習に向けて
Authors: Hongxun Ding, Keqin Bao, Jizhi Zhang, Yi Fang, Wenxin Xu, Fuli Feng, Xiangnan He,
Abstract要約: Long Chain-of-Thought (Long CoT)推論は、Large Language Models (LLMs)において有望であることを示している。我々はLong CoTが本質的にシーケンシャルなレコメンデーションドメインに不適合であると主張している。提案するRISER(Reinforced Item Space Exploration framework for Recommendation)を提案する。
参考スコア（独自算出の注目度）: 56.92367609590823
License:
Abstract: While Long Chain-of-Thought (Long CoT) reasoning has shown promise in Large Language Models (LLMs), its adoption for enhancing recommendation quality is growing rapidly. In this work, we critically examine this trend and argue that Long CoT is inherently ill-suited for the sequential recommendation domain. We attribute this misalignment to two primary factors: excessive inference latency and the lack of explicit cognitive reasoning patterns in user behavioral data. Driven by these observations, we propose pivoting away from the CoT structure to directly leverage its underlying mechanism: Reinforcement Learning (RL), to explore the item space. However, applying RL directly faces significant obstacles, notably low sample efficiency-where most actions fail to provide learning signals-and training instability. To overcome these limitations, we propose RISER, a novel Reinforced Item Space Exploration framework for Recommendation. RISER is designed to transform non-learnable trajectories into effective pairwise preference data for optimization. Furthermore, it incorporates specific strategies to ensure stability, including the prevention of redundant rollouts and the constraint of token-level update magnitudes. Extensive experiments on three real-world datasets show that RISER significantly outperforms competitive baselines, establishing a robust paradigm for RL-enhanced LLM recommendation. Our code will be available at https://anonymous.4open.science/r/RISER/.
Abstract（参考訳）: Long Chain-of-Thought (Long CoT) 推論は,Large Language Models (LLMs) において有望であるが,レコメンデーション品質向上への採用は急速に増加している。本稿では、この傾向を批判的に検証し、Long CoTは本質的にシーケンシャルレコメンデーションドメインに不適合であると主張している。このミスアライメントは、過剰な推論遅延と、ユーザの行動データに明確な認知的推論パターンが欠如している、という2つの主要な要因に起因している。これらの観察に基づいて、我々はCoT構造から方向転換して、その基盤となるメカニズムである強化学習(RL)を直接活用し、アイテム空間を探索することを提案する。しかしながら、RLの適用は、特にサンプル効率の低い、ほとんどのアクションが学習信号の提供に失敗し、トレーニングの不安定さなど、大きな障害に直面している。これらの制約を克服するために,新しい推奨項目空間探索フレームワークRISERを提案する。 RISERは、学習不可能な軌道を、最適化のための効果的なペアワイズ選好データに変換するように設計されている。さらに、冗長なロールアウトの防止やトークンレベルの更新サイズの制限など、安定性を確保するための具体的な戦略も組み込まれている。 3つの実世界のデータセットに対する大規模な実験により、RISERは競争ベースラインを大幅に上回っており、RL強化LLMレコメンデーションの堅牢なパラダイムを確立している。私たちのコードはhttps://anonymous.4open.science/r/RISER/で公開されます。

論文の概要: Towards Sample-Efficient and Stable Reinforcement Learning for LLM-based Recommendation

関連論文リスト