論文の概要: MLLMRec-R1: Incentivizing Reasoning Capability in Large Language Models for Multimodal Sequential Recommendation

• arxiv url: http://arxiv.org/abs/2603.06243v1
• Date: Fri, 06 Mar 2026 13:05:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-09 13:17:45.77812
• Title: MLLMRec-R1: Incentivizing Reasoning Capability in Large Language Models for Multimodal Sequential Recommendation
• Title（参考訳）: MLLMRec-R1:マルチモーダルシーケンスレコメンデーションのための大規模言語モデルにおける推論能力のインセンティブ化
• Authors: Yu Wang, Yonghui Yang, Le Wu, Jiancan Wu, Hefei Xu, Hui Lin,
• Abstract要約: 逐次レコメンデーションのための効率よく安定したGRPOベースの推論フレームワークであるMLLMRec-R1を提案する。 MLLMRec-R1は、視覚信号をオフラインでテキスト化して、高価な視覚トークンを排除し、マルチモーダルセマンティクスを保存する。 3つのベンチマークデータセットの実験では、MLLMRec-R1が最先端メソッドを一貫して上回っていることが示されている。
• 参考スコア（独自算出の注目度）: 28.144375777645006
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Group relative policy optimization (GRPO) has become a standard post-training paradigm for improving reasoning and preference alignment in large language models (LLMs), and has recently shown strong effectiveness in LLM-based recommender systems. However, extending GRPO-based reasoning pipelines to multimodal sequential recommendation (MSR) with multimodal large language models (MLLMs) faces fundamental obstacles. First, MSR requires jointly encoding visual content for both historical interactions and multiple candidate items, causing visual tokens to dominate the input and making the cost of group-based rollout scale with history length and candidate set size, which renders GRPO-based training prohibitively expensive. Second, existing Chain-of-Thought (CoT) supervision suffers from reward inflation in recommendation scenarios, where higher training rewards do not reliably translate into improved ranking performance and may induce shortcut learning. To address these challenges, we propose MLLMRec-R1, an efficient and stable GRPO-based reasoning framework for multimodal sequential recommendation. MLLMRec-R1 textualizes visual signals offline to eliminate expensive visual tokens while preserving multimodal semantics, and constructs high-quality multimodal CoT supervision through refinement and confidence-aware assessment. Furthermore, a mixed-grained data augmentation strategy selectively injects reliable CoT samples while retaining standard training data, mitigating reward inflation and improving generalization stability. Extensive experiments on three benchmark datasets demonstrate that MLLMRec-R1 consistently outperforms state-of-the-art methods, establishing a practical and effective GRPO-based reasoning pipeline for multimodal sequential recommendation. The code is available at https://github.com/wangyu0627/MLLMRec-R1.
• Abstract（参考訳）: グループ相対ポリシー最適化(GRPO)は,大規模言語モデル(LLM)における推論と嗜好の整合性を改善するための標準訓練のパラダイムとなり,近年,LLMベースのレコメンデータシステムにおいて強い効果を示している。 しかし、GRPOベースの推論パイプラインをマルチモーダル・シーケンシャルレコメンデーション(MSR)に拡張し、MLLM(Multimodal Large Language Model)は基本的な障害に直面している。 第一に、MSRは歴史的相互作用と複数の候補項目の両方の視覚コンテンツを共同で符号化する必要があるため、視覚トークンが入力を支配し、グループベースのロールアウトスケールが履歴の長さと候補セットサイズでコストがかかるため、GRPOベースのトレーニングは違法に高価になる。 第2に、既存のChain-of-Thought(CoT)の監督は、より高いトレーニング報酬が確実にランキングパフォーマンスの改善に変換されず、ショートカット学習を誘発する、レコメンデーションシナリオにおける報酬インフレーションに苦しむ。 これらの課題に対処するために、マルチモーダルシーケンシャルレコメンデーションのための効率よく安定したGRPOベースの推論フレームワークであるMLLMRec-R1を提案する。 MLLMRec-R1は、マルチモーダルセマンティクスを保ちながら、高価な視覚トークンをなくすために、視覚信号をオフラインでテキスト化し、改良と信頼性評価を通じて高品質なマルチモーダルCoT監視を構築する。 さらに、信頼度の高いCoTサンプルを標準トレーニングデータを保持しつつ選択的に注入し、報酬インフレーションを軽減し、一般化安定性を向上させる。 3つのベンチマークデータセットに対する大規模な実験により、MLLMRec-R1は一貫して最先端の手法よりも優れており、マルチモーダルシーケンシャルレコメンデーションのための実用的で効果的なGRPOベースの推論パイプラインを確立している。 コードはhttps://github.com/wangyu0627/MLLMRec-R1で公開されている。

関連論文リスト

• MMSRARec: Summarization and Retrieval Augumented Sequential Recommendation Based on Multimodal Large Language Model [18.920729109005435]
  本稿では,マルチモーダル要約と検索拡張シーケンスレコメンデーションを提案する。 まずMLLMを用いて、項目を簡潔なキーワードに要約し、要約長、情報損失、再構成難易度を含む報酬を用いてモデルを微調整する。 検索拡張生成にインスパイアされ、協調信号を対応するキーワードに変換し、補足コンテキストとして統合する。
  論文  参考訳（メタデータ） (2025-12-24T03:44:25Z)
• Principled RL for Diffusion LLMs Emerges from a Sequence-Level Perspective [85.06838178922791]
  強化学習(RL)は自己回帰言語モデルに非常に効果的であることが証明されている。 しかし、これらの手法を拡散大言語モデル(dLLM)に適応させることは、根本的な課題を提起する。 本稿では,全シーケンス生成を単一アクションとして扱い,ELBOを抽出可能なシークエンスレベル確率プロキシとして利用する,原則的RLフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-12-03T13:05:32Z)
• Multimodal Large Language Models with Adaptive Preference Optimization for Sequential Recommendation [60.33386541343322]
  本稿では,Hardness-Aware とNoNoRec (HaNoRec) を併用したマルチモーダル大規模言語モデルフレームワークを提案する。 具体的には、HaNoRecは、各トレーニングサンプルの予測硬度とポリシーモデルのリアルタイム応答性の両方に基づいて、最適化重量を動的に調整する。
  論文  参考訳（メタデータ） (2025-11-24T04:10:46Z)
• LEMUR: Large scale End-to-end MUltimodal Recommendation [16.60136276734522]
  生データからエンドツーエンドにトレーニングした,初の大規模マルチモーダルレコメンデーションシステムであるLEMURを提案する。 実世界の産業シナリオにおけるエンド・ツー・エンドのマルチモーダル・レコメンデーションの優位性を検証した。
  論文  参考訳（メタデータ） (2025-11-14T05:15:15Z)
• Rank-GRPO: Training LLM-based Conversational Recommender Systems with Reinforcement Learning [70.6126069527741]
  ConvRec-R1は会話レコメンデーションシステムのエンドツーエンドトレーニングのための2段階のフレームワークである。 ステージ1では,Remap-Reflect-Adjustパイプラインを用いた行動閉鎖データセットを構築した。 ステージ2では,グループ相対政策最適化の原則的拡張である Rank-GRPO を提案する。
  論文  参考訳（メタデータ） (2025-10-23T02:56:00Z)
• Empowering Large Language Model for Sequential Recommendation via Multimodal Embeddings and Semantic IDs [28.752042722391934]
  シークエンシャルレコメンデーション(SR)は,ユーザの動的関心や時系列パターンを過去のインタラクションに基づいて捉えることを目的としている。 MME-SIDは多モード埋め込みと量子埋め込みを統合し、埋め込み崩壊を緩和する。 3つの公開データセットに対する大規模な実験により、MME-SIDの優れた性能が検証された。
  論文  参考訳（メタデータ） (2025-09-02T07:02:29Z)
• RecLLM-R1: A Two-Stage Training Paradigm with Reinforcement Learning and Chain-of-Thought v1 [20.92548890511589]
  本稿では,Large Language Models(LLM)を利用したレコメンデーションフレームワークであるRecLLM-R1を紹介する。 RecLLM-R1は、精度、多様性、新規性など、さまざまな評価指標において、既存のベースラインメソッドを大幅に上回っている。
  論文  参考訳（メタデータ） (2025-06-24T01:39:34Z)
• R$^2$ec: Towards Large Recommender Models with Reasoning [59.32598867813266]
  R$2$ecは、本質的な推論能力を持つ統一された大型レコメンデータモデルである。 R$2$ecは、推論チェーン生成と効率的なアイテム予測の両方を単一のモデルでサポートするデュアルヘッドアーキテクチャを導入している。 注釈付き推論データの欠如を克服するため、強化学習フレームワークであるRecPOを設計する。
  論文  参考訳（メタデータ） (2025-05-22T17:55:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。