論文の概要: SAPO: Step-Aligned Policy Optimization for Reasoning-Based Generative Recommendation

• arxiv url: http://arxiv.org/abs/2605.17648v1
• Date: Sun, 17 May 2026 20:53:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 17:57:48.296464
• Title: SAPO: Step-Aligned Policy Optimization for Reasoning-Based Generative Recommendation
• Title（参考訳）: SAPO: 推論に基づくジェネレーティブレコメンデーションのためのステップアラインポリシー最適化
• Authors: Zaiyi Zheng, Guanghui Min, Yaochen Zhu, Liang Wu, Liangjie Hong, Chen Chen, Jundong Li,
• Abstract要約: 生成レコメンデーションは、次点予測を自己回帰的アイテム識別生成として扱う。 最近の研究は、このパラダイムを推論トレースで強化し、検証可能な報酬で強化学習を通じて最適化している。 大局的なレコメンデーションでは、生成されたSIDに対する正確なマッチングフィードバックは、最終項目が正しいかどうかのみを報告する。
• 参考スコア（独自算出の注目度）: 43.98709365191658
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generative recommendation treats next-item prediction as autoregressive item-identifier generation. Specifically, items are encoded as semantic identifiers (SIDs), which are short coarse-to-fine token sequences whose early tokens capture broad semantics and later tokens refine them. Recent work augments this paradigm with reasoning traces and optimizes them via reinforcement learning with verifiable rewards, typically outcome-reward algorithm with exact-match feedback on the generated SID. However, in large-catalog recommendation, exact-match feedback on the generated SID only reports whether the final item is correct; when a generated SID mismatches, outcome-reward cannot identify which SID-token prediction caused the mismatch and may penalize matched SID-token positions together with the mismatched position. We identify that the natural unit of credit assignment in this setting is a single reasoning step (one thinking block paired with one SID token). We instantiate this idea in SAPO (Step-Aligned Policy Optimization): rather than broadcasting one advantage to the whole response, SAPO computes a separate group-relative advantage for each reasoning step and applies it only to the corresponding thinking block and SID token. Across three real-world recommendation datasets, SAPO stabilizes reinforcement-learning training and consistently improves over existing generative recommendation baselines, with the largest gains where sparse exact-match feedback makes reasoning-step credit assignment important. Our results suggest that reinforcement-learning objectives for structured generation should mirror the decoder's own decomposition of the output.
• Abstract（参考訳）: 生成レコメンデーションは、次点予測を自己回帰的アイテム識別生成として扱う。 具体的には、アイテムはセマンティック識別子(SID)としてエンコードされる。これは、初期トークンが広いセマンティックスをキャプチャし、後にトークンがそれらを洗練する短い粗いトークンシーケンスである。 最近の研究は、このパラダイムを推論トレースで強化し、検証可能な報酬を持つ強化学習を通じて最適化している。 しかし、大局的な勧告では、生成したSIDに対する正確なマッチングフィードバックは最終項目が正しいかどうかのみを報告し、生成したSIDミスマッチでは、どのSIDトケ予測がミスマッチを引き起こしたかを識別できず、一致したSIDトケ位置とミスマッチ位置とをペナルティ化することができる。 この設定におけるクレジット代入の自然な単位は、単一の推論ステップ(1つのSIDトークンとペアリングされた1つの思考ブロック)である。 このアイデアをSAPO(Step-Aligned Policy Optimization:ステップアラインメント最適化)でインスタンス化する。全応答に1つの利点をブロードキャストするのではなく、SAPOは各推論ステップに対して別のグループ相対的優位性を計算し、対応する思考ブロックとSIDトークンにのみ適用する。 3つの実世界のレコメンデーションデータセット全体で、SAPOは強化学習トレーニングを安定化し、既存のジェネレーティブレコメンデーションベースラインを継続的に改善する。 この結果から,構造生成のための強化学習目的はデコーダ自体の出力の分解を反映すべきであることが示唆された。

関連論文リスト

• RAGR: Review-Augmented Generative Recommendation [61.29879991713178]
  Review-Augmented Generative Recommendation (RAGR)は、レビューフィードバックを直接生成ユーザシーケンスに組み込む新しいGRフレームワークである。 RAGRは、すべてのメトリクスにわたる強力なGRバックボーンよりも一貫性があり、大きな利益をもたらす。
  論文  参考訳（メタデータ） (2026-05-17T05:21:23Z)
• UniRec: Bridging the Expressive Gap between Generative and Discriminative Recommendation via Chain-of-Attribute [12.89120699793625]
  Generative Recommendation (GR) reframes search and ranking as autoregressive decoding over Semantic IDs (SIDs) p(y|f,u) によるランクは p(f|y,u) によるランクと同値であり、アイテムの特徴を自己回帰的に分解する。 提案するUniRecとChain-of-Attribute(CoA)は、その中核となるメカニズムである。CoAは、SIDを復号する前に構造化属性トークン:カテゴリ、販売者、ブランドを含む各SIDシーケンスをプレフィックスし、識別モデルが活用するアイテム側の特徴交差を復元する。
  論文  参考訳（メタデータ） (2026-04-14T03:13:50Z)
• Reasoning over Semantic IDs Enhances Generative Recommendation [56.83043583765322]
  本稿では,SID 言語アライメントを強化することによって,SID に対する推論を実現する2段階のフレームワークを提案する。 SIDReasonerはさらに、結果駆動強化最適化によるレコメンデーション推論を改善している。 実世界の3つのデータセットに対する実験により,SIDに基づく生成推薦の有効性が示された。
  論文  参考訳（メタデータ） (2026-03-24T13:31:48Z)
• End-to-End Semantic ID Generation for Generative Advertisement Recommendation [33.453121305193434]
  生成広告推薦のための統一SID生成フレームワークを提案する。 具体的には、生の広告データからエンドツーエンドで埋め込みとSIDを協調的に最適化する。 実験により、UniSIDは最先端のSID生成方法よりも一貫して優れていることが示された。
  論文  参考訳（メタデータ） (2026-02-11T02:38:26Z)
• Rethinking Generative Recommender Tokenizer: Recsys-Native Encoding and Semantic Quantization Beyond LLMs [17.944727019161878]
  ReSIDは、情報保存とシーケンシャルな予測可能性の観点から学ぶことを推奨する、原則化されたSIDフレームワークである。 高いシーケンシャルおよびSIDベースの生成ベースラインを平均10%以上上回り、トークン化コストを最大122倍削減する。
  論文  参考訳（メタデータ） (2026-02-02T17:00:04Z)
• Differentiable Semantic ID for Generative Recommendation [65.83703273297492]
  生成的推薦は、各項目がリッチコンテンツから学習された個別意味ID(SID)によって表現される新しいパラダイムを提供する。 実際には、SIDはレコメンデーションの正確さよりもコンテンツ再構成に最適化されるのが一般的である。 自然なアプローチは、セマンティックインデックスを差別化して、レコメンデーショングラデーションが直接SID学習に影響を与えるようにすることだ。 本稿では,ジェネレーティブレコメンデーションのための効果的な識別可能なセマンティックIDに向けた第一歩として,DIGERを提案する。
  論文  参考訳（メタデータ） (2026-01-27T15:34:11Z)
• DiffGRM: Diffusion-based Generative Recommendation Model [63.35379395455103]
  ジェネレーティブレコメンデーション(GR)は、トークン化器を介して各項目をn桁のセマンティックID(SID)として表現する新興パラダイムである。 自己回帰デコーダをマスク付き離散拡散モデル(MDM)に置き換える拡散ベースGRモデルDiffGRMを提案する。 実験では、複数のデータセットに対する強力な生成的および差別的推奨ベースラインよりも一貫した利得を示す。
  論文  参考訳（メタデータ） (2025-10-21T03:23:32Z)
• Neighbour Consistency Guided Pseudo-Label Refinement for Unsupervised Person Re-Identification [80.98291772215154]
  教師なしの人物再識別(ReID)は、アノテーションを使わずに人物検索のための識別的アイデンティティの特徴を学習することを目的としている。 近年の進歩はクラスタリングに基づく擬似ラベルを活用することで実現されている。 本稿では, Pseudo Label Refinement フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-11-30T09:39:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。