論文の概要: Hierarchical Residual Policy Optimization for Generative Recommendations
- arxiv url: http://arxiv.org/abs/2608.00750v1
- Date: Sat, 01 Aug 2026 16:33:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:24.886086
- Title: Hierarchical Residual Policy Optimization for Generative Recommendations
- Title（参考訳）: 生成レコメンデーションのための階層的残留ポリシー最適化
- Abstract要約: 本稿では,アイテムレベルの結果を高密度なトークン整合学習信号に変換するポストトレーニングフレームワークを提案する。
大規模な商用システムにおける公開データセットとオンラインA/Bテストの実験は、セッションレベルのユーティリティと重要なビジネスメトリクスが一貫して向上していることを示している。
- 参考スコア（独自算出の注目度）: 46.030303420508254
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Generative recommenders select items by autoregressively decoding semantic identifiers (SIDs), whose token positions induce a coarse-to-fine hierarchy over the item space. In practice, SID decoders are trained via supervised next-token prediction, which imitates logged trajectories rather than directly optimizing downstream utility. This motivates post-training with outcome feedback to guide decoding toward higher utility. However, logged feedback is only observed for the final exposed item, causing most post-training methods to operate at the item level and broadcast the same terminal signal across all SID tokens. As a result, token-level credit assignment becomes sparse, high-variance, and layer-dependent. To this end, we propose Hierarchical Residual Policy Optimization (HRPO), a post-training framework that converts item-level outcomes into dense, token-aligned learning signals for conservative token-wise improvement. Specifically, HRPO first estimates SID prefix-level utilities via group-wise reward smoothing over feature-based user clusters. It then decomposes these utilities into residual token credits and accumulates them into credit-to-go signals. Finally, Residual-Return Policy Optimization (RRPO) optimizes the residual credits using clipped updates, group-normalized advantages, and KL regularization to preserve stability. Experiments on a public dataset and an online A/B test in a large-scale commercial system show consistent gains in session-level utility and key business metrics. Source code and the archived artifact are available for reproduction.
- Abstract（参考訳）: 生成レコメンデータは、トークン位置がアイテム空間上の粗い階層を誘導するセマンティック識別子(SID)を自動回帰デコードすることでアイテムを選択する。
実際には、SIDデコーダは、下流ユーティリティを直接最適化するのではなく、ログされた軌跡を模倣する教師付き次トーケン予測によって訓練される。
これは、結果フィードバックによる後トレーニングを動機付け、デコーディングをより高いユーティリティへ導く。
しかし、ログされたフィードバックは最終項目でのみ観測されるため、ほとんどのポストトレーニングメソッドはアイテムレベルで動作し、すべてのSIDトークンで同じ端末信号をブロードキャストする。
その結果、トークンレベルのクレジット代入はスパース、高分散、層依存となる。
この目的のために,階層的残留政策最適化(Hierarchical Residual Policy Optimization, HRPO)を提案する。
具体的には、HRPOが最初にSIDプレフィックスレベルのユーティリティを、機能ベースのユーザクラスタ上でスムーズなグループワイド報酬によって見積もる。
その後、これらのユーティリティを残留トークンクレジットに分解し、それをクレジット・ツー・ゴーの信号に蓄積する。
最後に、Residual-Return Policy Optimization (RRPO)は、クリップ更新、グループ正規化の利点、安定性を維持するためにKL正規化を用いて残額を最適化する。
大規模な商用システムにおける公開データセットとオンラインA/Bテストの実験は、セッションレベルのユーティリティと重要なビジネスメトリクスが一貫して向上していることを示している。
ソースコードとアーカイブされたアーティファクトは再生可能である。
関連論文リスト
- EchoRec: Multi-Item Prediction-Empowered Generative Recommendation via Cycle-Consistent Preference Alignment [57.08595331216049]
生成レコメンデーションは、ターゲット項目のセマンティックIDを自己回帰的に生成し、共有トークン空間内の嗜好モデリングとインデックス検索を統合する。
近年の試行ではMTP(Multi-Token Prediction)を導入しているが、その効率性は主に継承され、密集した監視対象としての可能性は未解明のままである。
提案するEchoRecは,マルチホライゾンにまたがるサイクル一貫性の全体的嗜好アライメントをMPPに付与し,生成的レコメンデーションを実現する。
論文 参考訳（メタデータ） (2026-08-14T06:59:12Z) - Guess Where You Go: Generative Next Point-of-Interest Recommendation in Amap [12.259216278301743]
本稿では,意味的識別子(SID)生成と生成的ポイント・オブ・インテリジェンス(POI)レコメンデーションを統合するエンド・ツー・エンドの産業フレームワークを提案する。
GwhereはAmapのホームページサービスに,高コンカレンシーと低レイテンシの制約の下でデプロイされる。
長期のオンラインA/Bテストでは、P-CTRが5.83%、U-CTRが6.20%改善された。
論文 参考訳（メタデータ） (2026-07-13T15:44:06Z) - SAPO: Step-Aligned Policy Optimization for Reasoning-Based Generative Recommendation [43.98709365191658]
生成レコメンデーションは、次点予測を自己回帰的アイテム識別生成として扱う。
最近の研究は、このパラダイムを推論トレースで強化し、検証可能な報酬で強化学習を通じて最適化している。
大局的なレコメンデーションでは、生成されたSIDに対する正確なマッチングフィードバックは、最終項目が正しいかどうかのみを報告する。
論文 参考訳（メタデータ） (2026-05-17T20:53:08Z) - F-GRPO: Factorized Group-Relative Policy Optimization for Unified Candidate Generation and Ranking [79.49893545611779]
大規模言語モデル(LLM)はサブセットを生成し、それを1つの自己回帰パス内で順序付けることができる。
この柔軟性は、新しい最適化課題をもたらす: モデルが出力空間を検索し、完全なランクリストが生成された後にのみユーティリティフィードバックを受けなければならない。
このクレジット割り当てギャップは、エンドツーエンドの最適化を不安定にし、サンプル非効率にする。
本稿では,単一自己回帰的ロールアウト内の両方を実行する統一フレームワークを提案する。
論文 参考訳（メタデータ） (2026-05-13T04:52:33Z) - TokenRatio: Principled Token-Level Preference Optimization via Ratio Matching [20.353416189523006]
標準的なシーケンスレベルのペアワイズ比較のみを用いてトークンレベルの最適性を回復する方法を示す。
本稿では,軽量な状態ベースラインを明示的に学習するTBPO-Qと,高次正規化によりベースラインを除去するTBPO-Aの2点を紹介する。
論文 参考訳（メタデータ） (2026-05-12T15:44:33Z) - Verifier-Free RL for LLMs via Intrinsic Gradient-Norm Reward [69.99652051809737]
本研究では,検証自由な内在性勾配項再帰(VIGOR)を提案する。
VIGORはポリシーモデルのみを使用する単純な報酬です。
数学データのみに基づいてトレーニングされた場合、コードベンチマークへのクロスドメイン転送を示す。
論文 参考訳（メタデータ） (2026-05-11T03:15:37Z) - Signal Reshaping for GRPO in Weak-Feedback Agentic Code Repair [36.31472731207028]
このようなフィードバックの下で,標準GRPOの信号再構成について検討する。
完全な信号整形GRPOは、厳密なコンパイルとシーケンスの精度を改善する。
論文 参考訳（メタデータ） (2026-05-08T05:41:25Z) - UniRec: Bridging the Expressive Gap between Generative and Discriminative Recommendation via Chain-of-Attribute [12.89120699793625]
Generative Recommendation (GR) reframes search and ranking as autoregressive decoding over Semantic IDs (SIDs)
p(y|f,u) によるランクは p(f|y,u) によるランクと同値であり、アイテムの特徴を自己回帰的に分解する。
提案するUniRecとChain-of-Attribute(CoA)は、その中核となるメカニズムである。CoAは、SIDを復号する前に構造化属性トークン:カテゴリ、販売者、ブランドを含む各SIDシーケンスをプレフィックスし、識別モデルが活用するアイテム側の特徴交差を復元する。
論文 参考訳（メタデータ） (2026-04-14T03:13:50Z) - Differentiable Semantic ID for Generative Recommendation [65.83703273297492]
生成的推薦は、各項目がリッチコンテンツから学習された個別意味ID(SID)によって表現される新しいパラダイムを提供する。
実際には、SIDはレコメンデーションの正確さよりもコンテンツ再構成に最適化されるのが一般的である。
自然なアプローチは、セマンティックインデックスを差別化して、レコメンデーショングラデーションが直接SID学習に影響を与えるようにすることだ。
本稿では,ジェネレーティブレコメンデーションのための効果的な識別可能なセマンティックIDに向けた第一歩として,DIGERを提案する。
論文 参考訳（メタデータ） (2026-01-27T15:34:11Z) - RLPO: Residual Listwise Preference Optimization for Long-Context Review Ranking [50.709454968853954]
ポイントワイドスコアは効率的だが、しばしばリストレベルの相互作用を考慮に入れない。
リストワイズアプローチはグローバルなコンテキストを活用することができるが、計算コストが高く、候補リストが大きくなるにつれて不安定になる。
本稿では,リストワイズ表現レベルの残差補正としてランク付けするResidual Listwise Preference Optimization (RLPO)を提案する。
論文 参考訳（メタデータ） (2026-01-12T11:45:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。