論文の概要: Difficulty-Aware Semantic-ID Optimization for Generative Recommendation
- arxiv url: http://arxiv.org/abs/2608.20611v1
- Date: Thu, 20 Aug 2026 23:20:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-24 14:49:32.275255
- Title: Difficulty-Aware Semantic-ID Optimization for Generative Recommendation
- Title（参考訳）: 生成レコメンデーションのための難易度対応セマンティックID最適化
- Abstract要約: オンラインロールアウト配置問題に対するDASO(Difficulty-Aware Semantic-ID Optimization)を提案する。
DASOは、各現在のロールアウトグループをプレフィックスマッチ深さでプロファイルし、候補がターゲットパスを離れるボトルネックSIDレベルを特定する。
DASOは12項目中11項目でMiniOneRecスタイルのGRPOよりも改善され、12項目中9項目で最高の結果が得られる。
- 参考スコア（独自算出の注目度）: 16.980517358891422
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Semantic-ID-based generative recommendation casts retrieval and ranking as autoregressive generation over hierarchical item identifiers. A common recipe is SFT followed by GRPO, yet vanilla GRPO is poorly matched to this tree-structured task. Under the frozen SFT checkpoint, the exact target is absent from the first 16 candidates of the 50-beam constrained ranking for many prompts, and in harder cases none of these candidates enters the target SID branch. This prompt-level diagnostic motivates a training concern: when on-policy GRPO groups are similarly target-missing, item-level rewards may produce weak or degenerate reward variation even if some candidates follow part of the target path. We propose Difficulty-Aware Semantic-ID Optimization (DASO), a tree-aware post-training method that addresses this failure mode as an online rollout-allocation problem. Instead of using fixed difficulty buckets or uniformly injecting ground-truth completions, DASO profiles each current rollout group by prefix-match depth, locates the bottleneck SID levels where candidates leave the target path, and reallocates a bounded portion of the group to prefix-guided completions while retaining raw rollouts for contrast. A SID-prefix reward provides graded credit, while an auxiliary SFT anchor mitigates regression on examples already solved by the SFT checkpoint. On the public benchmarks, DASO improves over MiniOneRec-style GRPO on 11 of 12 metrics and achieves the best result on 9 of 12 metrics; it also improves most level-wise recall metrics on the internal recommendation task.
- Abstract（参考訳）: セマンティックIDに基づく生成レコメンデーションは、階層的アイテム識別子よりも自己回帰生成として検索とランク付けを行う。
一般的なレシピは、SFT に GRPO が続くが、バニラ GRPO は、この木構造的タスクと不一致である。
凍結されたSFTチェックポイントの下では、多くのプロンプトに対して50ビーム制限付きランキングの最初の16の候補から正確なターゲットが欠落しており、より難しい場合には、これらの候補がターゲットSIDブランチに入ることはない。
このプロンプトレベルの診断は、訓練上の懸念を動機付けている: オンラインのGRPOグループが同様に目標達成である場合、アイテムレベルの報酬は、ターゲットパスの一部に従えば、弱いあるいは退化的な報酬変動を引き起こす可能性がある。
本稿では,この障害モードをオンラインロールアウト・アロケーション問題として扱う木認識ポストトレーニング手法であるDifficulty-Aware Semantic-ID Optimization (DASO)を提案する。
DASOは、固定された難易度バケットを使用したり、一様に地道完了を注入する代わりに、各現在のロールアウトグループをプレフィックスマッチ深さでプロファイルし、候補がターゲットパスを離れるボトルネックSIDレベルを特定し、コントラストのために生ロールアウトを保持しながら、グループの境界部分をプレフィックス誘導完了に再配置する。
補助的なSFTアンカーはSFTチェックポイントで既に解決されている例の回帰を緩和する。
公開ベンチマークでは、12項目中11項目でMiniOneRecスタイルのGRPOよりも改善され、12項目中9項目で最高の結果が得られる。
関連論文リスト
- Hierarchical Residual Policy Optimization for Generative Recommendations [46.030303420508254]
本稿では,アイテムレベルの結果を高密度なトークン整合学習信号に変換するポストトレーニングフレームワークを提案する。
大規模な商用システムにおける公開データセットとオンラインA/Bテストの実験は、セッションレベルのユーティリティと重要なビジネスメトリクスが一貫して向上していることを示している。
論文 参考訳（メタデータ） (2026-08-01T16:33:15Z) - ARBOR: Online Process Rewards via a Reusable Rubric Buffer for Search Agents [48.80766702702854]
LLMベースの検索エージェントは、主に結果のみの報酬で訓練され、検索プロセス自体は監督されていない。
この信号は、全てのサンプル軌跡が同じ正当性を共有する結果同質な群に対して退化し、群内の優位性はゼロとなり、勾配は得られない。
ARBOR(Adaptive Buffer for Online Reward)は,クエリ間で共有されるルーリックメモリを維持する再利用可能なプロセス・リワードフレームワークである。
論文 参考訳（メタデータ） (2026-06-02T06:58:54Z) - F-GRPO: Factorized Group-Relative Policy Optimization for Unified Candidate Generation and Ranking [79.49893545611779]
大規模言語モデル(LLM)はサブセットを生成し、それを1つの自己回帰パス内で順序付けることができる。
この柔軟性は、新しい最適化課題をもたらす: モデルが出力空間を検索し、完全なランクリストが生成された後にのみユーティリティフィードバックを受けなければならない。
このクレジット割り当てギャップは、エンドツーエンドの最適化を不安定にし、サンプル非効率にする。
本稿では,単一自己回帰的ロールアウト内の両方を実行する統一フレームワークを提案する。
論文 参考訳（メタデータ） (2026-05-13T04:52:33Z) - Breaking $\textit{Winner-Takes-All}$: Cooperative Policy Optimization Improves Diverse LLM Reasoning [53.42577591449649]
グループ協力政策最適化は、トレーニングパラダイムをロールアウト競争からチーム協力へとシフトさせる。
GCPOは独立したロールアウトスコアをチームレベルのクレジット割り当てに置き換える。
チームへの平均的な限界貢献に従って、各ロールアウトに対して、グループチームの報酬を再分配する。
論文 参考訳（メタデータ） (2026-05-12T03:20:24Z) - IG-Search: Step-Level Information Gain Rewards for Search-Augmented Reasoning [8.584560411480647]
我々は、情報ゲイン(IG)に基づくステップレベルの報酬を導入する強化学習フレームワークIG-Searchを提案する。
検索ステップ毎に、IGは、検索した文書が、ランダム文書の反実的ベースラインに対して、ゴールド回答に対するモデルの信頼性をどれだけ向上するかを測定する。
実験の結果、IG-SearchはQwen2.5-3Bで平均0.430のEMを達成し、最も高い軌道レベルのベースライン(MR-Search)を1.6ポイント上回った。
論文 参考訳（メタデータ） (2026-04-16T15:22:47Z) - Improving Search Agent with One Line of Code [68.58667107354253]
ツールベースのエージェント強化学習(TARL)は,検索エージェントが外部ツールと対話できるようにトレーニングするための,有望なパラダイムとして登場した。
textbfSearch textbfAgent textbfPolicy textbfOptimization (textbfSAPO)を提案する。
論文 参考訳（メタデータ） (2026-03-10T04:07:39Z) - IntRR: A Framework for Integrating SID Redistribution and Length Reduction [14.327886721362647]
目的整合SID再分配と構造長削減を統合した新しいフレームワークであるIntRRを提案する。
IntRRは、代表的な生成ベースラインよりも大幅に改善され、推奨精度と効率の両方で優れた性能を達成する。
論文 参考訳（メタデータ） (2026-02-24T09:09:40Z) - Differentiable Semantic ID for Generative Recommendation [65.83703273297492]
生成的推薦は、各項目がリッチコンテンツから学習された個別意味ID(SID)によって表現される新しいパラダイムを提供する。
実際には、SIDはレコメンデーションの正確さよりもコンテンツ再構成に最適化されるのが一般的である。
自然なアプローチは、セマンティックインデックスを差別化して、レコメンデーショングラデーションが直接SID学習に影響を与えるようにすることだ。
本稿では,ジェネレーティブレコメンデーションのための効果的な識別可能なセマンティックIDに向けた第一歩として,DIGERを提案する。
論文 参考訳（メタデータ） (2026-01-27T15:34:11Z) - GRAPE: Let GPRO Supervise Query Rewriting by Ranking for Retrieval [19.73916326078242]
CLIPモデルは,テキストと画像データを統合埋め込み空間に整列させることにより,大規模検索システムの基盤となっている。
コストのかかるリトレーニングを避けるため、既存のメソッドは主に大規模言語モデル(LLM)によるクエリ書き換え戦略を採用している。
GRAPEは,検索誘導型クエリ書き換えにランキング信号を組み込むプラグイン・アンド・プレイ拡張手法である。
論文 参考訳（メタデータ） (2025-09-27T15:36:59Z) - Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。
Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。
SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
論文 参考訳（メタデータ） (2025-09-25T14:05:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。