論文の概要: Diverse-Teacher On-Policy Distillation for Generative Recommendation
- arxiv url: http://arxiv.org/abs/2611.03272v1
- Date: Mon, 02 Nov 2026 15:14:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 05:26:25.041037
- Title: Diverse-Teacher On-Policy Distillation for Generative Recommendation
- Title（参考訳）: 生成的勧告のための多変量教師オン・ポリシィ蒸留
- Abstract要約: 生成レコメンデーションは、ユーザのインタラクション履歴から次の項目のセマンティックID(SID)を生成する。
多様性を意識したOPDフレームワークHEROを提案する。
1688年のホームページの"Guess What You Like"モジュールにHEROをデプロイし、15日間のオンラインA/Bテストの結果、総商品価値が3.412%増加した。
- 参考スコア（独自算出の注目度）: 15.01464475187327
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Generative recommendation generates the semantic ID (SID) of the next item from a user's interaction history. Existing training objectives mainly supervise target SID tokens, while on-policy distillation (OPD) provides denser supervision through a teacher's probability distribution over all tokens for more effective and efficient training. However, OPD can aggravate popularity bias: teacher feedback favors popular-item tokens, transferring this preference to the student, while student rollout favors popular items, leaving unpopular-item SID paths rarely generated and supervised. These two sources of bias reinforce each other and reduce recommendation diversity. We propose HERO, a diversity-aware OPD framework. Heterogeneous teacher distillation trains two teachers specializing in popular and unpopular items and routes each training sample to the teacher matching the popularity group of its ground-truth item. The student learns from the routed teacher's probability distribution along its own generated SIDs. Diversity-aware item rollout incorporates ground-truth SIDs of unpopular items into training, covering SID paths that the student rarely generates. Only the student is used for inference. Offline experiments on an industrial dataset and three public datasets further demonstrate its effectiveness, diversity, and robustness. Moreover, we deploy HERO in the "Guess What You Like" module on the 1688 homepage, where a 15-day online A/B test shows a 3.412% increase in gross merchandise value (GMV).
- Abstract（参考訳）: 生成レコメンデーションは、ユーザのインタラクション履歴から次の項目のセマンティックID(SID)を生成する。
既存の訓練目的は主に目標のSIDトークンを監督するが、オンライン蒸留(OPD)は教師の確率分布を通じてより密集した監督を提供し、より効果的で効率的な訓練を行う。
教師のフィードバックは人気項目のトークンを好んでおり、学生のロールアウトは人気項目を好んでおり、不人気項目のSIDパスが生成・管理されることは稀である。
これら2つのバイアス源は互いに強化し、レコメンデーションの多様性を減らす。
多様性を意識したOPDフレームワークHEROを提案する。
不均一な教員蒸留は、人気品と不人気品を専門とする2人の教師を訓練し、各訓練サンプルを、その根本的真実品の人気グループと一致する教師にルートする。
学生は、学習した教師の確率分布から、自作のSIDに沿って学習する。
多様性を意識したアイテムのロールアウトは、学生がほとんど生成しないSIDパスをカバーし、不人気なアイテムのグランドトルースSIDをトレーニングに組み込む。
学生のみが推論に使用される。
産業データセットと3つの公開データセットのオフライン実験は、その有効性、多様性、堅牢性をさらに証明している。
さらに1688年のホームページの"Guess What You Like"モジュールにHEROをデプロイし、15日間のオンラインA/Bテストの結果、総商品価値(GMV)は3.412%増加した。
関連論文リスト
- MuSID-KD: Multigranularity Knowledge Distillation for Generative Recommendation with Semantic IDs [2.5993532871616027]
セマンティックID(SID)による生成レコメンデーションは、各項目を離散トークンのシーケンスとして表現し、次の項目のSIDを自動回帰的に予測する。
階層的候補分布アライメントとレベルワイド蒸留を併用した MuSID-KD を提案する。
論文 参考訳（メタデータ） (2026-10-26T11:09:39Z) - Compatibility Matters: A Framework for Token-Level Teacher Selection in On-Policy Distillation [10.774348481056085]
我々は,教師と学生をオンライン蒸留(OPD)に適合させるものについて検討する。
特に,本研究の枠組みは,教師が学習する推論パターン,教師の能力,学生の多様性など,PDのためのデシラタを取り入れている。
我々は、数学、コーディング、カーネル生成、視覚的推論といった分野における広範な実験結果を用いて、この研究結果を裏付ける。
論文 参考訳（メタデータ） (2026-10-15T04:26:33Z) - When Do We Need On-Policy Distillation? Distilling on Offline Student Rollouts Is Often Better [63.03571783102715]
単純な選択肢であるSemi-OPDは、精度とトレーニング効率の両方でOPDより優れていることがよく示される。
17組の教師と学生のペアで、Semi-OPDは最大で+13.6%の精度と11.4倍のトレーニングスピードアップでPDを上回った。
論文 参考訳（メタデータ） (2026-10-08T05:54:03Z) - Is Better Teacher Supervision Enough? Unlocking Student-side Learning in Multimodal On-Policy Distillation [38.496745535296945]
オンライン蒸留(OPD)は、学生自身の軌道上の教師からトークンレベルの監督を提供することにより、推論を改善する。
S-OPDは,学生の知覚学習を明示的に強化するシンプルなマルチモーダルオンライン蒸留フレームワークである。
我々のメソッドは既存のOPDフレームワークにシームレスにプラグインすることができ、追加のデータアノテーション、モデルパラメータ、推論操作を必要としない。
論文 参考訳（メタデータ） (2026-09-30T06:55:48Z) - TeacherGRPO: Closing the Capacity Gap in Reasoning Distillation via Teacher Alignment [70.40748464576045]
強力な教師モデルから小さな学生への蒸留はギャップカースに面している。
教師がより高度に成長するにつれて、複雑な分布は生徒が近似できるものから多様化し、パフォーマンスが低下する。
本研究では,教師がデータを捨てたり,推論品質を劣化させたりすることなく,直接生徒の分布に適応する教師アライメントを提案する。
論文 参考訳（メタデータ） (2026-09-27T10:13:54Z) - Distill Where You Fail: Recovering Learning Signals of Negative RL-Groups from Adaptive Teacher Guidance [50.77757355236912]
本稿では,RSTG(Recovering Learning Signals via Adaptive Teacher Guidance)を提案する。
RSTGは数学では+4.02%、コードでは+3.05%の速さでGRPO+OPDを大幅に上回ることを示した。
論文 参考訳（メタデータ） (2026-08-01T17:29:14Z) - Multi-Turn On-Policy Distillation with Prefix Replay [73.10000453999088]
エージェントタスクに対するReplayed-Prefix On-Policy Distillation (ReOPD)を提案する。
ReOPDは、プレコンパイルされた教師の軌跡を再生プレフィックスとして再利用する。
OPDレベルの精度を保存または改善し、学生のトレーニング中にゼロツールコールを使用し、PDよりもトレーニングステップあたり最低4$times$高速である。
論文 参考訳（メタデータ） (2026-07-06T07:56:53Z) - DemoPSD: Disagreement-Modulated Policy Self-Distillation [49.30809363804017]
大規模言語モデルを訓練するための実践的な方法として、オンデマンド自己蒸留が登場している。
DemoPSDは、教師と生徒の分布の重み付けされた幾何学的組み合わせに向けて学生を操縦する。
論文 参考訳（メタデータ） (2026-07-02T17:58:29Z) - H-OPD: Confidence Aware Heterogeneous Multi-Teacher Multimodal On-policy Distillation [31.41588745047352]
H-OPDはマルチモーダル推論のための信頼度を考慮したヘテロジニアスマルチテラーPDフレームワークとして提案されている。
同じ推論プロセスで異種教員の相補性を検証することにより、H-OPDはタスクやサンプルレベルの教師ルーティングを置き換える。
H-OPDは、テキストのみの教師が重要な視覚的意味論にアクセスできるようにするために、視覚から言語への記述転送を利用する。
論文 参考訳（メタデータ） (2026-07-01T07:37:10Z) - Faculty Distillation with Optimal Transport [53.69235109551099]
本稿では,教師の課題と生徒の課題を最適な輸送手段で結びつけることを提案する。
ラベル空間間の意味的関係に基づき、出力分布間の支持ギャップを埋めることができる。
各種条件下での実験は,提案手法の簡潔さと汎用性を示すものである。
論文 参考訳（メタデータ） (2022-04-25T09:34:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。