論文の概要: KL-MOPD: Discrepancy-Aware Multi-Objective On-Policy Distillation for Generative Recommendation
- arxiv url: http://arxiv.org/abs/2610.36973v1
- Date: Tue, 27 Oct 2026 10:28:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-29 04:15:49.258279
- Title: KL-MOPD: Discrepancy-Aware Multi-Objective On-Policy Distillation for Generative Recommendation
- Title（参考訳）: KL-MOPD: 離散性を考慮した多目的on-policy蒸留法
- Abstract要約: KL-MOPDは,初期の学生・教師のKL発散量に比例したトークン単位の教師重量を割り当てる,単純かつ効果的な蒸留法である。
3つの公開ベンチマーク、数十億ドル規模の産業データセット、およびEコマース広告プラットフォーム上でのオンラインA/Bテストの実験は、KL-MOPDが個人および共同推薦のパフォーマンスを著しく改善することを示した。
- 参考スコア（独自算出の注目度）: 24.35858219591579
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Coordinating multiple recommendation objectives (e.g., click and conversion) is critical for real-world generative recommendation (GR). However, since a positive item in GR can be retrieved only when its tokens are successively selected at every decoding step, traditional item-wise methods lack fine-grained token-wise supervision to guide intermediate steps. Motivated by its success in foundation models, we consider introducing multi-objective on-policy distillation (MOPD) into GR to distill two single-objective teachers into a student at each token. Yet, we find that in vanilla MOPD, (i) teachers exhibit unequal distillation difficulty at each token (i.e., token-level imbalance), and (ii) the harder-to-distill teacher varies across tokens (i.e., cross-token inconsistency), leaving each objective poorly learned at certain steps and hindering positive item retrieval for both objectives, leading to suboptimal performance. To address this challenge, we propose KL-MOPD (KL-Weighted Multi-Objective On-Policy Distillation), a simple yet effective distillation method that allocates token-wise teacher weights proportional to the initial student-teacher token-wise KL divergences, thereby strengthening supervision for the harder-to-distill teacher at every decoding step. Despite its simplicity, we theoretically prove that KL-MOPD strictly outperforms vanilla MOPD in the additive joint recommendation objective under mild conditions. Moreover, KL-MOPD is plug-and-play and computationally efficient, requiring only a one-time pre-training weight calibration with negligible training overhead. Extensive experiments on three public benchmarks, a billion-scale industrial dataset, and online A/B tests on our e-commerce advertising platform demonstrate that KL-MOPD significantly improves both individual and joint recommendation performance. The anonymous code is provided for peer review.
- Abstract（参考訳）: 複数のレコメンデーション目標(例えば、クリックと変換)をコーディネートすることは、実世界のジェネレーティブレコメンデーション(GR)にとって重要である。
しかし、GRの正の項目は、復号ステップ毎にトークンが連続的に選択された場合にのみ検索できるため、従来のアイテムワイドメソッドは中間ステップを導くためのきめ細かいトークンワイドの監督を欠いている。
基礎モデルの成功により, GRに多目的オンライン蒸留(MOPD)を導入し, 2人の単目的教師を各トークンで学生に蒸留することを検討した。
しかし、それはバニラMOPDで見つけました。
一 教師は、各トークン(トークンレベルの不均衡)に不平等な蒸留困難を呈し、
(i) 難解な教師はトークン(すなわちクロストケン不整合)によって異なり、それぞれの目的が特定のステップで不十分に学習され、両方の目的に対して肯定的な項目の検索が妨げられ、最適以下のパフォーマンスがもたらされる。
この課題に対処するため,KL-MOPD (KL-Weighted Multi-Objective On-Policy Distillation) を提案する。
単純ではあるが,KL-MOPDは軽度条件下での付加的関節推奨目的において,バニラMOPDよりも厳密に優れていることが理論的に証明されている。
さらに、KL-MOPDはプラグアンドプレイで計算効率が高く、トレーニングのオーバーヘッドが無視できる1回のトレーニング前の重量校正しか必要としない。
当社のeコマース広告プラットフォーム上での3つの公開ベンチマーク、数十億ドル規模の産業データセット、オンラインA/Bテストによる大規模な実験は、KL-MOPDが個人および共同推薦のパフォーマンスを著しく改善することを示している。
匿名コードはピアレビューのために提供される。
関連論文リスト
- Do We Really Need KL Divergence for On-Policy Distillation of Large Language Models? [23.02573691175843]
オンライン蒸留(OPD)はLLMの効率的なポストトレーニングパラダイムとして登場した。
更新方向を単純に保つだけで、効果的なOPDに十分であることを示す。
C-MOPD(Consensus Multi-Teacher On-Policy Distillation)を導入し、MOPD(Multi-Teacher On-Policy Distillation)を改善する。
論文 参考訳（メタデータ） (2026-09-27T17:40:33Z) - Distill Where You Fail: Recovering Learning Signals of Negative RL-Groups from Adaptive Teacher Guidance [50.77757355236912]
本稿では,RSTG(Recovering Learning Signals via Adaptive Teacher Guidance)を提案する。
RSTGは数学では+4.02%、コードでは+3.05%の速さでGRPO+OPDを大幅に上回ることを示した。
論文 参考訳（メタデータ） (2026-08-01T17:29:14Z) - ARKD: Adaptive Reinforcement Learning-Guided Bidirectional KL Divergence Distillation for Text Generation [5.7913606195390885]
知識蒸留(KD)は大規模言語モデル(LLM)を圧縮する鍵となる技術である
理論的および経験的視点から分布アライメントにおける前方および後方KL分散(FKL/RKL)の相補的役割を解析した。
本稿では,教師の分散特性に基づいて,政策ネットワークがFKLとRKLに動的に重みを割り当てる,強化学習に基づく適応KL重み蒸留フレームワークを提案する。
論文 参考訳（メタデータ） (2026-06-29T07:05:56Z) - Breaking the Tokenizer Barrier: On-Policy Distillation across Model Families [32.34854415784466]
On-Policy Distillation (OPD)は、ドメインエキスパートから学生モデルへ知識を伝達するためのLarge Language Models (LLM)のポストトレーニングにおいて、中核となる技術となっている。
既存のOPD蒸留法では、教師と学生が同じトークン化剤を共有する必要があり、モデルシリーズにおけるPDの適用性を制限している。
本研究では, 標準的なオンライン蒸留法をモデルファミリ間で動作させることにより, 高忠実度トークンレベル信号が異なるトークン化器間で伝搬することを保証する。
論文 参考訳（メタデータ） (2026-06-08T13:12:01Z) - Teacher-Guided Policy Optimization for LLM Distillation [90.49982387646861]
Teacher-Guided Policy Optimization (TGPO) は、生徒のロールアウトに条件付き教師予測を活用することで、高密度な方向性誘導を取り入れたオンラインアルゴリズムである。
複雑な推論ベンチマークの実験では、TGPOは標準ベースラインを著しく上回り、異なる教師にとって堅牢であることが示されている。
論文 参考訳（メタデータ） (2026-05-13T09:20:03Z) - Uni-OPD: Unifying On-Policy Distillation with a Dual-Perspective Recipe [53.40076304466524]
LLM(Large Language Models)とMLLM(Multimodal Large Language Models)をまたいで一般化する統一OPDフレームワークであるUni-OPDを提案する。
具体的には、学生の立場から、学習中の情報発信状態の探索を促進するために、2つのデータバランス戦略を採用する。
我々は,正しい軌道と間違った軌道の順序の整合性を取り戻すために,結果誘導マージンキャリブレーション機構を開発した。
論文 参考訳（メタデータ） (2026-05-05T12:15:21Z) - TCOD: Exploring Temporal Curriculum in On-Policy Distillation for Multi-turn Autonomous Agents [55.27396165691312]
マルチターンエージェント設定におけるバニラOPDの鍵となる制限を,トラジェクトリレベルKL不安定(Trajectory-Level KL Instability)と呼ぶ。
学生に露出する軌道深度を制御し,カリキュラムのスケジュールを段階的に拡張するフレームワークであるTCODを提案する。
4組の生徒と教師のペアによる実験結果から,TCODはKLのエスカレーションを軽減し,トレーニングを通してKLの安定性を高め,バニラPDよりも最大18ポイントのエージェント性能を向上させることが示された。
論文 参考訳（メタデータ） (2026-04-27T03:38:27Z) - Reinforcement-aware Knowledge Distillation for LLM Reasoning [63.53679456364683]
強化学習(Reinforcement Learning, RL)ポストトレーニングは、最近、大型言語モデル(LLM)の長いチェーン・オブ・プリーティングにおいて、進歩をもたらした。
既存の知識蒸留法の多くは、教師による微調整(SFT)のために設計されており、固定された教師のトレースや教師の学生であるKulback-Leibler(KL)の発散に基づく正規化に依存している。
本稿では,RLにおける選択的な模倣を行うRL-aware distillation (RLAD)を提案する。
論文 参考訳（メタデータ） (2026-02-26T00:20:39Z) - AdaSwitch: Adaptive Switching Generation for Knowledge Distillation [58.647880811071495]
スモール言語モデル(SLM)は、厳密な待ち時間と計算制約のあるアプリケーションには不可欠である。
トークンレベルでのオン・ポリティクスとオフ・ポリティクス・ジェネレーションを組み合わせた新しいアプローチであるAdaSwitchを提案する。
AdaSwitchは一貫して精度を向上し、SLMを蒸留するための実用的で効果的な方法を提供し、追加のオーバーヘッドを許容する。
論文 参考訳（メタデータ） (2025-10-09T06:38:37Z) - ToDi: Token-wise Distillation via Fine-Grained Divergence Control [9.958797874295355]
Token-wise Distillation (ToDi) は、Sigmoid-based weighting function を用いてトークンごとのフォワードKLとリバースKLを適応的に結合する新しい方法である。
ToDiは、均一またはより粒度の低い戦略を用いて、最近の蒸留ベースラインを一貫して上回っている。
論文 参考訳（メタデータ） (2025-05-22T06:51:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。