論文の概要: SmartGR: Hierarchy and Beam-Aware Knowledge Distillation for Generative Recommendation

• arxiv url: http://arxiv.org/abs/2608.02048v1
• Date: Mon, 03 Aug 2026 10:46:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-04 15:07:25.491665
• Title: SmartGR: Hierarchy and Beam-Aware Knowledge Distillation for Generative Recommendation
• Title（参考訳）: SmartGR: ジェネレーティブレコメンデーションのための階層とビーム認識知識蒸留
• Authors: Ziheng Zhang, Yu Cui, Bohao Wang, Yong He, Chao Yu, Chuan Yuan, Wujie Sun, Can Wang, Jiawei Chen,
• Abstract要約: ジェネレーティブレコメンデーション(GR)は、レコメンデーションシステムにとって有望なパラダイムとして登場した。 知識蒸留は、大きなGRモデルから軽量モデルに知識を移すことによって、実用的なソリューションを提供する。 既存の蒸留法では、セマンティックID階層間の不均衡蒸留難度とビームサーチ時の不正プレフィックスプルーニングの2つのGR固有の課題を考慮に入れていない。
• 参考スコア（独自算出の注目度）: 19.026126354268378
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generative recommendation (GR) has emerged as a promising paradigm for recommender systems. Scaling up GR models can improve recommendation performance, but it also substantially increases inference cost. Knowledge distillation provides a practical solution by transferring knowledge from a large GR model to a lightweight one. However, existing distillation methods do not account for two GR-specific challenges: imbalanced distillation difficulty across the semantic ID (SID) hierarchy and incorrect prefix pruning during beam search. To address these challenges, we propose SmartGR, a novel distillation framework that utilizes Hierarchy-Aware SID Distillation to transfer the teacher's modeling capability across the hierarchy and leverages Beam-Aware Ranking Distillation to distill the teacher's ranking preferences during beam search. Extensive experiments on four benchmark datasets demonstrate the effectiveness and efficiency of SmartGR, improving the performance by 8.6% while achieving a 2.39$\times$ inference speedup on average.
• Abstract（参考訳）: ジェネレーティブレコメンデーション(GR)は、レコメンデーションシステムにとって有望なパラダイムとして登場した。 GRモデルのスケールアップはレコメンデーションパフォーマンスを改善するだけでなく、推論コストを大幅に向上させる。 知識蒸留は、大きなGRモデルから軽量モデルに知識を移すことによって、実用的なソリューションを提供する。 しかし、既存の蒸留法では、セマンティックID(SID)階層間の不均衡蒸留難度とビームサーチ時の誤ったプレフィックスプルーニングの2つのGR固有の課題を考慮していない。 これらの課題に対処するために,階層型SID蒸留を利用した新しい蒸留フレームワークSmartGRを提案する。 4つのベンチマークデータセットに対する大規模な実験は、SmartGRの有効性と効率を実証し、平均2.39$\times$推論スピードアップを達成しながら、パフォーマンスを8.6%改善した。

関連論文リスト

• Guiding Distribution Matching Distillation with Gradient-Based Reinforcement Learning [41.982957134224904]
  拡散蒸留は、数ステップの発電では大きな可能性を秘めているが、サンプリング速度のために品質を犠牲にすることが多い。 GDMDは, 原画素出力よりも蒸留勾配を優先することで, 報酬機構を再定義する新しいフレームワークである。 我々のモデルは、その多段階教師の質を上回り、GenEvalと人為的基準の指標において、従来のDMDRよりもかなり上回っている。
  論文  参考訳（メタデータ） (2026-04-21T02:57:13Z)
• Learning beyond Teacher: Generalized On-Policy Distillation with Reward Extrapolation [57.524909883706556]
  オンライン蒸留(OPD)は、学生のパフォーマンス向上に強い経験的利益をもたらしている。 この研究は、フレキシブルな参照モデルと報酬項の相対重みをKL正規化に対して制御する報酬スケーリング係数を導入している。 特に、同じ学生モデルにドメイン固有RLを適用して得られた異なるドメインエキスパートの知識をマージする環境では、ExOPDは生徒が教師のパフォーマンス境界を越えられるようにします。
  論文  参考訳（メタデータ） (2026-02-12T16:14:29Z)
• Remote Sensing Image Classification with Decoupled Knowledge Distillation [2.698114369639173]
  本稿では,知識蒸留に基づく軽量な分類法を提案する。 提案手法は,パラメータ数を6.24倍に削減しつつ,ほぼ同等のTop-1精度を実現する。
  論文  参考訳（メタデータ） (2025-05-25T12:06:28Z)
• Distillation Enhanced Generative Retrieval [96.69326099136289]
  生成的検索はテキスト検索において有望な新しいパラダイムであり、関連する通路の識別子文字列を検索対象として生成する。 本研究は, 蒸留による生成的検索をさらに促進するための有効な方向を特定し, DGR という名称の実行可能なフレームワークを提案する。 本研究では,4つの公開データセットに対して実験を行い,DGRが生成的検索手法の最先端性能を達成することを示す。
  論文  参考訳（メタデータ） (2024-02-16T15:48:24Z)
• Learning Lightweight Object Detectors via Multi-Teacher Progressive Distillation [56.053397775016755]
  本稿では,教師検出器の知識を学生に段階的に伝達する,知識蒸留への逐次的アプローチを提案する。 私たちの知識を最大限に活用するために、私たちはTransformerベースの教師検出器から、畳み込みベースの学生まで、初めて知識を抽出しました。
  論文  参考訳（メタデータ） (2023-08-17T17:17:08Z)
• EmbedDistill: A Geometric Knowledge Distillation for Information Retrieval [83.79667141681418]
  大規模なニューラルモデル(トランスフォーマーなど)は、情報検索(IR)のための最先端のパフォーマンスを達成する 本研究では,大規模教師モデルで学習したクエリとドキュメント間の相対的幾何を利用した新しい蒸留手法を提案する。 提案手法は, 両エンコーダ (DE) とクロスエンコーダ (CE) の2種類の教師モデルから, 95～97%の教師性能を維持できる1/10の非対称な学生への蒸留に成功した。
  論文  参考訳（メタデータ） (2023-01-27T22:04:37Z)
• ERNIE-Search: Bridging Cross-Encoder with Dual-Encoder via Self On-the-fly Distillation for Dense Passage Retrieval [54.54667085792404]
  両エンコーダのクロスアーキテクチャ蒸留を著しく向上させる新しい蒸留法を提案する。 本手法は,バニラ二重エンコーダへの遅延相互作用(ColBERT)を効果的に蒸留できる自己オンザフライ蒸留法を導入し,また,クロスエンコーダの教師による性能向上のためにカスケード蒸留プロセスを導入している。
  論文  参考訳（メタデータ） (2022-05-18T18:05:13Z)
• On Self-Distilling Graph Neural Network [64.00508355508106]
  GNN自己蒸留(GNN-SD)と呼ばれるGNNに対する教師なし知識蒸留法を提案する。 本手法は, 組込みグラフの非平滑性を効率よく定量化する, 提案した近傍不一致率(NDR)に基づいて構築する。 また、他の蒸留戦略の誘導に活用できる汎用的なGNN-SDフレームワークについても要約する。
  論文  参考訳（メタデータ） (2020-11-04T12:29:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。