論文の概要: HiGenTrans: Hierarchical LLM Knowledge Transfer for Generative Recommendation
- arxiv url: http://arxiv.org/abs/2611.01129v1
- Date: Sat, 31 Oct 2026 17:19:23 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-03 19:49:01.525877
- Title: HiGenTrans: Hierarchical LLM Knowledge Transfer for Generative Recommendation
- Title（参考訳）: HiGenTrans: ジェネレーティブレコメンデーションのための階層的LLM知識伝達
- Abstract要約: ジェネレーティブレコメンデーションは、アイテムセマンティックID(SID)を自動回帰的に生成することで、従来のマルチステージレコメンデーションシステムを単純化することを約束する。
相互作用のみの監督は、事前訓練された言語モデルで符号化された意味知識をアンダーユースし、ビームサーチはアイテムの関連性を直接推定するのではなくトークンシーケンスをランク付けする。
入力,表現,決定のレベルでLLMの知識を導入する3段階のフレームワークであるHiGenTransを提案する。
- 参考スコア（独自算出の注目度）: 34.69455308535454
- License:
- Abstract: Generative recommendation promises to simplify conventional multi-stage recommender systems by generating item Semantic IDs (SIDs) autoregressively. However, two obstacles limit its effective- ness in industrial settings: interaction-only supervision underuses the semantic knowledge encoded in pretrained language models, while beam-search likelihood ranks token sequences rather than directly estimating item relevance. To address these limitations, we propose HiGenTrans, a three-level framework that introduces LLM knowledge at the input, representation, and decision levels. First, Global Semantic Priming (GSP) adds an LLM-derived user representation to the beginning-of-sequence embedding, provid- ing a semantic prior before SID generation. Second, Hierarchi- cal Representation Transfer (HRT) aligns intermediate LLM representations with depth-matched GenRec layers through mean- centered projections and gated residual connections. Finally, Multi- Signal Decision Calibration (MDC) uses a lightweight mixture- of-experts calibrator to combine semantic relevance, generation confidence, and candidate-set context when reranking beam-search outputs. All semantic features are computed only from the observ- able interaction prefix, preventing target leakage, and can be cached offline. Experiments on three public benchmarks show that HiGen- Trans improves Recall@10 by up to 12.9% and NDCG@10 by up to 33.7% over the strongest baselines. These results demonstrate the value of transferring LLM knowledge at complementary stages of the generative recommendation pipeline.
- Abstract（参考訳）: ジェネレーティブレコメンデーションは、アイテムセマンティックID(SID)を自動回帰的に生成することで、従来のマルチステージレコメンデーションシステムを単純化することを約束する。
しかし、2つの障害は、産業環境における有効性を制限する: 相互作用のみの監督は、事前訓練された言語モデルで符号化された意味知識をアンダーユースし、一方、ビームサーチはアイテム関連を直接推定するのではなくトークンシーケンスをランク付けする。
これらの制約に対処するために,入力,表現,決定のレベルでLLMの知識を導入する3段階のフレームワークであるHiGenTransを提案する。
まず、GSP(Global Semantic Priming)は、SID生成の前にセマンティックをプロビデンスに組み込んだ、LLMから派生したユーザ表現を付加する。
第2に、Hierarchi-cal Representation Transfer (HRT)は、平均中心投影とゲート残差接続を通じて、中間LLM表現を深さマッチングされたGenRec層と整列する。
最後に、MDC(Multi-Sign Decision Calibration)は、ビームサーチ出力を再評価する際に、セマンティック関連性、生成信頼度、および候補セットコンテキストを組み合わせるために、軽量なミックス・オブ・エキスパート・キャリブレータを使用する。
すべてのセマンティック機能は、オブザーバ対応のインタラクションプレフィックスからのみ計算され、ターゲットのリークを防止し、オフラインでキャッシュできる。
3つの公開ベンチマークの実験では、HiGen-TransはRecall@10を最大12.9%改善し、NDCG@10を最大33.7%改善した。
これらの結果は、生成レコメンデーションパイプラインの相補的な段階におけるLLM知識の伝達の価値を示す。
関連論文リスト
- InsightSR: Refining Symbolic Regression Search Spaces via Parallel Semantic and Structural LLM Guidance [8.272456038469484]
シンボリック回帰は、観測データから同義的な数学的法則を発見しようとする。
我々は、PySRの遺伝的プログラミングエンジンを中心としたガイドレイヤーとして、LLM(Large Language Models)イテレーションを組み込むフレームワークであるInsightSRを紹介する。
論文 参考訳（メタデータ） (2026-08-26T02:04:20Z) - Latent Abstraction for Retrieval-Augmented Generation [4.6096940605642915]
既存のシステムは各ホップで自然言語クエリを生成することに依存している。
我々は,単一のLLMが符号化,検索,生成を同時に行う統一的なフレームワークである textbfLAnR (Latent Abstraction for RAG) を提案する。
論文 参考訳（メタデータ） (2026-04-20T06:26:13Z) - Empowering Contrastive Federated Sequential Recommendation with LLMs [13.016120865205258]
フェデレートシーケンシャルレコメンデーション(FedSeqRec)は、ユーザのデータを分散化しながら、次のイテム予測を実行することを目的としている。
パラメータ分離型FedSeqRecアーキテクチャである textbfLUMOS を提案する。
論文 参考訳（メタデータ） (2026-02-10T00:47:43Z) - Reasoning with Confidence: Efficient Verification of LLM Reasoning Steps via Uncertainty Heads [104.9566359759396]
データ駆動の不確実性スコアに基づくステップレベルの推論検証の軽量な代替案を提案する。
本研究は, LLMの内部状態が不確実性を符号化し, 信頼性の高い検証信号として機能することが示唆された。
論文 参考訳（メタデータ） (2025-11-09T03:38:29Z) - Reference-Aligned Retrieval-Augmented Question Answering over Heterogeneous Proprietary Documents [8.931959753296635]
本稿では,自動車業界を対象とした内部質問応答システムを提案する。
データパイプラインは、生のマルチモーダルドキュメントを構造化コーパスとQAペアに変換し、完全にオンプレミスのプライバシ保護アーキテクチャを提供する。
我々のシステムは、非RAGベースライン上での事実正しさ(+1.79, +1.94)、情報正しさ(+1.33, +1.16)、有用性(+1.08, +1.67)を改善する。
論文 参考訳（メタデータ） (2025-02-26T22:20:08Z) - LLM-Lasso: A Robust Framework for Domain-Informed Feature Selection and Regularization [59.75242204923353]
LLM-Lassoは大規模言語モデル(LLM)を利用してラッソ回帰における特徴選択を導くフレームワークである。
LLMは各特徴に対してペナルティ因子を生成し、単純でチューニング可能なモデルを用いてラスソペナルティの重みに変換される。
LLMによりより関連づけられた特徴は、より低い罰を受け、最終モデルに保持される可能性を高める。
論文 参考訳（メタデータ） (2025-02-15T02:55:22Z) - Unleash LLMs Potential for Recommendation by Coordinating Twin-Tower Dynamic Semantic Token Generator [60.07198935747619]
動的セマンティック・インデックス・パラダイムを採用した最初の生成型RSであるTTDS(Twin-Tower Dynamic Semantic Recommender)を提案する。
より具体的には、ツイン・トワー・セマンティック・トークン・ジェネレータをLLMベースのレコメンデータに統合する動的知識融合フレームワークを初めて提案する。
提案したTTDSレコメンデータは,平均19.41%のヒットレート,20.84%のNDCG測定値を実現している。
論文 参考訳（メタデータ） (2024-09-14T01:45:04Z) - Learnable Item Tokenization for Generative Recommendation [113.80559032128065]
LETTER (Larnable Tokenizer for generaTivE Recommendation) を提案する。
LETTERは、セマンティック正規化のためのResidual Quantized VAE、協調正規化のためのコントラストアライメント損失、コードの割り当てバイアスを軽減するための多様性損失を組み込んでいる。
論文 参考訳（メタデータ） (2024-05-12T15:49:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。