論文の概要: PLUM: Adapting Pre-trained Language Models for Industrial-scale Generative Recommendations

• arxiv url: http://arxiv.org/abs/2510.07784v1
• Date: Thu, 09 Oct 2025 05:01:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-10 17:54:14.869919
• Title: PLUM: Adapting Pre-trained Language Models for Industrial-scale Generative Recommendations
• Title（参考訳）: PLUM:産業規模のジェネレーティブレコメンデーションに事前学習言語モデルを適用する
• Authors: Ruining He, Lukasz Heldt, Lichan Hong, Raghunandan Keshavan, Shifan Mao, Nikhil Mehta, Zhengyang Su, Alicia Tsai, Yueqi Wang, Shao-Chuan Wang, Xinyang Yi, Lexi Baugher, Baykal Cakici, Ed Chi, Cristos Goodrow, Ningren Han, He Ma, Romer Rosales, Abby Van Soest, Devansh Tandon, Su-Lin Wu, Weilong Yang, Yilin Zheng,
• Abstract要約: PLUMは,産業規模のレコメンデーションタスクに事前訓練された大規模言語モデルを適用するために設計されたフレームワークである。 PLUMは、セマンティックIDを使用したアイテムトークン化、ドメイン固有のデータに対する継続事前トレーニング(CPT)、推奨目的のためのタスク固有の微調整で構成されている。 そこでは,ユーザコンテキストに基づいて推奨項目のセマンティックIDを生成するために,モデルを直接訓練する。
• 参考スコア（独自算出の注目度）: 8.96024282226161
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) pose a new paradigm of modeling and computation for information tasks. Recommendation systems are a critical application domain poised to benefit significantly from the sequence modeling capabilities and world knowledge inherent in these large models. In this paper, we introduce PLUM, a framework designed to adapt pre-trained LLMs for industry-scale recommendation tasks. PLUM consists of item tokenization using Semantic IDs, continued pre-training (CPT) on domain-specific data, and task-specific fine-tuning for recommendation objectives. For fine-tuning, we focus particularly on generative retrieval, where the model is directly trained to generate Semantic IDs of recommended items based on user context. We conduct comprehensive experiments on large-scale internal video recommendation datasets. Our results demonstrate that PLUM achieves substantial improvements for retrieval compared to a heavily-optimized production model built with large embedding tables. We also present a scaling study for the model's retrieval performance, our learnings about CPT, a few enhancements to Semantic IDs, along with an overview of the training and inference methods that enable launching this framework to billions of users in YouTube.
• Abstract（参考訳）: 大規模言語モデル(LLM)は情報処理のモデリングと計算の新しいパラダイムを提供する。 勧告システム(Recommendation system)は、これらの大規模モデルに固有のシーケンスモデリング機能と世界知識から大きな恩恵を受けることができる重要なアプリケーションドメインである。 本稿では,業界規模のレコメンデーションタスクに事前学習LLMを適用するためのフレームワークであるPLUMを紹介する。 PLUMは、セマンティックIDを使用したアイテムトークン化、ドメイン固有のデータに対する継続事前トレーニング(CPT)、推奨目的のためのタスク固有の微調整で構成されている。 そこでは,ユーザコンテキストに基づいて推奨項目のセマンティックIDを生成するために,モデルを直接訓練する。 大規模内部ビデオレコメンデーションデータセットの総合的な実験を行う。 その結果,PLUMは大規模埋込テーブルを組み込んだ高最適化生産モデルと比較して,大幅な検索精度の向上を実現していることがわかった。 また、モデルの検索性能、CPTに関する学習、セマンティックIDのいくつかの拡張、YouTubeの数十億のユーザーにこのフレームワークをローンチするためのトレーニングと推論の方法の概要についても紹介する。

関連論文リスト

• Large Language Model as Universal Retriever in Industrial-Scale Recommender System [27.58251380192748]
  本稿では,Large Language Models (LLM) が汎用検索として機能し,生成検索フレームワーク内で複数の目的を処理可能であることを示す。 また,モデルの学習性,識別性,伝達性を向上させるために行列分解を導入する。 我々のUniversal Retrieval Model(URM)は、数千万の候補の計算から適応的に集合を生成することができる。
  論文  参考訳（メタデータ） (2025-02-05T09:56:52Z)
• SELF: Surrogate-light Feature Selection with Large Language Models in Deep Recommender Systems [51.09233156090496]
  ディープレコメンデータシステムのためのSurrogatE-Light特徴選択法 SELFは、大規模言語モデルからのセマンティック推論と、代理モデルからのタスク固有の学習を統合する。 実世界のレコメンデータプラットフォームからの3つの公開データセットに関する総合的な実験は、SELFの有効性を検証する。
  論文  参考訳（メタデータ） (2024-12-11T16:28:18Z)
• Scaling New Frontiers: Insights into Large Recommendation Models [74.77410470984168]
  MetaのジェネレーティブレコメンデーションモデルHSTUは、パラメータを数千億に拡張することでレコメンデーションシステムのスケーリング法則を説明している。 我々は、これらのスケーリング法則の起源を探るため、包括的なアブレーション研究を行っている。 大規模なレコメンデーションモデルの今後の方向性に関する洞察を提供する。
  論文  参考訳（メタデータ） (2024-12-01T07:27:20Z)
• Learning Semantic Proxies from Visual Prompts for Parameter-Efficient Fine-Tuning in Deep Metric Learning [13.964106147449051]
  既存のソリューションは、既存の画像データセット上でトレーニング済みのモデルを微調整することに集中している。 我々は、事前学習された視覚変換器(ViT)における視覚プロンプト(VPT)の学習に基づく、新しい効果的なフレームワークを提案する。 セマンティック情報を用いた新しい近似が代表的能力よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-02-04T04:42:05Z)
• ReLLa: Retrieval-enhanced Large Language Models for Lifelong Sequential Behavior Comprehension in Recommendation [43.270424225285105]
  ゼロショットと少数ショットのレコメンデーションタスクのために、純粋に大きな言語モデルを適応し、強化することに重点を置いています。 ゼロショット設定と少数ショット設定の両方でレコメンデーションタスクを行うRetrieval-enhanced Large Language Model (ReLLa)を提案する。
  論文  参考訳（メタデータ） (2023-08-22T02:25:04Z)
• A Survey on Large Language Models for Recommendation [77.91673633328148]
  大規模言語モデル(LLM)は自然言語処理(NLP)の分野で強力なツールとして登場した。 本調査では,これらのモデルを2つの主要なパラダイム(DLLM4Rec)とジェネレーティブLSM4Rec(GLLM4Rec)に分類する。
  論文  参考訳（メタデータ） (2023-05-31T13:51:26Z)
• Developing a Recommendation Benchmark for MLPerf Training and Inference [16.471395965484145]
  我々は、Theerferf Training and Inference Suitesの業界関連レコメンデーションベンチマークを定義することを目指している。 本稿では、パーソナライズされたレコメンデーションシステムのための望ましいモデリング戦略を合成する。 我々はレコメンデーションモデルアーキテクチャとデータセットの望ましい特徴を概説する。
  論文  参考訳（メタデータ） (2020-03-16T17:13:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。