論文の概要: Unlocking Scaling Law in Industrial Recommendation Systems with a Three-step Paradigm based Large User Model

• arxiv url: http://arxiv.org/abs/2502.08309v1
• Date: Wed, 12 Feb 2025 11:23:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-13 13:44:21.799766
• Title: Unlocking Scaling Law in Industrial Recommendation Systems with a Three-step Paradigm based Large User Model
• Title（参考訳）: 3段階のパラダイムに基づく大規模ユーザモデルによる産業推薦システムのアンロックスケーリング法則
• Authors: Bencheng Yan, Shilei Liu, Zhiyuan Zeng, Zihao Wang, Yizhen Zhang, Yujin Yuan, Langming Liu, Jiaqi Liu, Di Wang, Wenbo Su, Wang Pengjie, Jian Xu, Bo Zheng,
• Abstract要約: 我々は,大規模ユーザモデル(LUM)を導入し,産業環境の厳しい要件を満たすとともに,スケーラブルなレコメンデーションの可能性を開放する。 LUMは優れたスケーラビリティを示し、モデルが70億のパラメータにスケールするにつれてパフォーマンスが向上する。 我々はLUMを産業用アプリケーションに導入し、A/Bテストで大きな成果を上げ、その有効性と実用性を検証した。
• 参考スコア（独自算出の注目度）: 37.58316550920225
• License:
• Abstract: Recent advancements in autoregressive Large Language Models (LLMs) have achieved significant milestones, largely attributed to their scalability, often referred to as the "scaling law". Inspired by these achievements, there has been a growing interest in adapting LLMs for Recommendation Systems (RecSys) by reformulating RecSys tasks into generative problems. However, these End-to-End Generative Recommendation (E2E-GR) methods tend to prioritize idealized goals, often at the expense of the practical advantages offered by traditional Deep Learning based Recommendation Models (DLRMs) in terms of in features, architecture, and practices. This disparity between idealized goals and practical needs introduces several challenges and limitations, locking the scaling law in industrial RecSys. In this paper, we introduce a large user model (LUM) that addresses these limitations through a three-step paradigm, designed to meet the stringent requirements of industrial settings while unlocking the potential for scalable recommendations. Our extensive experimental evaluations demonstrate that LUM outperforms both state-of-the-art DLRMs and E2E-GR approaches. Notably, LUM exhibits excellent scalability, with performance improvements observed as the model scales up to 7 billion parameters. Additionally, we have successfully deployed LUM in an industrial application, where it achieved significant gains in an A/B test, further validating its effectiveness and practicality.
• Abstract（参考訳）: 近年の自己回帰型大規模言語モデル(LLM)の進歩は、その拡張性に起因する重要なマイルストーンを達成しており、しばしば「スケーリング法則」と呼ばれる。 これらの成果に触発されて、レコメンデーション・システム(RecSys)のタスクを生成問題に再構成することで、LLMをレコメンデーション・システム(RecSys)に適用することへの関心が高まっている。 しかしながら、これらのエンドツーエンド生成レコメンデーション(E2E-GR)手法は、しばしば機能、アーキテクチャ、プラクティスの観点から、従来のディープラーニングベースのレコメンデーションモデル(DLRM)が提供する実用的な利点を犠牲にして、理想化された目標を優先する傾向にある。 この理想化された目標と実践的なニーズの相違は、いくつかの課題と制限をもたらし、産業RecSysにおけるスケーリング法則をロックする。 本稿では,これらの制約に対処する大規模ユーザモデル(LUM)を,スケーラブルなレコメンデーションの可能性を確保しつつ,産業環境の厳格な要件を満たすために設計した3段階のパラダイムを用いて導入する。 実験により,LUMはDLRMとE2E-GRの両手法より優れていることが示された。 特に、LUMは優れたスケーラビリティを示し、モデルが70億のパラメータにスケールするにつれて、パフォーマンスが改善されている。 さらに,LUMを産業用アプリケーションに導入し,A/Bテストで大きな成果を上げ,その有効性と実用性を検証した。

関連論文リスト

• Efficient AI in Practice: Training and Deployment of Efficient LLMs for Industry Applications [22.053978157017877]
  本稿では,SLM(Small Language Model)を訓練する手法と知見について述べる。 本研究では,(1) 知識蒸留と(2) 量子化とプルーニングによるモデル圧縮の2つの重要な技術に焦点をあてる。 大規模なプロフェッショナルなソーシャルネットワークプラットフォームにおけるさまざまなユースケースに対するこれらのテクニックの影響を詳述し、デプロイメントのレッスンを共有します。
  論文  参考訳（メタデータ） (2025-02-20T06:40:12Z)
• The Dual-use Dilemma in LLMs: Do Empowering Ethical Capacities Make a Degraded Utility? [54.18519360412294]
  大きな言語モデル(LLM)は、安全のための有害な要求を拒否することと、ユーティリティのための正当な要求を収容することのバランスをとる必要がある。 本稿では,DPO(Direct Preference Optimization)に基づくアライメントフレームワークを提案する。 得られたモデルLibraChemは,Claude-3,GPT-4o,LLaMA-3などのLLMをそれぞれ13.44%,7.16%,7.10%で上回った。
  論文  参考訳（メタデータ） (2025-01-20T06:35:01Z)
• Adaptive Pruning for Large Language Models with Structural Importance Awareness [66.2690963378878]
  大規模言語モデル(LLM)は言語理解と生成能力を大幅に改善した。 LLMは、高い計算およびストレージリソース要求のため、リソース制約のあるエッジデバイスにデプロイするのは難しい。 モデル性能を維持しつつ,計算コストとメモリコストを大幅に削減する構造的適応型プルーニング(SAAP)を提案する。
  論文  参考訳（メタデータ） (2024-12-19T18:08:04Z)
• Scaling New Frontiers: Insights into Large Recommendation Models [74.77410470984168]
  MetaのジェネレーティブレコメンデーションモデルHSTUは、パラメータを数千億に拡張することでレコメンデーションシステムのスケーリング法則を説明している。 我々は、これらのスケーリング法則の起源を探るため、包括的なアブレーション研究を行っている。 大規模なレコメンデーションモデルの今後の方向性に関する洞察を提供する。
  論文  参考訳（メタデータ） (2024-12-01T07:27:20Z)
• HLLM: Enhancing Sequential Recommendations via Hierarchical Large Language Models for Item and User Modeling [21.495443162191332]
  大規模言語モデル(LLM)は様々な分野で顕著な成功を収めており、いくつかの研究がレコメンデーションシステムにおいてその可能性を探求している。 逐次レコメンデーションシステムを強化するために,新しい階層型大規模言語モデル (HLLM) アーキテクチャを提案する。 HLLMは,項目特徴抽出とユーザ関心モデリングの両方に 7B パラメータを利用する構成で,優れたスケーラビリティを実現している。
  論文  参考訳（メタデータ） (2024-09-19T13:03:07Z)
• Lifelong Personalized Low-Rank Adaptation of Large Language Models for Recommendation [50.837277466987345]
  我々は、推奨のために大規模言語モデル(LLM)の分野に焦点を当てる。 ユーザ毎に独立したLoRAを管理するPersonalized LoRAモジュールを組み込んだRecLoRAを提案する。 また、Few2Many Learning Strategyを設計し、従来のレコメンデーションモデルをレンズとして使用して、小さなトレーニングスペースをフルスペースに拡大する。
  論文  参考訳（メタデータ） (2024-08-07T04:20:28Z)
• MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
  大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。 本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。 メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
  論文  参考訳（メタデータ） (2024-06-20T03:50:23Z)
• Improving Sequential Recommendations with LLMs [8.819438328085925]
  大規模言語モデル(LLM)は、シーケンシャルなレコメンデーションアプローチの構築や改善に使用することができる。 我々は3つのデータセットについて広範囲に実験を行い、それぞれのアプローチの性能を網羅した画像を得る。
  論文  参考訳（メタデータ） (2024-02-02T11:52:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。