論文の概要: FilterLLM: Text-To-Distribution LLM for Billion-Scale Cold-Start Recommendation

• arxiv url: http://arxiv.org/abs/2502.16924v1
• Date: Mon, 24 Feb 2025 07:31:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-25 15:51:33.669091
• Title: FilterLLM: Text-To-Distribution LLM for Billion-Scale Cold-Start Recommendation
• Title（参考訳）: FilterLLM:数十億ドル規模のコールドスタートレコメンデーションのためのテキスト・ツー・ディストリビューションLLM
• Authors: Ruochen Liu, Hao Chen, Yuanchen Bei, Zheyu Zhou, Lijia Chen, Qijie Shen, Feiran Huang, Fakhri Karray, Senzhang Wang,
• Abstract要約: FilterLLMは、LLMの次のワード予測機能を数十億規模のフィルタリングタスクに拡張するフレームワークである。 コールドスタートレコメンデーションタスクでは最先端の手法を著しく上回り、効率は30倍以上に向上する。
• 参考スコア（独自算出の注目度）: 21.37711807421513
• License:
• Abstract: Large Language Model (LLM)-based cold-start recommendation systems continue to face significant computational challenges in billion-scale scenarios, as they follow a "Text-to-Judgment" paradigm. This approach processes user-item content pairs as input and evaluates each pair iteratively. To maintain efficiency, existing methods rely on pre-filtering a small candidate pool of user-item pairs. However, this severely limits the inferential capabilities of LLMs by reducing their scope to only a few hundred pre-filtered candidates. To overcome this limitation, we propose a novel "Text-to-Distribution" paradigm, which predicts an item's interaction probability distribution for the entire user set in a single inference. Specifically, we present FilterLLM, a framework that extends the next-word prediction capabilities of LLMs to billion-scale filtering tasks. FilterLLM first introduces a tailored distribution prediction and cold-start framework. Next, FilterLLM incorporates an efficient user-vocabulary structure to train and store the embeddings of billion-scale users. Finally, we detail the training objectives for both distribution prediction and user-vocabulary construction. The proposed framework has been deployed on the Alibaba platform, where it has been serving cold-start recommendations for two months, processing over one billion cold items. Extensive experiments demonstrate that FilterLLM significantly outperforms state-of-the-art methods in cold-start recommendation tasks, achieving over 30 times higher efficiency. Furthermore, an online A/B test validates its effectiveness in billion-scale recommendation systems.
• Abstract（参考訳）: 大規模言語モデル(LLM)ベースのコールドスタートレコメンデーションシステムは、"Text-to-Judgment"パラダイムに従って、数十億のシナリオにおいて重要な計算上の課題に直面し続けている。 このアプローチは、ユーザ-イテムのコンテンツペアを入力として処理し、各ペアを反復的に評価する。 効率を維持するために、既存の手法は、ユーザとイテムのペアの小さな候補プールを事前フィルタリングすることに依存している。 しかし、このことはLLMの推論能力を大幅に制限し、その範囲を数百の事前フィルタ候補に限定する。 この制限を克服するために、単一推論でユーザ集合全体のインタラクション確率分布を予測する新しい"Text-to-Distribution"パラダイムを提案する。 具体的には,LLMの次単語予測機能を10億件のフィルタリングタスクに拡張するフレームワークであるFilterLLMを提案する。 FilterLLMは最初、カスタマイズされた分散予測とコールドスタートフレームワークを導入した。 次に、FilterLLMは効率的なユーザ語彙構造を導入し、数十億規模のユーザの埋め込みをトレーニングし、保存する。 最後に,分布予測とユーザ語彙構築のための学習目標について詳述する。 提案されたフレームワークはAlibabaプラットフォームにデプロイされ、コールドスタートのレコメンデーションを2ヶ月間提供し、10億以上のコールドアイテムを処理している。 大規模な実験により、FilterLLMはコールドスタートレコメンデーションタスクにおいて最先端の手法を著しく上回り、効率を30倍以上に向上することが示された。 さらに、オンラインA/Bテストは、数十億規模のレコメンデーションシステムでの有効性を検証する。

関連論文リスト

• FR-Spec: Accelerating Large-Vocabulary Language Models via Frequency-Ranked Speculative Sampling [59.8051705468084]
  投機的サンプリングは,大規模言語モデルの自己回帰生成プロセスを促進する重要な手法として登場した。 本稿では、語彙空間圧縮によるドラフト候補選択を最適化する周波数ランクの投機的サンプリングフレームワークFR-Specを提案する。
  論文  参考訳（メタデータ） (2025-02-20T18:58:10Z)
• Self-Calibrated Listwise Reranking with Large Language Models [137.6557607279876]
  大規模言語モデル (LLM) はシーケンシャル・ツー・シーケンス・アプローチによってタスクのランク付けに使用されている。 この階調のパラダイムは、より大きな候補集合を反復的に扱うためにスライディングウインドウ戦略を必要とする。 そこで本稿では,LLMを用いた自己校正リストのランク付け手法を提案する。
  論文  参考訳（メタデータ） (2024-11-07T10:31:31Z)
• Improved Diversity-Promoting Collaborative Metric Learning for Recommendation [127.08043409083687]
  CML(Collaborative Metric Learning)は、リコメンデーションシステムにおいて人気のある手法として最近登場した。 本稿では,ユーザが複数のカテゴリの関心を持つ,困難なシナリオに焦点をあてる。 textitDiversity-Promoting Collaborative Metric Learning (DPCML) と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-09-02T07:44:48Z)
• Graph-Structured Speculative Decoding [52.94367724136063]
  投機的復号化は、大規模言語モデルの推論を加速する有望な手法として登場した。 本稿では, 有向非巡回グラフ(DAG)を応用して, 起案された仮説を管理する革新的な手法を提案する。 我々は1.73$times$から1.96$times$に顕著なスピードアップを観察し、標準投機的復号法を大幅に上回った。
  論文  参考訳（メタデータ） (2024-07-23T06:21:24Z)
• Filtered not Mixed: Stochastic Filtering-Based Online Gating for Mixture of Large Language Models [18.368001176275364]
  MoE-Fは、オンライン時系列予測に$N$事前訓練された大規模言語モデル(LLM)を組み合わせるための形式化されたメカニズムである。 我々のメカニズムは,各専門家のランニング性能の条件情報を利用して,次のステップで時系列を予測するためのLLMの最適な組み合わせを予測する。
  論文  参考訳（メタデータ） (2024-06-05T05:53:50Z)
• Large Language Models meet Collaborative Filtering: An Efficient All-round LLM-based Recommender System [19.8986219047121]
  協調フィルタリング推薦システム (CF-RecSys) は, ソーシャルメディアやeコマースプラットフォーム上でのユーザエクスペリエンス向上に成功している。 近年の戦略は、事前訓練されたモダリティエンコーダと大規模言語モデルに基づくユーザ/イテムのモダリティ情報の活用に重点を置いている。 コールドシナリオだけでなく、ウォームシナリオにおいても優れたA-LLMRecと呼ばれる全周LCMベースのレコメンダシステムを提案する。
  論文  参考訳（メタデータ） (2024-04-17T13:03:07Z)
• Large Language Model Simulator for Cold-Start Recommendation [45.34030399042562]
  コールドアイテムはコンテンツ機能のみに依存し、レコメンデーションパフォーマンスを制限し、ユーザーエクスペリエンスと収益に影響を与える。 現在のモデルは、コンテンツ機能から合成行動埋め込みを生成するが、主要な問題、すなわち過去の行動データがないことに対処できない。 寒冷品のユーザインタラクションをシミュレートするために,大規模言語モデルを活用する LLM Simulator フレームワークを導入する。
  論文  参考訳（メタデータ） (2024-02-14T13:45:06Z)
• The Minority Matters: A Diversity-Promoting Collaborative Metric Learning Algorithm [154.47590401735323]
  CML(Collaborative Metric Learning)は、リコメンデーションシステムにおいて人気のある手法として最近登場した。 本稿では,ユーザが複数のカテゴリの関心を持つ,困難なシナリオに焦点をあてる。 textitDiversity-Promoting Collaborative Metric Learning (DPCML) と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-09-30T08:02:18Z)
• Identifying Untrustworthy Samples: Data Filtering for Open-domain Dialogues with Bayesian Optimization [28.22184410167622]
  オープンドメイン対話のためのデータフィルタリング手法を提案する。 トレーニングサンプルを品質基準で評価し、下位順にソートし、下位でそれらをフィルタリングします。 2つのデータセットに対する実験結果から,本手法は信頼できないサンプルを効果的に同定できることが示唆された。
  論文  参考訳（メタデータ） (2021-09-14T06:42:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。