論文の概要: Could Small Language Models Serve as Recommenders? Towards Data-centric Cold-start Recommendations

• arxiv url: http://arxiv.org/abs/2306.17256v5
• Date: Mon, 4 Mar 2024 21:14:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-07 03:05:44.292812
• Title: Could Small Language Models Serve as Recommenders? Towards Data-centric Cold-start Recommendations
• Title（参考訳）: 小さな言語モデルはレコメンダとして役立つか? データ中心のコールドスタートレコメンデーションに向けて
• Authors: Xuansheng Wu, Huachi Zhou, Yucheng Shi, Wenlin Yao, Xiao Huang, Ninghao Liu
• Abstract要約: 本稿では,言語モデルの文脈内学習に基づくシンプルだが効果的なアプローチであるPromptRecを提案する。 本稿では,データ中心パイプラインを用いたレコメンデータシステムのための小型言語モデルを提案する。 私たちの知る限りでは、システムコールドスタートレコメンデーション問題に取り組む最初の研究である。
• 参考スコア（独自算出の注目度）: 38.91330250981614
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Recommendation systems help users find matched items based on their previous behaviors. Personalized recommendation becomes challenging in the absence of historical user-item interactions, a practical problem for startups known as the system cold-start recommendation. While existing research addresses cold-start issues for either users or items, we still lack solutions for system cold-start scenarios. To tackle the problem, we propose PromptRec, a simple but effective approach based on in-context learning of language models, where we transform the recommendation task into the sentiment analysis task on natural language containing user and item profiles. However, this naive approach heavily relies on the strong in-context learning ability emerged from large language models, which could suffer from significant latency for online recommendations. To solve the challenge, we propose to enhance small language models for recommender systems with a data-centric pipeline, which consists of: (1) constructing a refined corpus for model pre-training; (2) constructing a decomposed prompt template via prompt pre-training. They correspond to the development of training data and inference data, respectively. The pipeline is supported by a theoretical framework that formalizes the connection between in-context recommendation and language modeling. To evaluate our approach, we introduce a cold-start recommendation benchmark, and the results demonstrate that the enhanced small language models can achieve comparable cold-start recommendation performance to that of large models with only $17\%$ of the inference time. To the best of our knowledge, this is the first study to tackle the system cold-start recommendation problem. We believe our findings will provide valuable insights for future works. The benchmark and implementations are available at https://github.com/JacksonWuxs/PromptRec.
• Abstract（参考訳）: 推薦システムは、ユーザが以前の行動に基づいてマッチしたアイテムを見つけるのに役立つ。 パーソナライズされたレコメンデーションは、システムコールドスタートレコメンデーションとして知られるスタートアップにとって実践的な問題である、歴史的なユーザとイテムの相互作用が欠如している場合に困難になる。 既存の研究ではユーザまたはアイテムのコールドスタートの問題を扱っていますが、システムコールドスタートのシナリオにはソリューションが不足しています。 本稿では,言語モデルの文脈内学習に基づくシンプルかつ効果的なアプローチであるPromptRecを提案し,ユーザとアイテムプロファイルを含む自然言語上での感情分析タスクに推奨タスクを変換する。 しかし、この単純なアプローチは、大規模な言語モデルから生まれる強力なコンテキスト内学習能力に大きく依存しており、オンラインレコメンデーションにかなりの遅延が生じる可能性がある。 そこで本研究では,(1)モデル事前学習のための洗練されたコーパスを構築すること,(2)プロンプト事前学習による分解プロンプトテンプレートを構築すること,からなる,データ中心パイプラインを用いたレコメンダシステムのための小型言語モデルを提案する。 これらはそれぞれ、トレーニングデータと推論データの開発に対応する。 パイプラインは、コンテキスト内のレコメンデーションと言語モデリングの間の接続を形式化する理論的フレームワークによってサポートされている。 提案手法を評価するため,提案手法は冷間開始推奨ベンチマークを導入し,拡張された小型言語モデルにより,推定時間17.%の大規模モデルに匹敵する冷間開始推奨性能が得られることを示した。 私たちの知る限りでは、システムコールドスタートレコメンデーション問題に取り組む最初の研究である。 我々の発見は今後の研究に貴重な洞察をもたらすだろう。 ベンチマークと実装はhttps://github.com/JacksonWuxs/PromptRec.comで公開されている。

関連論文リスト

• Language-Model Prior Overcomes Cold-Start Items [14.370472820496802]
  RecSysの成長は、デジタル化と、eコマースやビデオストリーミングなどの分野におけるパーソナライズされたコンテンツの必要性による。 コンテンツベースのレコメンデータやハイブリッドメソッドといったコールドスタート問題の既存のソリューションは、アイテムメタデータを活用してアイテムの類似性を決定する。 本稿では,言語モデル(LM)を用いて項目類似度を推定する,コールドスタートアイテムレコメンデーションのための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2024-11-13T22:45:52Z)
• Pre-trained Language Model and Knowledge Distillation for Lightweight Sequential Recommendation [51.25461871988366]
  本稿では,事前学習言語モデルと知識蒸留に基づく逐次推薦アルゴリズムを提案する。 提案アルゴリズムは,推薦精度を高め,タイムリーな推薦サービスを提供する。
  論文  参考訳（メタデータ） (2024-09-23T08:39:07Z)
• Keyword-driven Retrieval-Augmented Large Language Models for Cold-start User Recommendations [5.374800961359305]
  コールドスタートユーザレストランレコメンデーションの問題に対処するフレームワークであるKALM4Recを紹介する。 KALM4Recは、候補検索とLLMベースの候補の再ランクの2つの主要な段階で動作する。 Yelpのレストランデータセットを用いて、英語圏の3都市からのユーザレビューを行い、提案したフレームワークが推奨品質を大幅に改善することを示す。
  論文  参考訳（メタデータ） (2024-05-30T02:00:03Z)
• Large Language Model Augmented Narrative Driven Recommendations [51.77271767160573]
  ナラティブ・ドリブン・レコメンデーション(NDR)は、ユーザが好みや文脈を冗長に記述してレコメンデーションを募る情報アクセス問題である。 NDRはモデルのための豊富なトレーニングデータがなく、現在のプラットフォームは一般的にこれらの要求をサポートしない。 大規模言語モデル(LLM)を用いてNDRモデルのトレーニングを行う。
  論文  参考訳（メタデータ） (2023-06-04T03:46:45Z)
• Recommendation as Instruction Following: A Large Language Model Empowered Recommendation Approach [83.62750225073341]
  我々は、大規模言語モデル(LLM)による指示としてレコメンデーションを考える。 まず、ユーザの好み、意図、タスクフォーム、コンテキストを自然言語で記述するための一般的な命令形式を設計する。 そして、39の命令テンプレートを手動で設計し、大量のユーザ個人化された命令データを自動的に生成する。
  論文  参考訳（メタデータ） (2023-05-11T17:39:07Z)
• Chain of Hindsight Aligns Language Models with Feedback [62.68665658130472]
  我々は,その極性に関係なく,任意の形式のフィードバックから学習し,最適化が容易な新しい手法であるChain of Hindsightを提案する。 我々は、あらゆる種類のフィードバックを文のシーケンスに変換し、それをモデルを微調整するために使用する。 そうすることで、モデルはフィードバックに基づいて出力を生成するように訓練され、負の属性やエラーを特定し修正する。
  論文  参考訳（メタデータ） (2023-02-06T10:28:16Z)
• GPatch: Patching Graph Neural Networks for Cold-Start Recommendations [20.326139541161194]
  コールドスタートはレコメンデータシステムにおいて不可欠で永続的な問題です。 最先端のソリューションは、コールドスタートと既存のユーザ/イテムの両方のためのハイブリッドモデルのトレーニングに依存しています。 本稿では,2つの別個のコンポーネントを含むGNNベースのフレームワーク(GPatch)を提案する。
  論文  参考訳（メタデータ） (2022-09-25T13:16:39Z)
• Learning to Learn a Cold-start Sequential Recommender [70.5692886883067]
  コールドスタート勧告は、現代のオンラインアプリケーションにおいて緊急の問題である。 メタ学習に基づくコールドスタートシーケンシャルレコメンデーションフレームワークMetaCSRを提案する。 MetaCSRは、通常のユーザの行動から共通のパターンを学ぶ能力を持っている。
  論文  参考訳（メタデータ） (2021-10-18T08:11:24Z)
• Cold-start Sequential Recommendation via Meta Learner [10.491428090228768]
  本研究では,逐次推薦における項目コールドスタート問題を軽減するために,メタラーニングに基づくコールドスタートシーケンシャルレコメンデーションフレームワーク,mecosを提案する。 mecosは限られたインタラクションからユーザの好みを効果的に抽出し、ターゲットのコールドスタートアイテムと潜在的なユーザとのマッチングを学ぶ。
  論文  参考訳（メタデータ） (2020-12-10T05:23:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。