論文の概要: LightLM: A Lightweight Deep and Narrow Language Model for Generative Recommendation

• arxiv url: http://arxiv.org/abs/2310.17488v1
• Date: Thu, 26 Oct 2023 15:44:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-27 19:38:17.085346
• Title: LightLM: A Lightweight Deep and Narrow Language Model for Generative Recommendation
• Title（参考訳）: lightlm: 生成レコメンデーションのための軽量で深層で狭い言語モデル
• Authors: Kai Mei, Yongfeng Zhang
• Abstract要約: LightLMは、生成レコメンデーションのための軽量トランスフォーマーベースの言語モデルである。 LightLMは軽量のディープトランスフォーマーアーキテクチャを導入することでこの問題に対処している。 また,SCI(Spectral Collaborative Indexing)とグラフコラボレーションインデックス(Graph Collaborative Indexing,GCI)という,考案したユーザIDとアイテムIDのインデックス化手法によって,大規模言語モデルよりも高い精度で,より深く狭いトランスフォーマーアーキテクチャを実現することも示す。
• 参考スコア（独自算出の注目度）: 45.00339682494516
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper presents LightLM, a lightweight Transformer-based language model for generative recommendation. While Transformer-based generative modeling has gained importance in various AI sub-fields such as NLP and vision, generative recommendation is still in its infancy due to its unique demand on personalized generative modeling. Existing works on generative recommendation often use NLP-oriented Transformer architectures such as T5, GPT, LLaMA and M6, which are heavy-weight and are not specifically designed for recommendation tasks. LightLM tackles the issue by introducing a light-weight deep and narrow Transformer architecture, which is specifically tailored for direct generation of recommendation items. This structure is especially apt for straightforward generative recommendation and stems from the observation that language model does not have to be too wide for this task, as the input predominantly consists of short tokens that are well-suited for the model's capacity. We also show that our devised user and item ID indexing methods, i.e., Spectral Collaborative Indexing (SCI) and Graph Collaborative Indexing (GCI), enables the deep and narrow Transformer architecture to outperform large-scale language models for recommendation. Besides, to address the hallucination problem of generating items as output, we propose the constrained generation process for generative recommenders. Experiments on real-world datasets show that LightLM outperforms various competitive baselines in terms of both recommendation accuracy and efficiency. The code can be found at https://github.com/dongyuanjushi/LightLM.
• Abstract（参考訳）: 本稿では, 生成レコメンデーションのための軽量トランスフォーマーベース言語モデルLightLMを提案する。 トランスフォーマティブベースの生成モデリングは、nlpやvisionといったさまざまなaiサブフィールドで重要になっているが、パーソナライズされた生成モデリングに対するユニークな需要のために、生成推奨はまだ初期段階にある。 ジェネレーティブレコメンデーションに関する既存の研究では、T5、GPT、LLaMA、M6といったNLP指向のトランスフォーマーアーキテクチャが使われており、これは重く、特にレコメンデーションタスクのために設計されていない。 LightLMは、特にレコメンデーションアイテムの直接生成に適した軽量で細いトランスフォーマーアーキテクチャを導入することで、この問題に対処している。 この構造は、特に直接的な生成的推奨に適しており、入力は主にモデルのキャパシティによく適合する短いトークンで構成されているため、言語モデルがこのタスクに大きすぎる必要はないという観察から生まれたものである。 また,SCI(Spectral Collaborative Indexing)とグラフコラボレーションインデックス(Graph Collaborative Indexing,GCI)という,考案したユーザIDとアイテムIDのインデックス化手法によって,大規模言語モデルよりも高い精度で,より深く狭いトランスフォーマーアーキテクチャを実現することも示す。 また,アイテムを出力として生成する幻覚問題に対処するため,生成推薦者に対して制約付き生成プロセスを提案する。 実世界のデータセットでの実験では、LightLMは推奨精度と効率の両方において、様々な競争ベースラインを上回っている。 コードはhttps://github.com/dongyuanjushi/LightLMにある。

関連論文リスト

• Inductive Generative Recommendation via Retrieval-based Speculation [26.70518822003545]
  生成的レコメンデーション(GR)は、アイテムを個別のトークンにトークン化し、次のトークンを予測として自動回帰的に生成することを学ぶ、新たなパラダイムである。 本稿では,プラグイン・アンド・プレイのフレームワークであるSpecGRを提案する。
  論文  参考訳（メタデータ） (2024-10-03T19:32:32Z)
• Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
  大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。 In-Context Learning (ICL) など。 効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。 下流タスクへのLLM。 我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
  論文  参考訳（メタデータ） (2024-09-30T10:48:20Z)
• Laser: Parameter-Efficient LLM Bi-Tuning for Sequential Recommendation with Collaborative Information [76.62949982303532]
  協調情報を用いた逐次レコメンデーションのためのパラメータ効率の高い大規模言語モデルバイチューニングフレームワーク(Laser)を提案する。 我々のレーザーでは,プレフィックスを用いてユーザと協調的な情報を取り込み,LLMをレコメンデーションタスクに適応させ,サフィックスは言語空間からレコメンデーションスペースへのLLMの出力埋め込みをリコメンデーション項目レコメンデーションスペースに変換する。 M-Formerは軽量なMoEベースのクエリ変換器で、クエリ専門家のセットを使用して、凍結IDベースのシーケンシャルレコメンデータシステムによって符号化された多様なユーザ固有の協調情報を統合する。
  論文  参考訳（メタデータ） (2024-09-03T04:55:03Z)
• PMG : Personalized Multimodal Generation with Large Language Models [20.778869086174137]
  本稿では,大規模言語モデル(LLM)を用いたパーソナライズされたマルチモーダル生成手法を提案する。 2つのデータセットに関する広範な実験を通じて、その応用を実証し、その性能を検証する。 PMGのパーソナライゼーションはLPIPSで最大8%向上し, 生成精度は向上した。
  論文  参考訳（メタデータ） (2024-04-07T03:05:57Z)
• IDGenRec: LLM-RecSys Alignment with Textual ID Learning [48.018397048791115]
  我々は,各項目を一意で簡潔で,意味的にリッチで,プラットフォームに依存しないテキストIDとして表現するIDGenを提案する。 標準実験条件下では,IDGen が既存のモデルを常に上回り,逐次レコメンデーションすることを示す。 その結果、事前訓練された基礎モデルのゼロショット性能は、従来のレコメンデーションモデルに匹敵するか、それ以上に優れていることが示された。
  論文  参考訳（メタデータ） (2024-03-27T21:22:37Z)
• Recommender AI Agent: Integrating Large Language Models for Interactive Recommendations [53.76682562935373]
  我々は,LLMを脳として,レコメンダモデルをツールとして使用する,textbfInteRecAgentという効率的なフレームワークを紹介した。 InteRecAgentは会話レコメンデーションシステムとして満足度を達成し、汎用LLMよりも優れる。
  論文  参考訳（メタデータ） (2023-08-31T07:36:44Z)
• GenRec: Large Language Model for Generative Recommendation [41.22833600362077]
  本稿では,テキストデータに基づく大規模言語モデル(LLM)を用いたレコメンデーションシステムに対する革新的なアプローチを提案する。 GenRecはLLMの理解機能を使ってコンテキストを解釈し、ユーザの好みを学習し、関連するレコメンデーションを生成する。 本研究は,レコメンデーションシステムの領域に革命をもたらす上で,LLMに基づくジェネレーティブレコメンデーションの可能性を明らかにするものである。
  論文  参考訳（メタデータ） (2023-07-02T02:37:07Z)
• Extrapolating Multilingual Understanding Models as Multilingual Generators [82.1355802012414]
  本稿では,多言語理解モデルに統一モデルを得るための生成能力を付与する手法について検討する。 少数の新しいパラメータを持つ多言語ジェネレータにエンコーダを適用するために,textbfSemantic-textbfGuided textbfAlignment-then-Denoising (SGA)アプローチを提案する。
  論文  参考訳（メタデータ） (2023-05-22T15:33:21Z)
• Guiding Large Language Models via Directional Stimulus Prompting [114.84930073977672]
  我々は,特定の所望の出力に対して,ブラックボックス大言語モデル(LLM)を導くための新しいフレームワークであるDirectional Stimulus Promptingを紹介する。 LLMを直接調整するのではなく、小さな調整可能なポリシーモデルを用いて各入力インスタンスに対して補助的な指向性刺激プロンプトを生成する。
  論文  参考訳（メタデータ） (2023-02-22T17:44:15Z)
• N-Grammer: Augmenting Transformers with latent n-grams [35.39961549040385]
  本稿では,テキストシーケンスの離散潜在表現から構築したn-gramでモデルを拡張することにより,統計言語モデリングの文献に触発されたトランスフォーマーアーキテクチャの簡易かつ効果的な変更を提案する。 我々は、C4データセットの言語モデリングにおけるN-GrammerモデルとSuperGLUEデータセットのテキスト分類を評価し、TransformerやPrimerといった強力なベースラインよりも優れていることを発見した。
  論文  参考訳（メタデータ） (2022-07-13T17:18:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。