論文の概要: Architecture is All You Need: Improving LLM Recommenders by Dropping the Text

• arxiv url: http://arxiv.org/abs/2506.15833v1
• Date: Wed, 18 Jun 2025 19:18:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-23 19:00:04.819772
• Title: Architecture is All You Need: Improving LLM Recommenders by Dropping the Text
• Title（参考訳）: LLMレコメンダをテキストをドロップすることで改善するアーキテクチャ
• Authors: Kevin Foley, Shaghayegh Agah, Kavya Priyanka Kakinada,
• Abstract要約: 本稿では,大規模言語モデル (LLM) のアーキテクチャを用いて,層数と次元を削減したレコメンデータモデルを提案する。 この単純化されたアプローチは、従来のシーケンシャルレコメンデータモデルとPLMベースのレコメンデータモデルの両方を大幅に上回っていることがわかった。
• 参考スコア（独自算出の注目度）: 0.40964539027092917
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In recent years, there has been an explosion of interest in the applications of large pre-trained language models (PLMs) to recommender systems, with many studies showing strong performance of PLMs on common benchmark datasets. PLM-based recommender models benefit from flexible and customizable prompting, an unlimited vocabulary of recommendable items, and general ``world knowledge'' acquired through pre-training on massive text corpora. While PLM-based recommenders show promise in settings where data is limited, they are hard to implement in practice due to their large size and computational cost. Additionally, fine-tuning PLMs to improve performance on collaborative signals may degrade the model's capacity for world knowledge and generalizability. We propose a recommender model that uses the architecture of large language models (LLMs) while reducing layer count and dimensions and replacing the text-based subword tokenization of a typical LLM with discrete tokens that uniquely represent individual content items. We find that this simplified approach substantially outperforms both traditional sequential recommender models and PLM-based recommender models at a tiny fraction of the size and computational complexity of PLM-based models. Our results suggest that the principal benefit of LLMs in recommender systems is their architecture, rather than the world knowledge acquired during extensive pre-training.
• Abstract（参考訳）: 近年,大規模事前学習型言語モデル (PLM) を推薦システムに適用することへの関心が高まっている。 PLMベースのレコメンデータモデルは、柔軟でカスタマイズ可能なプロンプト、推奨項目の無制限語彙、および大量のテキストコーパスの事前学習を通じて取得される一般的な 'world knowledge' の恩恵を受ける。 PLMベースのレコメンデータは、データが制限されている設定でpromiseを示すが、大きなサイズと計算コストのために実際に実装するのは困難である。 さらに、協調信号の性能を向上させるための微調整 PLM は、世界の知識と一般化可能性に対するモデルの能力を低下させる可能性がある。 本稿では,ラージ言語モデル(LLM)のアーキテクチャを用いて,レイヤ数と次元を削減し,典型的なLCMのテキストベースのサブワードトークン化を,個別のコンテンツ項目を一意に表現する離散トークンに置き換えるレコメンデータモデルを提案する。 この単純化されたアプローチは、従来のシーケンシャルレコメンダモデルとPLMベースのレコメンダモデルの両方を、PLMベースのモデルのサイズと計算複雑性のごく一部で大幅に上回っていることがわかった。 この結果から,LLMのアーキテクチャは,広範囲な事前学習において得られる知識よりも,LLMの持つメリットが重要であることが示唆された。

関連論文リスト

• DeepRec: Towards a Deep Dive Into the Item Space with Large Language Model Based Recommendation [83.21140655248624]
  大型言語モデル (LLM) はレコメンダシステム (RS) に導入された。 本稿では, LLM と TRM の自律的マルチターンインタラクションを実現する新しい RS である DeepRec を提案する。 公開データセットの実験では、DeepRecは従来のものとLLMベースのベースラインの両方で大幅にパフォーマンスが向上している。
  論文  参考訳（メタデータ） (2025-05-22T15:49:38Z)
• HLLM: Enhancing Sequential Recommendations via Hierarchical Large Language Models for Item and User Modeling [21.495443162191332]
  大規模言語モデル(LLM)は様々な分野で顕著な成功を収めており、いくつかの研究がレコメンデーションシステムにおいてその可能性を探求している。 逐次レコメンデーションシステムを強化するために,新しい階層型大規模言語モデル (HLLM) アーキテクチャを提案する。 HLLMは,項目特徴抽出とユーザ関心モデリングの両方に 7B パラメータを利用する構成で,優れたスケーラビリティを実現している。
  論文  参考訳（メタデータ） (2024-09-19T13:03:07Z)
• SLMRec: Distilling Large Language Models into Small for Sequential Recommendation [38.51895517016953]
  シーケンシャルレコメンデーションタスクでは、過去のインタラクションを考慮して、ユーザが対話する可能性のある次の項目を予測する。 最近の研究は、LCMがシーケンシャルレコメンデーションシステムに与える影響を実証している。 LLM の巨大なサイズのため、現実のプラットフォームに LLM ベースのモデルを適用するのは非効率で実用的ではない。
  論文  参考訳（メタデータ） (2024-05-28T07:12:06Z)
• Recommender AI Agent: Integrating Large Language Models for Interactive Recommendations [53.76682562935373]
  我々は,LLMを脳として,レコメンダモデルをツールとして使用する,textbfInteRecAgentという効率的なフレームワークを紹介した。 InteRecAgentは会話レコメンデーションシステムとして満足度を達成し、汎用LLMよりも優れる。
  論文  参考訳（メタデータ） (2023-08-31T07:36:44Z)
• ReLLa: Retrieval-enhanced Large Language Models for Lifelong Sequential Behavior Comprehension in Recommendation [43.270424225285105]
  ゼロショットと少数ショットのレコメンデーションタスクのために、純粋に大きな言語モデルを適応し、強化することに重点を置いています。 ゼロショット設定と少数ショット設定の両方でレコメンデーションタスクを行うRetrieval-enhanced Large Language Model (ReLLa)を提案する。
  論文  参考訳（メタデータ） (2023-08-22T02:25:04Z)
• On Learning to Summarize with Large Language Models as References [101.79795027550959]
  大型言語モデル (LLM) は、一般的な要約データセットにおける元の参照要約よりも人間のアノテーションに好まれる。 より小さなテキスト要約モデルに対するLLM-as-reference学習設定について検討し,その性能が大幅に向上するかどうかを検討する。
  論文  参考訳（メタデータ） (2023-05-23T16:56:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。