論文の概要: PatchRec: Multi-Grained Patching for Efficient LLM-based Sequential Recommendation

• arxiv url: http://arxiv.org/abs/2501.15087v1
• Date: Sat, 25 Jan 2025 05:30:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-28 13:53:44.684332
• Title: PatchRec: Multi-Grained Patching for Efficient LLM-based Sequential Recommendation
• Title（参考訳）: PatchRec: 効率的なLCMに基づくシーケンスレコメンデーションのためのマルチグラインドパッチ
• Authors: Jiayi Liao, Ruobing Xie, Sihang Li, Xiang Wang, Xingwu Sun, Zhanhui Kang, Xiangnan He,
• Abstract要約: マルチきめ細かいパッチフレームワークであるPatchRecを提案する。 アイテムタイトルのテキストトークンをコンパクトなアイテムパッチに圧縮する。 さらに、複数のアイテムパッチをより密度の高いセッションパッチに圧縮し、以前のインタラクションはより多く圧縮される。
• 参考スコア（独自算出の注目度）: 40.5721110129484
• License:
• Abstract: Large Language Models for sequential recommendation (LLM4SR), which transform user-item interactions into language modeling, have shown promising results. However, due to the limitations of context window size and the computational costs associated with Large Language Models (LLMs), current approaches primarily truncate user history by only considering the textual information of items from the most recent interactions in the input prompt. This truncation fails to fully capture the long-term behavioral patterns of users. To address this, we propose a multi-grained patching framework -- PatchRec. It compresses the textual tokens of an item title into a compact item patch, and further compresses multiple item patches into a denser session patch, with earlier interactions being compressed to a greater degree. The framework consists of two stages: (1) Patch Pre-training, which familiarizes LLMs with item-level compression patterns, and (2) Patch Fine-tuning, which teaches LLMs to model sequences at multiple granularities. Through this simple yet effective approach, empirical results demonstrate that PatchRec outperforms existing methods, achieving significant performance gains with fewer tokens fed to the LLM. Specifically, PatchRec shows up to a 32% improvement in HR@20 on the Goodreads dataset over uncompressed baseline, while using only 7% of the tokens. This multi-grained sequence modeling paradigm, with an adjustable compression ratio, enables LLMs to be efficiently deployed in real-world recommendation systems that handle extremely long user behavior sequences.
• Abstract（参考訳）: ユーザ-イテムインタラクションを言語モデリングに変換するLarge Language Models for Sequence Recommation (LLM4SR)は,有望な結果を示している。 しかしながら、コンテキストウィンドウサイズとLLM(Large Language Models)に関連する計算コストの制限により、現在のアプローチは、入力プロンプトにおける最新のインタラクションからの項目のテキスト情報のみを考慮し、主にユーザ履歴を減らしている。 この切り離しは、ユーザの長期的な行動パターンを完全に捉えるのに失敗する。 この問題に対処するため、我々はPatchRecというマルチきめ細かいパッチフレームワークを提案します。 アイテムタイトルのテキストトークンをコンパクトなアイテムパッチに圧縮し、さらに複数のアイテムパッチをより密なセッションパッチに圧縮する。 本フレームワークは,(1) LLMをアイテムレベルの圧縮パターンに慣れ親しんだパッチ事前学習,(2) LLMを複数の粒度でモデル化するパッチファインチューニングの2段階からなる。 この単純で効果的なアプローチを通じて、実証的な結果は、PatchRecが既存のメソッドよりも優れており、LLMに供給されるトークンが少なく、大幅なパフォーマンス向上を実現していることを示している。 具体的には、PatchRecは、未圧縮のベースラインよりもGoodreadsデータセット上でHR@20を32%改善し、トークンの7%しか使用していない。 この多粒配列モデリングパラダイムは、調整可能な圧縮比を持つため、LLMを極めて長いユーザ動作シーケンスを扱う現実世界のレコメンデーションシステムに効率よくデプロイすることができる。

関連論文リスト

• Two are better than one: Context window extension with multi-grained self-injection [111.1376461868317]
  SharedLLMは、多粒度コンテキスト圧縮とクエリ対応情報検索の設計哲学に基づく新しいアプローチである。 本研究では,テキストチャンクの多粒度コンテキスト情報を効率的にエンコードし,保存し,検索するための木構造データ構造を提案する。
  論文  参考訳（メタデータ） (2024-10-25T06:08:59Z)
• Context-aware Prompt Tuning: Advancing In-Context Learning with Adversarial Methods [69.36397993451742]
  In this work introduced Context-aware Prompt Tuning (CPT) - ICL, PT, and adversarial attack。 入力および出力フォーマットのユニークな構造を考慮して、特定のコンテキストトークンを変更する。 敵の攻撃にインスパイアされた我々は、損失を最大化するのではなく、最小化に焦点をあてて、コンテキストに存在するラベルに基づいて入力を調整する。
  論文  参考訳（メタデータ） (2024-10-22T17:45:47Z)
• Unlocking Tokens as Data Points for Generalization Bounds on Larger Language Models [79.70436109672599]
  LLaMA2-70Bほどの大きさの大規模言語モデルの非空一般化境界を導出する。 我々の研究は、実際にデプロイされ、高品質なテキストを生成するモデルに対する最初の非空き境界を達成する。
  論文  参考訳（メタデータ） (2024-07-25T16:13:58Z)
• Token-level Correlation-guided Compression for Efficient Multimodal Document Understanding [54.532578213126065]
  ほとんどの文書理解手法は、サブイメージ内の全てのトークンを保存し、それらを等しく扱う。 これにより、異なる情報性が無視され、画像トークンの数が大幅に増加する。 トークン処理を最適化するためのパラメータフリーかつプラグアンドプレイ手法であるトークンレベルの相関誘導圧縮を提案する。
  論文  参考訳（メタデータ） (2024-07-19T16:11:15Z)
• Reindex-Then-Adapt: Improving Large Language Models for Conversational Recommendation [50.19602159938368]
  大規模言語モデル(LLM)は、会話レコメンデーションシステムに革命をもたらしている。 本稿では,マルチトークンのタイトルを単一トークンに変換するReindex-Then-Adapt(RTA)フレームワークを提案する。 本フレームワークでは,3つの対話推薦データセットの精度向上を実証する。
  論文  参考訳（メタデータ） (2024-05-20T15:37:55Z)
• LlamaRec: Two-Stage Recommendation using Large Language Models for Ranking [10.671747198171136]
  ランキングベースレコメンデーション(LlamaRec)のための大規模言語モデルを用いた2段階フレームワークを提案する。 特に,ユーザインタラクション履歴に基づいて候補を検索するために,小規模なシーケンシャルレコメンデータを用いる。 LlamaRecは、推奨パフォーマンスと効率の両方において、データセットの優れたパフォーマンスを一貫して達成している。
  論文  参考訳（メタデータ） (2023-10-25T06:23:48Z)
• LLM-augmented Preference Learning from Natural Language [19.700169351688768]
  大規模言語モデル(LLM)は、より大きな文脈長を扱う。 LLM は、ターゲットテキストが大きければ SotA を一貫して上回る。 ゼロショット学習よりもパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2023-10-12T17:17:27Z)
• LLMLingua: Compressing Prompts for Accelerated Inference of Large Language Models [22.06402870816756]
  大きな言語モデル(LLM)は、その驚くべき能力のために様々なアプリケーションに適用されている。 本稿では,意味的整合性を維持するための予算制御を伴う粗大なプロンプト圧縮手法であるLLMLinguaを提案する。 提案手法により,最先端性能が得られ,最大20倍圧縮が可能であり,性能損失が少ないことを示す。
  論文  参考訳（メタデータ） (2023-10-09T14:10:21Z)
• Revisiting Large Language Models as Zero-shot Relation Extractors [8.953462875381888]
  リレーショナル抽出(RE)は、ゼロショット設定下であっても、一定のラベル付きまたはラベルなしのデータを一貫して含む。 近年の研究では、大きな言語モデル(LLM)が、単に自然言語のプロンプトを与えられただけで、新しいタスクにうまく移行していることが示されている。 本研究はゼロショット関係抽出器としてLLMを探索することに焦点を当てる。
  論文  参考訳（メタデータ） (2023-10-08T06:17:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。