論文の概要: PatchRec: Multi-Grained Patching for Efficient LLM-based Sequential Recommendation

• arxiv url: http://arxiv.org/abs/2501.15087v1
• Date: Sat, 25 Jan 2025 05:30:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-28 21:57:03.514804
• Title: PatchRec: Multi-Grained Patching for Efficient LLM-based Sequential Recommendation
• Title（参考訳）: PatchRec: 効率的なLCMに基づくシーケンスレコメンデーションのためのマルチグラインドパッチ
• Authors: Jiayi Liao, Ruobing Xie, Sihang Li, Xiang Wang, Xingwu Sun, Zhanhui Kang, Xiangnan He,
• Abstract要約: マルチきめ細かいパッチフレームワークであるPatchRecを提案する。 アイテムタイトルのテキストトークンをコンパクトなアイテムパッチに圧縮する。 さらに、複数のアイテムパッチをより密度の高いセッションパッチに圧縮し、以前のインタラクションはより多く圧縮される。
• 参考スコア（独自算出の注目度）: 40.5721110129484
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models for sequential recommendation (LLM4SR), which transform user-item interactions into language modeling, have shown promising results. However, due to the limitations of context window size and the computational costs associated with Large Language Models (LLMs), current approaches primarily truncate user history by only considering the textual information of items from the most recent interactions in the input prompt. This truncation fails to fully capture the long-term behavioral patterns of users. To address this, we propose a multi-grained patching framework -- PatchRec. It compresses the textual tokens of an item title into a compact item patch, and further compresses multiple item patches into a denser session patch, with earlier interactions being compressed to a greater degree. The framework consists of two stages: (1) Patch Pre-training, which familiarizes LLMs with item-level compression patterns, and (2) Patch Fine-tuning, which teaches LLMs to model sequences at multiple granularities. Through this simple yet effective approach, empirical results demonstrate that PatchRec outperforms existing methods, achieving significant performance gains with fewer tokens fed to the LLM. Specifically, PatchRec shows up to a 32% improvement in HR@20 on the Goodreads dataset over uncompressed baseline, while using only 7% of the tokens. This multi-grained sequence modeling paradigm, with an adjustable compression ratio, enables LLMs to be efficiently deployed in real-world recommendation systems that handle extremely long user behavior sequences.
• Abstract（参考訳）: ユーザ-イテムインタラクションを言語モデリングに変換するLarge Language Models for Sequence Recommation (LLM4SR)は,有望な結果を示している。 しかしながら、コンテキストウィンドウサイズとLLM(Large Language Models)に関連する計算コストの制限により、現在のアプローチは、入力プロンプトにおける最新のインタラクションからの項目のテキスト情報のみを考慮し、主にユーザ履歴を減らしている。 この切り離しは、ユーザの長期的な行動パターンを完全に捉えるのに失敗する。 この問題に対処するため、我々はPatchRecというマルチきめ細かいパッチフレームワークを提案します。 アイテムタイトルのテキストトークンをコンパクトなアイテムパッチに圧縮し、さらに複数のアイテムパッチをより密なセッションパッチに圧縮する。 本フレームワークは,(1) LLMをアイテムレベルの圧縮パターンに慣れ親しんだパッチ事前学習,(2) LLMを複数の粒度でモデル化するパッチファインチューニングの2段階からなる。 この単純で効果的なアプローチを通じて、実証的な結果は、PatchRecが既存のメソッドよりも優れており、LLMに供給されるトークンが少なく、大幅なパフォーマンス向上を実現していることを示している。 具体的には、PatchRecは、未圧縮のベースラインよりもGoodreadsデータセット上でHR@20を32%改善し、トークンの7%しか使用していない。 この多粒配列モデリングパラダイムは、調整可能な圧縮比を持つため、LLMを極めて長いユーザ動作シーケンスを扱う現実世界のレコメンデーションシステムに効率よくデプロイすることができる。

関連論文リスト

• Towards Event Extraction with Massive Types: LLM-based Collaborative Annotation and Partitioning Extraction [66.73721939417507]
  大規模言語モデル(LLM)に基づく協調アノテーション手法を提案する。 また, LLM-PEE と呼ばれる LLM-based Partitioning EE 法を提案する。 その結果,LLM-PEEは事象検出では5.4,引数抽出では6.1,最先端手法では6.1に優れていた。
  論文  参考訳（メタデータ） (2025-03-04T13:53:43Z)
• New Dataset and Methods for Fine-Grained Compositional Referring Expression Comprehension via Specialist-MLLM Collaboration [49.180693704510006]
  Referring Expression (REC) は、言語理解、画像理解、言語と画像の接点の相互作用を評価するためのクロスモーダルなタスクである。 MLLM(Multimodal Large Language Models)の試験場として機能する。
  論文  参考訳（メタデータ） (2025-02-27T13:58:44Z)
• Towards a Unified Paradigm: Integrating Recommendation Systems as a New Language in Large Models [33.02146794292383]
  大規模モデルにおける新しい言語としてのレコメンデーションシステム(Integrating Recommendation Systems as a New Language in Large Models)について紹介する。 RSLLMは、従来のレコメンデーションモデルからのIDベースのアイテム埋め込みとテキストアイテムの特徴を組み合わせた独自のプロンプト方式を使用している。 ユーザのシーケンシャルな振る舞いを別の言語として扱い、プロジェクタを使用してID埋め込みとLLMの入力空間を整列する。
  論文  参考訳（メタデータ） (2024-12-22T09:08:46Z)
• Two are better than one: Context window extension with multi-grained self-injection [111.1376461868317]
  SharedLLMは、多粒度コンテキスト圧縮とクエリ対応情報検索の設計哲学に基づく新しいアプローチである。 本研究では,テキストチャンクの多粒度コンテキスト情報を効率的にエンコードし,保存し,検索するための木構造データ構造を提案する。
  論文  参考訳（メタデータ） (2024-10-25T06:08:59Z)
• Context-aware Prompt Tuning: Advancing In-Context Learning with Adversarial Methods [69.36397993451742]
  In this work introduced Context-aware Prompt Tuning (CPT) - ICL, PT, and adversarial attack。 入力および出力フォーマットのユニークな構造を考慮して、特定のコンテキストトークンを変更する。 敵の攻撃にインスパイアされた我々は、損失を最大化するのではなく、最小化に焦点をあてて、コンテキストに存在するラベルに基づいて入力を調整する。
  論文  参考訳（メタデータ） (2024-10-22T17:45:47Z)
• Unlocking Tokens as Data Points for Generalization Bounds on Larger Language Models [79.70436109672599]
  LLaMA2-70Bほどの大きさの大規模言語モデルの非空一般化境界を導出する。 我々の研究は、実際にデプロイされ、高品質なテキストを生成するモデルに対する最初の非空き境界を達成する。
  論文  参考訳（メタデータ） (2024-07-25T16:13:58Z)
• Token-level Correlation-guided Compression for Efficient Multimodal Document Understanding [54.532578213126065]
  ほとんどの文書理解手法は、サブイメージ内の全てのトークンを保存し、それらを等しく扱う。 これにより、異なる情報性が無視され、画像トークンの数が大幅に増加する。 トークン処理を最適化するためのパラメータフリーかつプラグアンドプレイ手法であるトークンレベルの相関誘導圧縮を提案する。
  論文  参考訳（メタデータ） (2024-07-19T16:11:15Z)
• Beyond the Turn-Based Game: Enabling Real-Time Conversations with Duplex Models [66.24055500785657]
  従来のターンベースのチャットシステムは、ユーザが応答を生成している間に、システムが言葉で対話することを防ぐ。 これらの制限を克服するため,既存のLCMをユーザを聴きながら出力を生成し,ユーザに対して即時フィードバックを提供する。 クエリとレスポンスの時間スライスを交互に行うデータセットを構築し、インスタントインタラクションにおける典型的なフィードバックタイプをカバーする。
  論文  参考訳（メタデータ） (2024-06-22T03:20:10Z)
• Text-like Encoding of Collaborative Information in Large Language Models for Recommendation [58.87865271693269]
  BinLLMはLarge Language Models for Recommendation (LLMRec)とシームレスに連携する新しい手法である。 BinLLMは、外部モデルからの協調的な埋め込みをバイナリシーケンスに変換する。 BinLLMは、ドット決定記法を用いてバイナリシーケンスを圧縮するオプションを提供し、過度に長い長さを避ける。
  論文  参考訳（メタデータ） (2024-06-05T12:45:25Z)
• Hidden in Plain Sight: Exploring Chat History Tampering in Interactive Language Models [12.920884182101142]
  大規模言語モデル(LLM)は、実世界のアプリケーションで普及し、素晴らしいテキスト生成性能を示している。 LLMベースのチャットシステムは、対話的に振る舞うためには、事前に定義された構造に従って、事前のチャット履歴を入力のコンテキストとして統合する必要がある。 本稿では,目標モデルの事前知識を必要とせずに,LLM会話にユーザ提供履歴を注入するための体系的手法を提案する。
  論文  参考訳（メタデータ） (2024-05-30T16:36:47Z)
• Reindex-Then-Adapt: Improving Large Language Models for Conversational Recommendation [50.19602159938368]
  大規模言語モデル(LLM)は、会話レコメンデーションシステムに革命をもたらしている。 本稿では,マルチトークンのタイトルを単一トークンに変換するReindex-Then-Adapt(RTA)フレームワークを提案する。 本フレームワークでは,3つの対話推薦データセットの精度向上を実証する。
  論文  参考訳（メタデータ） (2024-05-20T15:37:55Z)
• Extract, Define, Canonicalize: An LLM-based Framework for Knowledge Graph Construction [12.455647753787442]
  抽出・デファイン・カノニケーズ(EDC)という3相フレームワークを提案する。 EDCはフレキシブルで、事前に定義されたターゲットスキーマが利用可能で、そうでない場合に適用される。 EDCがパラメータチューニングなしで高品質な三重項を抽出できることを実証する。
  論文  参考訳（メタデータ） (2024-04-05T02:53:51Z)
• LlamaRec: Two-Stage Recommendation using Large Language Models for Ranking [10.671747198171136]
  ランキングベースレコメンデーション(LlamaRec)のための大規模言語モデルを用いた2段階フレームワークを提案する。 特に,ユーザインタラクション履歴に基づいて候補を検索するために,小規模なシーケンシャルレコメンデータを用いる。 LlamaRecは、推奨パフォーマンスと効率の両方において、データセットの優れたパフォーマンスを一貫して達成している。
  論文  参考訳（メタデータ） (2023-10-25T06:23:48Z)
• LLM-augmented Preference Learning from Natural Language [19.700169351688768]
  大規模言語モデル(LLM)は、より大きな文脈長を扱う。 LLM は、ターゲットテキストが大きければ SotA を一貫して上回る。 ゼロショット学習よりもパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2023-10-12T17:17:27Z)
• LLMLingua: Compressing Prompts for Accelerated Inference of Large Language Models [22.06402870816756]
  大きな言語モデル(LLM)は、その驚くべき能力のために様々なアプリケーションに適用されている。 本稿では,意味的整合性を維持するための予算制御を伴う粗大なプロンプト圧縮手法であるLLMLinguaを提案する。 提案手法により,最先端性能が得られ,最大20倍圧縮が可能であり,性能損失が少ないことを示す。
  論文  参考訳（メタデータ） (2023-10-09T14:10:21Z)
• Revisiting Large Language Models as Zero-shot Relation Extractors [8.953462875381888]
  リレーショナル抽出(RE)は、ゼロショット設定下であっても、一定のラベル付きまたはラベルなしのデータを一貫して含む。 近年の研究では、大きな言語モデル(LLM)が、単に自然言語のプロンプトを与えられただけで、新しいタスクにうまく移行していることが示されている。 本研究はゼロショット関係抽出器としてLLMを探索することに焦点を当てる。
  論文  参考訳（メタデータ） (2023-10-08T06:17:39Z)
• Scaling Sentence Embeddings with Large Language Models [43.19994568210206]
  本研究では,文埋め込み性能の向上を目的としたテキスト内学習手法を提案する。 提案手法では,従来のプロンプトに基づく表現手法を自己回帰モデルに適用する。 モデルサイズをスケールすることで、数千億以上のパラメータへのスケーリングが意味的なテキスト類似性タスクのパフォーマンスを損なうことが分かる。
  論文  参考訳（メタデータ） (2023-07-31T13:26:03Z)
• LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
  大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。 タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。 LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
  論文  参考訳（メタデータ） (2023-05-19T12:10:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。