Fugu-MT 論文翻訳(概要): Multi-Grained Patch Training for Efficient LLM-based Recommendation

論文の概要: Multi-Grained Patch Training for Efficient LLM-based Recommendation

arxiv url: http://arxiv.org/abs/2501.15087v2
Date: Mon, 19 May 2025 03:34:25 GMT
ステータス: 翻訳完了
システム内更新日: 2025-05-20 17:08:51.944228
Title: Multi-Grained Patch Training for Efficient LLM-based Recommendation
Title（参考訳）: 効率的なLCMベース勧告のためのマルチグラインドパッチトレーニング
Authors: Jiayi Liao, Ruobing Xie, Sihang Li, Xiang Wang, Xingwu Sun, Zhanhui Kang, Xiangnan He,
Abstract要約: 大言語モデル(LLM)は、相互作用した項目履歴を言語モデリングに変換することで、推奨のための新しいパラダイムとして登場した。 Patch Pre-Training(パッチ)とPatch Fine-tuning(パッチ)という2つの段階からなる多段階のパッチトレーニング手法を提案する。
参考スコア（独自算出の注目度）: 40.5721110129484
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Large Language Models (LLMs) have emerged as a new paradigm for recommendation by converting interacted item history into language modeling. However, constrained by the limited context length of LLMs, existing approaches have to truncate item history in the prompt, focusing only on recent interactions and sacrificing the ability to model long-term history. To enable LLMs to model long histories, we pursue a concise embedding representation for items and sessions. In the LLM embedding space, we construct an item's embedding by aggregating its textual token embeddings; similarly, we construct a session's embedding by aggregating its item embeddings. While efficient, this way poses two challenges since it ignores the temporal significance of user interactions and LLMs do not natively interpret our custom embeddings. To overcome these, we propose PatchRec, a multi-grained patch training method consisting of two stages: (1) Patch Pre-training, which familiarizes LLMs with aggregated embeddings -- patches, and (2) Patch Fine-tuning, which enables LLMs to capture time-aware significance in interaction history. Extensive experiments show that PatchRec effectively models longer behavior histories with improved efficiency. This work facilitates the practical use of LLMs for modeling long behavior histories. Codes are available at https://github.com/ljy0ustc/PatchRec.
Abstract（参考訳）: 大言語モデル(LLM)は、相互作用した項目履歴を言語モデリングに変換することで、推奨のための新しいパラダイムとして登場した。しかし、LLMの限られた文脈長に制約されるため、既存のアプローチではアイテム履歴を即座に切り離さなくてはならず、最近の相互作用にのみ焦点をあて、長期の歴史をモデル化する能力を犠牲にしなければならない。 LLMが長い歴史をモデル化できるように、アイテムやセッションの簡潔な埋め込み表現を追求する。 LLM埋め込み空間では、文章トークンの埋め込みを集約してアイテムの埋め込みを構築するが、同様に、アイテムの埋め込みを集約してセッションの埋め込みを構築する。ユーザインタラクションの時間的重要性を無視し、LLMは私たちのカスタム埋め込みをネイティブに解釈しないため、この方法は2つの課題を提起する。 PatchRec は,(1) 組込みを集約した LLM を慣れ親しんだ Patch Pre-Training と (2) Patch Fine-Ttuning の2つの段階からなる,多層的なパッチトレーニング手法である。大規模な実験により、PatchRecはより長い行動履歴を効果的にモデル化し、効率が向上した。この研究は、長い行動履歴をモデル化するためのLLMの実用的利用を促進する。コードはhttps://github.com/ljy0ustc/PatchRec.comで入手できる。

関連論文リスト

Two are better than one: Context window extension with multi-grained self-injection [111.1376461868317]
SharedLLMは、多粒度コンテキスト圧縮とクエリ対応情報検索の設計哲学に基づく新しいアプローチである。本研究では,テキストチャンクの多粒度コンテキスト情報を効率的にエンコードし,保存し,検索するための木構造データ構造を提案する。
論文参考訳（メタデータ） (2024-10-25T06:08:59Z)
Context-aware Prompt Tuning: Advancing In-Context Learning with Adversarial Methods [69.36397993451742]
In this work introduced Context-aware Prompt Tuning (CPT) - ICL, PT, and adversarial attack。入力および出力フォーマットのユニークな構造を考慮して、特定のコンテキストトークンを変更する。敵の攻撃にインスパイアされた我々は、損失を最大化するのではなく、最小化に焦点をあてて、コンテキストに存在するラベルに基づいて入力を調整する。
論文参考訳（メタデータ） (2024-10-22T17:45:47Z)
Unlocking Tokens as Data Points for Generalization Bounds on Larger Language Models [79.70436109672599]
LLaMA2-70Bほどの大きさの大規模言語モデルの非空一般化境界を導出する。我々の研究は、実際にデプロイされ、高品質なテキストを生成するモデルに対する最初の非空き境界を達成する。
論文参考訳（メタデータ） (2024-07-25T16:13:58Z)
Token-level Correlation-guided Compression for Efficient Multimodal Document Understanding [54.532578213126065]
ほとんどの文書理解手法は、サブイメージ内の全てのトークンを保存し、それらを等しく扱う。これにより、異なる情報性が無視され、画像トークンの数が大幅に増加する。トークン処理を最適化するためのパラメータフリーかつプラグアンドプレイ手法であるトークンレベルの相関誘導圧縮を提案する。
論文参考訳（メタデータ） (2024-07-19T16:11:15Z)
Reindex-Then-Adapt: Improving Large Language Models for Conversational Recommendation [50.19602159938368]
大規模言語モデル(LLM)は、会話レコメンデーションシステムに革命をもたらしている。本稿では,マルチトークンのタイトルを単一トークンに変換するReindex-Then-Adapt(RTA)フレームワークを提案する。本フレームワークでは,3つの対話推薦データセットの精度向上を実証する。
論文参考訳（メタデータ） (2024-05-20T15:37:55Z)
Extract, Define, Canonicalize: An LLM-based Framework for Knowledge Graph Construction [12.455647753787442]
抽出・デファイン・カノニケーズ(EDC)という3相フレームワークを提案する。 EDCはフレキシブルで、事前に定義されたターゲットスキーマが利用可能で、そうでない場合に適用される。 EDCがパラメータチューニングなしで高品質な三重項を抽出できることを実証する。
論文参考訳（メタデータ） (2024-04-05T02:53:51Z)
LlamaRec: Two-Stage Recommendation using Large Language Models for Ranking [10.671747198171136]
ランキングベースレコメンデーション(LlamaRec)のための大規模言語モデルを用いた2段階フレームワークを提案する。特に,ユーザインタラクション履歴に基づいて候補を検索するために,小規模なシーケンシャルレコメンデータを用いる。 LlamaRecは、推奨パフォーマンスと効率の両方において、データセットの優れたパフォーマンスを一貫して達成している。
論文参考訳（メタデータ） (2023-10-25T06:23:48Z)
LLM-augmented Preference Learning from Natural Language [19.700169351688768]
大規模言語モデル(LLM)は、より大きな文脈長を扱う。 LLM は、ターゲットテキストが大きければ SotA を一貫して上回る。ゼロショット学習よりもパフォーマンスが向上する。
論文参考訳（メタデータ） (2023-10-12T17:17:27Z)
LLMLingua: Compressing Prompts for Accelerated Inference of Large Language Models [22.06402870816756]
大きな言語モデル(LLM)は、その驚くべき能力のために様々なアプリケーションに適用されている。本稿では,意味的整合性を維持するための予算制御を伴う粗大なプロンプト圧縮手法であるLLMLinguaを提案する。提案手法により,最先端性能が得られ,最大20倍圧縮が可能であり,性能損失が少ないことを示す。
論文参考訳（メタデータ） (2023-10-09T14:10:21Z)
Revisiting Large Language Models as Zero-shot Relation Extractors [8.953462875381888]
リレーショナル抽出(RE)は、ゼロショット設定下であっても、一定のラベル付きまたはラベルなしのデータを一貫して含む。近年の研究では、大きな言語モデル(LLM)が、単に自然言語のプロンプトを与えられただけで、新しいタスクにうまく移行していることが示されている。本研究はゼロショット関係抽出器としてLLMを探索することに焦点を当てる。
論文参考訳（メタデータ） (2023-10-08T06:17:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。