論文の概要: Order-agnostic Identifier for Large Language Model-based Generative Recommendation
- arxiv url: http://arxiv.org/abs/2502.10833v1
- Date: Sat, 15 Feb 2025 15:25:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-18 14:08:12.524082
- Title: Order-agnostic Identifier for Large Language Model-based Generative Recommendation
- Title（参考訳）: 大規模言語モデルに基づく生成レコメンデーションのための順序認識型識別器
- Authors: Xinyu Lin, Haihan Shi, Wenjie Wang, Fuli Feng, Qifan Wang, See-Kiong Ng, Tat-Seng Chua,
- Abstract要約: アイテムは、ユーザ履歴をエンコードし、次のアイテムを生成するために、LLM(Large Language Models)の識別子に割り当てられる。
既存のアプローチでは、トークンシーケンス識別子を使用して、アイテムを個別のトークンシーケンスとして表現するか、IDまたはセマンティック埋め込みを使用して単一トークン識別子を使用する。
本稿では,セマンティック・トークンライザを利用するSETRecを提案する。
- 参考スコア（独自算出の注目度）: 94.37662915542603
- License:
- Abstract: Leveraging Large Language Models (LLMs) for generative recommendation has attracted significant research interest, where item tokenization is a critical step. It involves assigning item identifiers for LLMs to encode user history and generate the next item. Existing approaches leverage either token-sequence identifiers, representing items as discrete token sequences, or single-token identifiers, using ID or semantic embeddings. Token-sequence identifiers face issues such as the local optima problem in beam search and low generation efficiency due to step-by-step generation. In contrast, single-token identifiers fail to capture rich semantics or encode Collaborative Filtering (CF) information, resulting in suboptimal performance. To address these issues, we propose two fundamental principles for item identifier design: 1) integrating both CF and semantic information to fully capture multi-dimensional item information, and 2) designing order-agnostic identifiers without token dependency, mitigating the local optima issue and achieving simultaneous generation for generation efficiency. Accordingly, we introduce a novel set identifier paradigm for LLM-based generative recommendation, representing each item as a set of order-agnostic tokens. To implement this paradigm, we propose SETRec, which leverages CF and semantic tokenizers to obtain order-agnostic multi-dimensional tokens. To eliminate token dependency, SETRec uses a sparse attention mask for user history encoding and a query-guided generation mechanism for simultaneous token generation. We instantiate SETRec on T5 and Qwen (from 1.5B to 7B). Extensive experiments demonstrate its effectiveness under various scenarios (e.g., full ranking, warm- and cold-start ranking, and various item popularity groups). Moreover, results validate SETRec's superior efficiency and show promising scalability on cold-start items as model sizes increase.
- Abstract（参考訳）: ジェネレーティブレコメンデーションのための大規模言語モデル(LLM)を活用することは、アイテムのトークン化が重要なステップである、重要な研究の関心を集めている。
LLMのアイテム識別子を割り当て、ユーザ履歴をエンコードし、次のアイテムを生成する。
既存のアプローチでは、トークンシーケンス識別子を使用して、アイテムを個別のトークンシーケンスとして表現するか、IDまたはセマンティック埋め込みを使用して単一トークン識別子を使用する。
トケンシーケンス識別子は、ビーム探索における局所最適問題やステップバイステップ生成による低生成効率といった問題に直面している。
対照的に、シングルトークンの識別子は、リッチなセマンティクスをキャプチャしたり、コラボレーティブ・フィルタリング(CF)情報をエンコードすることができない。
これらの問題に対処するために、アイテム識別子設計の基本的な原則を2つ提案する。
1)CFとセマンティック情報を統合して多次元アイテム情報をフルキャプチャし、
2)トークン依存のない順序に依存しない識別子を設計し,局所最適問題を緩和し,生成効率の同時生成を実現する。
そこで本研究では,LLMに基づく生成レコメンデーションのための新しい集合識別子のパラダイムを導入し,各項目を順序に依存しないトークンの集合として表現する。
このパラダイムを実現するために,CFとセマンティック・トークンライザを利用したSETRecを提案する。
トークン依存をなくすため、SETRecはユーザ履歴エンコーディングにスパースアテンションマスク、同時トークン生成にクエリ誘導生成機構を使用する。
我々は、T5 と Qwen (1.5B から 7B) 上の SETRec をインスタンス化する。
大規模な実験は、その効果を様々なシナリオ(フルランキング、ウォームスタートとコールドスタートのランキング、および様々なアイテム人気グループ)で実証する。
さらに,SETRecの優れた効率性を検証し,モデルサイズが大きくなるにつれて冷間開始項目のスケーラビリティが期待できることを示した。
関連論文リスト
- STORE: Streamlining Semantic Tokenization and Generative Recommendation with A Single LLM [59.08493154172207]
本稿では,意味的トークン化と生成的レコメンデーションプロセスを合理化する統合フレームワークを提案する。
我々は,意味的トークン化をテキスト・ツー・ケントタスクとして定式化し,生成的推薦をトークン・ツー・ケントタスクとして,トークン・ツー・ケント・コンストラクションタスクとテキスト・ツー・ケント補助タスクで補足する。
これらのタスクはすべて生成的な方法でフレーム化され、単一の大規模言語モデル(LLM)バックボーンを使用してトレーニングされる。
論文 参考訳（メタデータ） (2024-09-11T13:49:48Z) - ACE: A Generative Cross-Modal Retrieval Framework with Coarse-To-Fine Semantic Modeling [53.97609687516371]
我々は、エンドツーエンドのクロスモーダル検索のための先駆的なジェネリッククロスモーダル rEtrieval framework (ACE) を提案する。
ACEは、クロスモーダル検索における最先端のパフォーマンスを達成し、Recall@1の強いベースラインを平均15.27%上回る。
論文 参考訳（メタデータ） (2024-06-25T12:47:04Z) - TokenRec: Learning to Tokenize ID for LLM-based Generative Recommendation [16.93374578679005]
TokenRecは、大規模言語モデル(LLM)ベースのRecommender Systems(RecSys)のトークン化と検索のための新しいフレームワークである。
我々の戦略であるMasked Vector-Quantized (MQ) Tokenizerは、協調フィルタリングから学んだマスキングされたユーザ/イテム表現を離散トークンに定量化する。
我々の生成的検索パラダイムは,自動回帰復号処理やビーム検索処理の不要さを解消するために,ユーザに対してKドル以上のアイテムを効率的に推奨するように設計されている。
論文 参考訳（メタデータ） (2024-06-15T00:07:44Z) - ASI++: Towards Distributionally Balanced End-to-End Generative Retrieval [29.65717446547002]
ASI++は、新しいエンドツーエンドの生成検索手法である。
バランスの取れたIDの割り当てを同時に学習し、検索性能を向上させることを目的としている。
論文 参考訳（メタデータ） (2024-05-23T07:54:57Z) - Learnable Item Tokenization for Generative Recommendation [78.30417863309061]
LETTER (Larnable Tokenizer for generaTivE Recommendation) を提案する。
LETTERは、セマンティック正規化のためのResidual Quantized VAE、協調正規化のためのコントラストアライメント損失、コードの割り当てバイアスを軽減するための多様性損失を組み込んでいる。
論文 参考訳（メタデータ） (2024-05-12T15:49:38Z) - Language Models As Semantic Indexers [78.83425357657026]
本稿では,ジェネレーティブ言語モデルを用いてセマンティックIDを学習するための自己教師型フレームワークLMIndexerを紹介する。
学習したIDの質を検証し,推奨,製品検索,文書検索の3つの課題において有効性を示す。
論文 参考訳（メタデータ） (2023-10-11T18:56:15Z) - Recommender Systems with Generative Retrieval [58.454606442670034]
本稿では,対象候補の識別子を自己回帰的に復号する新たな生成検索手法を提案する。
そのために、各項目のセマンティックIDとして機能するために、意味論的に意味のあるコードワードを作成します。
提案手法を用いて学習した推薦システムは,様々なデータセット上での現在のSOTAモデルよりも大幅に優れていることを示す。
論文 参考訳（メタデータ） (2023-05-08T21:48:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。