論文の概要: Learnable Item Tokenization for Generative Recommendation

• arxiv url: http://arxiv.org/abs/2405.07314v2
• Date: Mon, 19 Aug 2024 02:21:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-11 00:30:31.146856
• Title: Learnable Item Tokenization for Generative Recommendation
• Title（参考訳）: ジェネレーティブレコメンデーションのための学習可能なアイテムトークン化
• Authors: Wenjie Wang, Honghui Bao, Xinyu Lin, Jizhi Zhang, Yongqi Li, Fuli Feng, See-Kiong Ng, Tat-Seng Chua,
• Abstract要約: LETTER (Larnable Tokenizer for generaTivE Recommendation) を提案する。 LETTERは、セマンティック正規化のためのResidual Quantized VAE、協調正規化のためのコントラストアライメント損失、コードの割り当てバイアスを軽減するための多様性損失を組み込んでいる。
• 参考スコア（独自算出の注目度）: 78.30417863309061
• License:
• Abstract: Utilizing powerful Large Language Models (LLMs) for generative recommendation has attracted much attention. Nevertheless, a crucial challenge is transforming recommendation data into the language space of LLMs through effective item tokenization. Current approaches, such as ID, textual, and codebook-based identifiers, exhibit shortcomings in encoding semantic information, incorporating collaborative signals, or handling code assignment bias. To address these limitations, we propose LETTER (a LEarnable Tokenizer for generaTivE Recommendation), which integrates hierarchical semantics, collaborative signals, and code assignment diversity to satisfy the essential requirements of identifiers. LETTER incorporates Residual Quantized VAE for semantic regularization, a contrastive alignment loss for collaborative regularization, and a diversity loss to mitigate code assignment bias. We instantiate LETTER on two models and propose a ranking-guided generation loss to augment their ranking ability theoretically. Experiments on three datasets validate the superiority of LETTER, advancing the state-of-the-art in the field of LLM-based generative recommendation.
• Abstract（参考訳）: ジェネレーティブレコメンデーションのための強力な大規模言語モデル(LLM)の利用が注目されている。 それでも重要な課題は、効率的なアイテムトークン化を通じてレコメンデーションデータをLLMの言語空間に変換することである。 ID、テキスト、コードブックベースの識別子といった現在のアプローチでは、セマンティック情報をエンコードしたり、協調的なシグナルを組み込んだり、コードの割り当てバイアスを処理するのに欠点がある。 これらの制約に対処するため,LETTER (Larnable Tokenizer for generaTivE Recommendation) を提案する。 LETTERは、セマンティック正規化のためのResidual Quantized VAE、協調正規化のためのコントラストアライメント損失、コードの割り当てバイアスを軽減するための多様性損失を組み込んでいる。 LETTERを2つのモデルでインスタンス化し、理論的にランキング能力を高めるためにランキング誘導型世代損失を提案する。 3つのデータセットの実験は、LETTERの優位性を検証し、LLMに基づく生成レコメンデーションの分野で最先端の技術を推し進める。

関連論文リスト

• EAGER-LLM: Enhancing Large Language Models as Recommenders through Exogenous Behavior-Semantic Integration [60.47645731801866]
  大規模言語モデル(LLM)は、高度なレコメンデータシステムの基本バックボーンとしてますます活用されている。 LLMは事前訓練された言語意味論であるが、llm-Backboneを通してゼロから協調意味論を学ぶ。 内因性行動情報と内因性行動情報とを非侵襲的に統合するデコーダのみの生成推薦フレームワークであるEAGER-LLMを提案する。
  論文  参考訳（メタデータ） (2025-02-20T17:01:57Z)
• Order-agnostic Identifier for Large Language Model-based Generative Recommendation [94.37662915542603]
  アイテムは、ユーザ履歴をエンコードし、次のアイテムを生成するために、LLM(Large Language Models)の識別子に割り当てられる。 既存のアプローチでは、トークンシーケンス識別子を使用して、アイテムを個別のトークンシーケンスとして表現するか、IDまたはセマンティック埋め込みを使用して単一トークン識別子を使用する。 本稿では,セマンティック・トークンライザを利用するSETRecを提案する。
  論文  参考訳（メタデータ） (2025-02-15T15:25:38Z)
• Semantic Convergence: Harmonizing Recommender Systems via Two-Stage Alignment and Behavioral Semantic Tokenization [10.47505806629852]
  大規模言語モデル(LLM)は、歴史的行動からユーザの深い関心を識別する能力を持っている。 従来のレコメンデーションモデルとLLMの長所を調和的に融合する新しいフレームワークを提案する。 我々は、協調的な信号と自然言語意味論の微妙さを整合させることを目的とした、教師付き学習タスクのシリーズを設計する。
  論文  参考訳（メタデータ） (2024-12-18T12:07:58Z)
• Break the ID-Language Barrier: An Adaption Framework for Sequential Recommendation [10.305878081909743]
  ドメイン固有知識に富んだ事前学習ID埋め込みを,大規模言語モデルに統合するフレームワークであるIDLE-Adapterを提案する。 IDLE-Adapterはブリッジとして機能し、疎いユーザ-イテムインタラクションデータを高密度でLLM互換の表現に変換する。
  論文  参考訳（メタデータ） (2024-11-27T11:59:44Z)
• Towards Scalable Semantic Representation for Recommendation [65.06144407288127]
  大規模言語モデル(LLM)に基づく意味的IDを構築するために、Mixture-of-Codesを提案する。 提案手法は,識別性と寸法の堅牢性に優れたスケーラビリティを実現し,提案手法で最高のスケールアップ性能を実現する。
  論文  参考訳（メタデータ） (2024-10-12T15:10:56Z)
• Decoding Matters: Addressing Amplification Bias and Homogeneity Issue for LLM-based Recommendation [32.85339480783571]
  Debiasing-Diversifying Decoding (D3) という新しいデコード手法を導入する。 D3はゴーストトークンの長さ正規化を無効にして増幅バイアスを軽減する。 実世界のデータセットの実験では、この手法の有効性が示されている。
  論文  参考訳（メタデータ） (2024-06-21T06:47:28Z)
• EAGER: Two-Stream Generative Recommender with Behavior-Semantic Collaboration [63.112790050749695]
  本稿では,行動情報と意味情報の両方をシームレスに統合する新しい生成推薦フレームワークであるEAGERを紹介する。 EAGERの有効性を4つの公開ベンチマークで検証し,既存手法と比較して優れた性能を示した。
  論文  参考訳（メタデータ） (2024-06-20T06:21:56Z)
• Contrastive Decoding Improves Reasoning in Large Language Models [55.16503283583076]
  コントラストデコーディングは,様々な推論タスクにおいて,グリージーデコーディングよりもアウト・オブ・ボックスの大幅な改善を実現することを示す。 本稿では,LLaMA-65BがHellaSwag Commonsense reasoning benchmark上でLLaMA 2, GPT-3.5, PaLM 2-Lより優れていることを示す。
  論文  参考訳（メタデータ） (2023-09-17T00:29:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。