論文の概要: Learnable Item Tokenization for Generative Recommendation

• arxiv url: http://arxiv.org/abs/2405.07314v2
• Date: Mon, 19 Aug 2024 02:21:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-11 00:30:31.146856
• Title: Learnable Item Tokenization for Generative Recommendation
• Title（参考訳）: ジェネレーティブレコメンデーションのための学習可能なアイテムトークン化
• Authors: Wenjie Wang, Honghui Bao, Xinyu Lin, Jizhi Zhang, Yongqi Li, Fuli Feng, See-Kiong Ng, Tat-Seng Chua,
• Abstract要約: LETTER (Larnable Tokenizer for generaTivE Recommendation) を提案する。 LETTERは、セマンティック正規化のためのResidual Quantized VAE、協調正規化のためのコントラストアライメント損失、コードの割り当てバイアスを軽減するための多様性損失を組み込んでいる。
• 参考スコア（独自算出の注目度）: 78.30417863309061
• License:
• Abstract: Utilizing powerful Large Language Models (LLMs) for generative recommendation has attracted much attention. Nevertheless, a crucial challenge is transforming recommendation data into the language space of LLMs through effective item tokenization. Current approaches, such as ID, textual, and codebook-based identifiers, exhibit shortcomings in encoding semantic information, incorporating collaborative signals, or handling code assignment bias. To address these limitations, we propose LETTER (a LEarnable Tokenizer for generaTivE Recommendation), which integrates hierarchical semantics, collaborative signals, and code assignment diversity to satisfy the essential requirements of identifiers. LETTER incorporates Residual Quantized VAE for semantic regularization, a contrastive alignment loss for collaborative regularization, and a diversity loss to mitigate code assignment bias. We instantiate LETTER on two models and propose a ranking-guided generation loss to augment their ranking ability theoretically. Experiments on three datasets validate the superiority of LETTER, advancing the state-of-the-art in the field of LLM-based generative recommendation.
• Abstract（参考訳）: ジェネレーティブレコメンデーションのための強力な大規模言語モデル(LLM)の利用が注目されている。 それでも重要な課題は、効率的なアイテムトークン化を通じてレコメンデーションデータをLLMの言語空間に変換することである。 ID、テキスト、コードブックベースの識別子といった現在のアプローチでは、セマンティック情報をエンコードしたり、協調的なシグナルを組み込んだり、コードの割り当てバイアスを処理するのに欠点がある。 これらの制約に対処するため,LETTER (Larnable Tokenizer for generaTivE Recommendation) を提案する。 LETTERは、セマンティック正規化のためのResidual Quantized VAE、協調正規化のためのコントラストアライメント損失、コードの割り当てバイアスを軽減するための多様性損失を組み込んでいる。 LETTERを2つのモデルでインスタンス化し、理論的にランキング能力を高めるためにランキング誘導型世代損失を提案する。 3つのデータセットの実験は、LETTERの優位性を検証し、LLMに基づく生成レコメンデーションの分野で最先端の技術を推し進める。

関連論文リスト

• Towards Scalable Semantic Representation for Recommendation [65.06144407288127]
  大規模言語モデル(LLM)に基づく意味的IDを構築するために、Mixture-of-Codesを提案する。 提案手法は,識別性と寸法の堅牢性に優れたスケーラビリティを実現し,提案手法で最高のスケールアップ性能を実現する。
  論文  参考訳（メタデータ） (2024-10-12T15:10:56Z)
• Unleash LLMs Potential for Recommendation by Coordinating Twin-Tower Dynamic Semantic Token Generator [60.07198935747619]
  動的セマンティック・インデックス・パラダイムを採用した最初の生成型RSであるTTDS(Twin-Tower Dynamic Semantic Recommender)を提案する。 より具体的には、ツイン・トワー・セマンティック・トークン・ジェネレータをLLMベースのレコメンデータに統合する動的知識融合フレームワークを初めて提案する。 提案したTTDSレコメンデータは,平均19.41%のヒットレート,20.84%のNDCG測定値を実現している。
  論文  参考訳（メタデータ） (2024-09-14T01:45:04Z)
• Decoding Matters: Addressing Amplification Bias and Homogeneity Issue for LLM-based Recommendation [32.85339480783571]
  Debiasing-Diversifying Decoding (D3) という新しいデコード手法を導入する。 D3はゴーストトークンの長さ正規化を無効にして増幅バイアスを軽減する。 実世界のデータセットの実験では、この手法の有効性が示されている。
  論文  参考訳（メタデータ） (2024-06-21T06:47:28Z)
• TokenRec: Learning to Tokenize ID for LLM-based Generative Recommendation [16.93374578679005]
  TokenRecは、大規模言語モデル(LLM)ベースのRecommender Systems(RecSys)のトークン化と検索のための新しいフレームワークである。 我々の戦略であるMasked Vector-Quantized (MQ) Tokenizerは、協調フィルタリングから学んだマスキングされたユーザ/イテム表現を離散トークンに定量化する。 我々の生成的検索パラダイムは,自動回帰復号処理やビーム検索処理の不要さを解消するために,ユーザに対してKドル以上のアイテムを効率的に推奨するように設計されている。
  論文  参考訳（メタデータ） (2024-06-15T00:07:44Z)
• CodecLM: Aligning Language Models with Tailored Synthetic Data [51.59223474427153]
  命令追従能力のための高品質な合成データを適応的に生成するフレームワークであるCodecLMを紹介する。 まず、ターゲットの指示分布をキャプチャするために、オンザフライで生成された簡潔なキーワードであるメタデータにシード命令をエンコードする。 また、デコード中に自己論理とコントラストフィルタを導入し、データ効率の良いサンプルを調整する。
  論文  参考訳（メタデータ） (2024-04-08T21:15:36Z)
• Prompt Optimization via Adversarial In-Context Learning [51.18075178593142]
  adv-ICLは、ジェネレータとディスクリミネータの間の2プレイヤーゲームとして実装される。 ジェネレータは、判別器を騙すのに十分な出力を生成する。 本稿では,Adv-ICLが最先端のプロンプト最適化技術を大幅に改善することを示す。
  論文  参考訳（メタデータ） (2023-12-05T09:44:45Z)
• Representation Learning with Large Language Models for Recommendation [34.46344639742642]
  本稿では,大規模言語モデル (LLM) を用いた表現学習によるレコメンデータの強化を目的とした,モデルに依存しないフレームワーク RLMRec を提案する。 RLMRecには補助的なテキスト信号が組み込まれており、LLMが権限を持つユーザ/イテムプロファイリングパラダイムを開発し、LLMの意味空間と協調的関係信号の表現空間を整合させる。
  論文  参考訳（メタデータ） (2023-10-24T15:51:13Z)
• Contrastive Decoding Improves Reasoning in Large Language Models [55.16503283583076]
  コントラストデコーディングは,様々な推論タスクにおいて,グリージーデコーディングよりもアウト・オブ・ボックスの大幅な改善を実現することを示す。 本稿では,LLaMA-65BがHellaSwag Commonsense reasoning benchmark上でLLaMA 2, GPT-3.5, PaLM 2-Lより優れていることを示す。
  論文  参考訳（メタデータ） (2023-09-17T00:29:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。