Fugu-MT 論文翻訳(概要): Learnable Item Tokenization for Generative Recommendation

論文の概要: Learnable Item Tokenization for Generative Recommendation

arxiv url: http://arxiv.org/abs/2405.07314v2
Date: Mon, 19 Aug 2024 02:21:17 GMT
ステータス: 翻訳完了
システム内更新日: 2024-12-03 06:50:12.638308
Title: Learnable Item Tokenization for Generative Recommendation
Title（参考訳）: ジェネレーティブレコメンデーションのための学習可能なアイテムトークン化
Authors: Wenjie Wang, Honghui Bao, Xinyu Lin, Jizhi Zhang, Yongqi Li, Fuli Feng, See-Kiong Ng, Tat-Seng Chua,
Abstract要約: LETTER (Larnable Tokenizer for generaTivE Recommendation) を提案する。 LETTERは、セマンティック正規化のためのResidual Quantized VAE、協調正規化のためのコントラストアライメント損失、コードの割り当てバイアスを軽減するための多様性損失を組み込んでいる。
参考スコア（独自算出の注目度）: 78.30417863309061
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Utilizing powerful Large Language Models (LLMs) for generative recommendation has attracted much attention. Nevertheless, a crucial challenge is transforming recommendation data into the language space of LLMs through effective item tokenization. Current approaches, such as ID, textual, and codebook-based identifiers, exhibit shortcomings in encoding semantic information, incorporating collaborative signals, or handling code assignment bias. To address these limitations, we propose LETTER (a LEarnable Tokenizer for generaTivE Recommendation), which integrates hierarchical semantics, collaborative signals, and code assignment diversity to satisfy the essential requirements of identifiers. LETTER incorporates Residual Quantized VAE for semantic regularization, a contrastive alignment loss for collaborative regularization, and a diversity loss to mitigate code assignment bias. We instantiate LETTER on two models and propose a ranking-guided generation loss to augment their ranking ability theoretically. Experiments on three datasets validate the superiority of LETTER, advancing the state-of-the-art in the field of LLM-based generative recommendation.
Abstract（参考訳）: ジェネレーティブレコメンデーションのための強力な大規模言語モデル(LLM)の利用が注目されている。それでも重要な課題は、効率的なアイテムトークン化を通じてレコメンデーションデータをLLMの言語空間に変換することである。 ID、テキスト、コードブックベースの識別子といった現在のアプローチでは、セマンティック情報をエンコードしたり、協調的なシグナルを組み込んだり、コードの割り当てバイアスを処理するのに欠点がある。これらの制約に対処するため,LETTER (Larnable Tokenizer for generaTivE Recommendation) を提案する。 LETTERは、セマンティック正規化のためのResidual Quantized VAE、協調正規化のためのコントラストアライメント損失、コードの割り当てバイアスを軽減するための多様性損失を組み込んでいる。 LETTERを2つのモデルでインスタンス化し、理論的にランキング能力を高めるためにランキング誘導型世代損失を提案する。 3つのデータセットの実験は、LETTERの優位性を検証し、LLMに基づく生成レコメンデーションの分野で最先端の技術を推し進める。

関連論文リスト

ClarifyCoder: Clarification-Aware Fine-Tuning for Programmatic Problem Solving [3.683434365857386]
ClarifyCoderは、合成データ生成と命令チューニングを備えた新しいフレームワークである。我々は、曖昧な要求を認識してクエリする基本的な能力は、モデル自体に固有のものであるべきだと論じている。提案手法は,(1)不完全あるいは曖昧な要件に直面した場合に,即時コード生成よりも明確化を求めることをモデルに教える,微調整戦略である。
論文参考訳（メタデータ） (2025-04-23T00:34:39Z)
Universal Item Tokenization for Transferable Generative Recommendation [89.42584009980676]
本稿では、転送可能な生成レコメンデーションのためのユニバーサルアイテムトークン化手法であるUTGRecを提案する。木構造コードブックを考案することにより、コンテンツ表現をアイテムトークン化のための対応するコードに識別する。生のコンテンツ再構成には、アイテムテキストとイメージを離散表現から再構成するために、デュアルライトウェイトデコーダを用いる。協調的知識統合においては,共起的アイテムが類似していると仮定し,共起的アライメントと再構築を通じて協調的信号を統合する。
論文参考訳（メタデータ） (2025-04-06T08:07:49Z)
EAGER-LLM: Enhancing Large Language Models as Recommenders through Exogenous Behavior-Semantic Integration [60.47645731801866]
大規模言語モデル(LLM)は、高度なレコメンデータシステムの基本バックボーンとしてますます活用されている。 LLMは事前訓練された言語意味論であるが、llm-Backboneを通してゼロから協調意味論を学ぶ。内因性行動情報と内因性行動情報とを非侵襲的に統合するデコーダのみの生成推薦フレームワークであるEAGER-LLMを提案する。
論文参考訳（メタデータ） (2025-02-20T17:01:57Z)
Order-agnostic Identifier for Large Language Model-based Generative Recommendation [94.37662915542603]
アイテムは、ユーザ履歴をエンコードし、次のアイテムを生成するために、LLM(Large Language Models)の識別子に割り当てられる。既存のアプローチでは、トークンシーケンス識別子を使用して、アイテムを個別のトークンシーケンスとして表現するか、IDまたはセマンティック埋め込みを使用して単一トークン識別子を使用する。本稿では,セマンティック・トークンライザを利用するSETRecを提案する。
論文参考訳（メタデータ） (2025-02-15T15:25:38Z)
Semantic Convergence: Harmonizing Recommender Systems via Two-Stage Alignment and Behavioral Semantic Tokenization [10.47505806629852]
大規模言語モデル(LLM)は、歴史的行動からユーザの深い関心を識別する能力を持っている。従来のレコメンデーションモデルとLLMの長所を調和的に融合する新しいフレームワークを提案する。我々は、協調的な信号と自然言語意味論の微妙さを整合させることを目的とした、教師付き学習タスクのシリーズを設計する。
論文参考訳（メタデータ） (2024-12-18T12:07:58Z)
Break the ID-Language Barrier: An Adaption Framework for Sequential Recommendation [10.305878081909743]
ドメイン固有知識に富んだ事前学習ID埋め込みを,大規模言語モデルに統合するフレームワークであるIDLE-Adapterを提案する。 IDLE-Adapterはブリッジとして機能し、疎いユーザ-イテムインタラクションデータを高密度でLLM互換の表現に変換する。
論文参考訳（メタデータ） (2024-11-27T11:59:44Z)
Towards Scalable Semantic Representation for Recommendation [65.06144407288127]
大規模言語モデル(LLM)に基づく意味的IDを構築するために、Mixture-of-Codesを提案する。提案手法は,識別性と寸法の堅牢性に優れたスケーラビリティを実現し,提案手法で最高のスケールアップ性能を実現する。
論文参考訳（メタデータ） (2024-10-12T15:10:56Z)
Unleash LLMs Potential for Recommendation by Coordinating Twin-Tower Dynamic Semantic Token Generator [60.07198935747619]
動的セマンティック・インデックス・パラダイムを採用した最初の生成型RSであるTTDS(Twin-Tower Dynamic Semantic Recommender)を提案する。より具体的には、ツイン・トワー・セマンティック・トークン・ジェネレータをLLMベースのレコメンデータに統合する動的知識融合フレームワークを初めて提案する。提案したTTDSレコメンデータは,平均19.41%のヒットレート,20.84%のNDCG測定値を実現している。
論文参考訳（メタデータ） (2024-09-14T01:45:04Z)
STORE: Streamlining Semantic Tokenization and Generative Recommendation with A Single LLM [59.08493154172207]
本稿では,意味的トークン化と生成的レコメンデーションプロセスを合理化する統合フレームワークを提案する。我々は,意味的トークン化をテキスト・ツー・ケントタスクとして定式化し,生成的推薦をトークン・ツー・ケントタスクとして,トークン・ツー・ケント・コンストラクションタスクとテキスト・ツー・ケント補助タスクで補足する。これらのタスクはすべて生成的な方法でフレーム化され、単一の大規模言語モデル(LLM)バックボーンを使用してトレーニングされる。
論文参考訳（メタデータ） (2024-09-11T13:49:48Z)
ELCoRec: Enhance Language Understanding with Co-Propagation of Numerical and Categorical Features for Recommendation [38.64175351885443]
大規模言語モデルは自然言語処理(NLP)領域で栄えている。レコメンデーション指向の微調整モデルによって示された知性にもかかわらず、LLMはユーザーの行動パターンを完全に理解するのに苦労している。既存の作業は、その重要な情報を導入することなく、与えられたテキストデータに対してのみLLMを微調整するだけである。
論文参考訳（メタデータ） (2024-06-27T01:37:57Z)
Decoding Matters: Addressing Amplification Bias and Homogeneity Issue for LLM-based Recommendation [32.85339480783571]
Debiasing-Diversifying Decoding (D3) という新しいデコード手法を導入する。 D3はゴーストトークンの長さ正規化を無効にして増幅バイアスを軽減する。実世界のデータセットの実験では、この手法の有効性が示されている。
論文参考訳（メタデータ） (2024-06-21T06:47:28Z)
EAGER: Two-Stream Generative Recommender with Behavior-Semantic Collaboration [63.112790050749695]
本稿では,行動情報と意味情報の両方をシームレスに統合する新しい生成推薦フレームワークであるEAGERを紹介する。 EAGERの有効性を4つの公開ベンチマークで検証し,既存手法と比較して優れた性能を示した。
論文参考訳（メタデータ） (2024-06-20T06:21:56Z)
TokenRec: Learning to Tokenize ID for LLM-based Generative Recommendation [16.93374578679005]
TokenRecは、大規模言語モデル(LLM)ベースのRecommender Systems(RecSys)のトークン化と検索のための新しいフレームワークである。我々の戦略であるMasked Vector-Quantized (MQ) Tokenizerは、協調フィルタリングから学んだマスキングされたユーザ/イテム表現を離散トークンに定量化する。我々の生成的検索パラダイムは,自動回帰復号処理やビーム検索処理の不要さを解消するために,ユーザに対してKドル以上のアイテムを効率的に推奨するように設計されている。
論文参考訳（メタデータ） (2024-06-15T00:07:44Z)
Representation Learning with Large Language Models for Recommendation [34.46344639742642]
本稿では,大規模言語モデル (LLM) を用いた表現学習によるレコメンデータの強化を目的とした,モデルに依存しないフレームワーク RLMRec を提案する。 RLMRecには補助的なテキスト信号が組み込まれており、LLMが権限を持つユーザ/イテムプロファイリングパラダイムを開発し、LLMの意味空間と協調的関係信号の表現空間を整合させる。
論文参考訳（メタデータ） (2023-10-24T15:51:13Z)
Contrastive Decoding Improves Reasoning in Large Language Models [55.16503283583076]
コントラストデコーディングは,様々な推論タスクにおいて,グリージーデコーディングよりもアウト・オブ・ボックスの大幅な改善を実現することを示す。本稿では,LLaMA-65BがHellaSwag Commonsense reasoning benchmark上でLLaMA 2, GPT-3.5, PaLM 2-Lより優れていることを示す。
論文参考訳（メタデータ） (2023-09-17T00:29:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。