論文の概要: Generative Recommendation with Continuous-Token Diffusion

• arxiv url: http://arxiv.org/abs/2504.12007v1
• Date: Wed, 16 Apr 2025 12:01:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-17 14:40:16.926297
• Title: Generative Recommendation with Continuous-Token Diffusion
• Title（参考訳）: 連続的融解拡散による生成的勧告
• Authors: Haohao Qu, Wenqi Fan, Shanru Lin,
• Abstract要約: 大規模言語モデル(LLM)に基づく推薦システム(RecSys)のための新しいフレームワークを提案する。 DeftRecはtextbfdenoising ditextbfffusionモデルを導入し、LLMベースのRecSysがインプットとターゲットとして連続的なtextbftokenをシームレスにサポートできるようにする。 連続トークンが出力として与えられると、スコアベースの検索によって簡単にレコメンデーションを生成することができる。
• 参考スコア（独自算出の注目度）: 11.23267167046234
• License:
• Abstract: In recent years, there has been a significant trend toward using large language model (LLM)-based recommender systems (RecSys). Current research primarily focuses on representing complex user-item interactions within a discrete space to align with the inherent discrete nature of language models. However, this approach faces limitations due to its discrete nature: (i) information is often compressed during discretization; (ii) the tokenization and generation for the vast number of users and items in real-world scenarios are constrained by a limited vocabulary. Embracing continuous data presents a promising alternative to enhance expressive capabilities, though this approach is still in its early stages. To address this gap, we propose a novel framework, DeftRec, which incorporates \textbf{de}noising di\textbf{f}fusion models to enable LLM-based RecSys to seamlessly support continuous \textbf{t}oken as input and target. First, we introduce a robust tokenizer with a masking operation and an additive K-way architecture to index users and items, capturing their complex collaborative relationships into continuous tokens. Crucially, we develop a denoising diffusion model to process user preferences within continuous domains by conditioning on reasoning content from pre-trained large language model. During the denoising process, we reformulate the objective to include negative interactions, building a comprehensive understanding of user preferences for effective and accurate recommendation generation. Finally, given a continuous token as output, recommendations can be easily generated through score-based retrieval. Extensive experiments demonstrate the effectiveness of the proposed methods, showing that DeftRec surpasses competitive benchmarks, including both traditional and emerging LLM-based RecSys.
• Abstract（参考訳）: 近年,大規模言語モデル (LLM) ベースのレコメンデータシステム (RecSys) の利用が顕著な傾向にある。 現在の研究は、言語モデルの本質的な離散的な性質に合わせるために、離散空間内の複雑なユーザ・イテム相互作用を表現することに重点を置いている。 しかし、このアプローチは、その離散的な性質のために制限に直面します。 (i)情報はしばしば離散化時に圧縮される。 (2) 現実シナリオにおける多数のユーザやアイテムのトークン化と生成は,限られた語彙によって制限される。 継続的データの導入は表現力を高めるための有望な代替手段だが、このアプローチはまだ初期段階にある。 このギャップに対処するために、新しいフレームワーク DeftRec を提案する。これは、d\textbf{de}noising di\textbf{f}fusion model を組み込んで、LLM ベースの RecSys が連続した \textbf{t}oken を入力およびターゲットとしてシームレスにサポートできるようにする。 まず、マスキング操作と付加的なKウェイアーキテクチャにより、ユーザやアイテムをインデックス化し、複雑なコラボレーティブな関係を連続トークンにキャプチャする。 重要なことは,事前学習された大規模言語モデルからコンテンツを推論することで,ユーザの好みを連続的なドメイン内で処理するデノベーション拡散モデルを開発することである。 評価過程において、ネガティブなインタラクションを含む目的を再構築し、効果的で正確なレコメンデーション生成のためのユーザの嗜好を包括的に理解する。 最後に、出力として連続トークンが与えられた場合、スコアベースの検索によってリコメンデーションを簡単に生成できる。 DeftRec は従来の LLM ベースの RecSys など,競争力のあるベンチマークを上回り,提案手法の有効性を実証した。

関連論文リスト

• Enhancing Item Tokenization for Generative Recommendation through Self-Improvement [67.94240423434944]
  生成レコメンデーションシステムは大規模言語モデル(LLM)によって駆動される 現在のアイテムトークン化手法には、テキスト記述、数値文字列、離散トークンのシーケンスの使用が含まれる。 自己改善アイテムトークン化手法を提案し,LLMがトレーニングプロセス中に独自のアイテムトークン化を洗練できるようにする。
  論文  参考訳（メタデータ） (2024-12-22T21:56:15Z)
• Breaking Determinism: Fuzzy Modeling of Sequential Recommendation Using Discrete State Space Diffusion Model [66.91323540178739]
  シークエンシャルレコメンデーション(SR)は、ユーザーが過去の行動に基づいて興味を持つかもしれない項目を予測することを目的としている。 我々はSRを新しい情報理論の観点から再検討し、逐次モデリング手法がユーザの行動のランダム性と予測不可能性を適切に把握できないことを発見した。 ファジィ情報処理理論に触発された本論文では,制限を克服し,ユーザの関心事の進化をよりよく捉えるために,ファジィなインタラクションシーケンスの組を導入する。
  論文  参考訳（メタデータ） (2024-10-31T14:52:01Z)
• ELCoRec: Enhance Language Understanding with Co-Propagation of Numerical and Categorical Features for Recommendation [38.64175351885443]
  大規模言語モデルは自然言語処理(NLP)領域で栄えている。 レコメンデーション指向の微調整モデルによって示された知性にもかかわらず、LLMはユーザーの行動パターンを完全に理解するのに苦労している。 既存の作業は、その重要な情報を導入することなく、与えられたテキストデータに対してのみLLMを微調整するだけである。
  論文  参考訳（メタデータ） (2024-06-27T01:37:57Z)
• Diffusion-based Contrastive Learning for Sequential Recommendation [6.3482831836623355]
  本稿では,CaDiRecという,文脈対応拡散に基づく逐次推薦のためのコントラスト学習を提案する。 CaDiRecは、コンテキスト対応拡散モデルを使用して、シーケンス内の所定の位置に対する代替アイテムを生成する。 フレームワーク全体をエンドツーエンドでトレーニングし、拡散モデルとレコメンデーションモデルの間でアイテムの埋め込みを共有します。
  論文  参考訳（メタデータ） (2024-05-15T14:20:37Z)
• Amortizing intractable inference in large language models [56.92471123778389]
  難治性後部分布のサンプルとして, 償却ベイズ推定を用いる。 我々は,LLMファインチューニングの分散マッチングパラダイムが,最大習熟の代替となることを実証的に実証した。 重要な応用として、チェーン・オブ・ソート推論を潜在変数モデリング問題として解釈する。
  論文  参考訳（メタデータ） (2023-10-06T16:36:08Z)
• Scalable Learning of Latent Language Structure With Logical Offline Cycle Consistency [71.42261918225773]
  概念的には、LOCCOは、トレーニング対象のセマンティクスを使用してラベルなしテキストのアノテーションを生成する、自己学習の一形態と見なすことができる。 追加ボーナスとして、LOCCOによって生成されたアノテーションは、神経テキスト生成モデルをトレーニングするために自明に再利用することができる。
  論文  参考訳（メタデータ） (2023-05-31T16:47:20Z)
• Sequential Recommendation via Stochastic Self-Attention [68.52192964559829]
  Transformerベースのアプローチでは、アイテムをベクトルとして埋め込んで、ドット積の自己アテンションを使用してアイテム間の関係を測定する。 本稿では,これらの問題を克服するための新しいtextbfStochastic textbfSelf-textbfAttention (STOSA) を提案する。 我々は、アイテムと項目の位置関係を列で特徴づける新しいワッサースタイン自己保持モジュールを考案した。
  論文  参考訳（メタデータ） (2022-01-16T12:38:45Z)
• Contrastive Self-supervised Sequential Recommendation with Robust Augmentation [101.25762166231904]
  Sequential Recommendation Describes a set of technique to model dynamic user behavior to order to predict future interaction in sequence user data。 データスパーシリティやノイズの多いデータなど、古くて新しい問題はまだ残っている。 逐次レコメンデーション(CoSeRec)のためのコントラスト型自己監督学習を提案する。
  論文  参考訳（メタデータ） (2021-08-14T07:15:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。