Fugu-MT 論文翻訳(概要): Diffusion Generative Recommendation with Continuous Tokens

論文の概要: Diffusion Generative Recommendation with Continuous Tokens

arxiv url: http://arxiv.org/abs/2504.12007v2
Date: Fri, 10 Oct 2025 07:27:13 GMT
ステータス: 翻訳完了
システム内更新日: 2025-10-14 04:53:46.756886
Title: Diffusion Generative Recommendation with Continuous Tokens
Title（参考訳）: 連続トークンを用いた拡散生成レコメンデーション
Authors: Haohao Qu, Shanru Lin, Yujuan Ding, Yiqi Wang, Wenqi Fan,
Abstract要約: ContRecは、連続トークンをLLMベースのRecSysにシームレスに統合するフレームワークである。本研究は,次世代レコメンデーションシステムにおける連続トークン化と生成モデリングの可能性を強調した。
参考スコア（独自算出の注目度）: 21.222713476105195
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Recent advances in generative artificial intelligence, particularly large language models (LLMs), have opened new opportunities for enhancing recommender systems (RecSys). Most existing LLM-based RecSys approaches operate in a discrete space, using vector-quantized tokenizers to align with the inherent discrete nature of language models. However, these quantization methods often result in lossy tokenization and suboptimal learning, primarily due to inaccurate gradient propagation caused by the non-differentiable argmin operation in standard vector quantization. Inspired by the emerging trend of embracing continuous tokens in language models, we propose ContRec, a novel framework that seamlessly integrates continuous tokens into LLM-based RecSys. Specifically, ContRec consists of two key modules: a sigma-VAE Tokenizer, which encodes users/items with continuous tokens; and a Dispersive Diffusion module, which captures implicit user preference. The tokenizer is trained with a continuous Variational Auto-Encoder (VAE) objective, where three effective techniques are adopted to avoid representation collapse. By conditioning on the previously generated tokens of the LLM backbone during user modeling, the Dispersive Diffusion module performs a conditional diffusion process with a novel Dispersive Loss, enabling high-quality user preference generation through next-token diffusion. Finally, ContRec leverages both the textual reasoning output from the LLM and the latent representations produced by the diffusion model for Top-K item retrieval, thereby delivering comprehensive recommendation results. Extensive experiments on four datasets demonstrate that \ourname{} consistently outperforms both traditional and SOTA LLM-based recommender systems. Our results highlight the potential of continuous tokenization and generative modeling for advancing the next generation of recommender systems.
Abstract（参考訳）: 生成人工知能、特に大規模言語モデル(LLM)の最近の進歩は、レコメンデーターシステム(RecSys)を強化する新たな機会を開いた。既存のLLMベースのRecSysアプローチは、ベクトル量子化トークン化器を用いて、言語モデル固有の離散性と整合して、離散空間で動作する。しかし、これらの量子化法はしばしば、標準ベクトル量子化における非微分不可能なアルグミン演算によって引き起こされる不正確な勾配伝播によって、損失のあるトークン化と準最適学習をもたらす。言語モデルに連続トークンを取り入れる新たなトレンドに触発されて,LLMベースのRecSysに連続トークンをシームレスに統合する新しいフレームワークであるContRecを提案する。具体的には、ContRecは2つの重要なモジュールで構成されている。Sigma-VAE Tokenizerは、ユーザ/イテムを連続トークンでエンコードする。トークン化器は連続的変分オートエンコーダ(VAE)の目標を用いて訓練され、3つの効果的なテクニックが適用され、表現の崩壊を避けることができる。ユーザモデリング中にLLMバックボーンの以前に生成されたトークンを条件付けすることにより、分散拡散モジュールは、新しい分散損失を用いて条件付き拡散プロセスを実行し、次世代拡散による高品質なユーザ嗜好生成を可能にする。最後に、ContRecは、LLMから出力されるテキスト推論と、Top-Kアイテム検索のための拡散モデルによって生成される潜在表現の両方を活用し、包括的なレコメンデーション結果を提供する。 4つのデータセットに対する大規模な実験により、‘ourname{}’は従来のLLMベースのレコメンデータシステムとSOTA LLMベースのレコメンデータシステムの両方で一貫して優れていた。本研究は,次世代レコメンデーションシステムにおける連続トークン化と生成モデリングの可能性を強調した。

関連論文リスト

Towards Explainable Temporal User Profiling with LLMs [3.719862246745416]
我々は,大規模言語モデル(LLM)を利用して,ユーザのインタラクション履歴の自然言語要約を生成する。我々のフレームワークは、時間的ユーザの好みをモデル化するだけでなく、解釈可能な方法でレコメンデーションを説明するために使える自然言語プロファイルも生成する。
論文参考訳（メタデータ） (2025-05-01T22:02:46Z)
Fast Controlled Generation from Language Models with Adaptive Weighted Rejection Sampling [90.86991492288487]
トークンの制約を評価するのは違法にコストがかかる LCDは文字列上のグローバル分布を歪め、ローカル情報のみに基づいてトークンをサンプリングすることができる。我々のアプローチは最先端のベースラインよりも優れていることを示す。
論文参考訳（メタデータ） (2025-04-07T18:30:18Z)
Sparse Meets Dense: Unified Generative Recommendations with Cascaded Sparse-Dense Representations [22.48125906976824]
カスケード型組織的ビ表現型ジェネリック検索フレームワークを導入し,カスケード処理を通じてスパース意味IDと高密度ベクトルを統合する。本手法は,これらの表現をまずスパースIDを生成して交互に生成し,高密度ベクトルの生成を支援する条件として機能する。推論の間、COBRAは粗大な戦略を採用し、スパースID生成から始まり、生成モデルを介してそれらを密度の高いベクトルに精製する。
論文参考訳（メタデータ） (2025-03-04T10:00:05Z)
Few-Shot, No Problem: Descriptive Continual Relation Extraction [27.296604792388646]
AIシステムが現実世界のドメインにおける進化する関係を識別し、適応できるようにする上で、わずかなショットの連続関係抽出は重要な課題である。従来のメモリベースのアプローチは、しばしば限られたサンプルに過度に適合し、古い知識の強化に失敗する。本稿では,関係関係記述を生成するために,大規模言語モデルから始まる新しい検索ベースソリューションを提案する。
論文参考訳（メタデータ） (2025-02-27T23:44:30Z)
Enhancing Item Tokenization for Generative Recommendation through Self-Improvement [67.94240423434944]
生成レコメンデーションシステムは大規模言語モデル(LLM)によって駆動される現在のアイテムトークン化手法には、テキスト記述、数値文字列、離散トークンのシーケンスの使用が含まれる。自己改善アイテムトークン化手法を提案し,LLMがトレーニングプロセス中に独自のアイテムトークン化を洗練できるようにする。
論文参考訳（メタデータ） (2024-12-22T21:56:15Z)
KL-geodesics flow matching with a novel sampling scheme [4.347494885647007]
非自己回帰型言語モデルは全てのトークンを同時に生成し、従来の自己回帰型モデルよりも潜在的に高速である。テキスト生成のための条件付きフローマッチング手法について検討する。
論文参考訳（メタデータ） (2024-11-25T17:15:41Z)
Breaking Determinism: Fuzzy Modeling of Sequential Recommendation Using Discrete State Space Diffusion Model [66.91323540178739]
シークエンシャルレコメンデーション(SR)は、ユーザーが過去の行動に基づいて興味を持つかもしれない項目を予測することを目的としている。我々はSRを新しい情報理論の観点から再検討し、逐次モデリング手法がユーザの行動のランダム性と予測不可能性を適切に把握できないことを発見した。ファジィ情報処理理論に触発された本論文では,制限を克服し,ユーザの関心事の進化をよりよく捉えるために,ファジィなインタラクションシーケンスの組を導入する。
論文参考訳（メタデータ） (2024-10-31T14:52:01Z)
Learning Multi-Aspect Item Palette: A Semantic Tokenization Framework for Generative Recommendation [55.99632509895994]
マルチアスペクトセマンティックトークン化のための新しいアプローチであるLAMIAを紹介する。単一の埋め込みを使用するRQ-VAEとは異なり、LAMIAは独立的でセマンティックな並列な埋め込みの集合である「アイテムパレット」を学習する。その結果,提案手法よりも提案手法の精度が大幅に向上した。
論文参考訳（メタデータ） (2024-09-11T13:49:48Z)
ELCoRec: Enhance Language Understanding with Co-Propagation of Numerical and Categorical Features for Recommendation [38.64175351885443]
大規模言語モデルは自然言語処理(NLP)領域で栄えている。レコメンデーション指向の微調整モデルによって示された知性にもかかわらず、LLMはユーザーの行動パターンを完全に理解するのに苦労している。既存の作業は、その重要な情報を導入することなく、与えられたテキストデータに対してのみLLMを微調整するだけである。
論文参考訳（メタデータ） (2024-06-27T01:37:57Z)
Diffusion-based Contrastive Learning for Sequential Recommendation [6.3482831836623355]
本稿では,CaDiRecという,文脈対応拡散に基づく逐次推薦のためのコントラスト学習を提案する。 CaDiRecは、コンテキスト対応拡散モデルを使用して、シーケンス内の所定の位置に対する代替アイテムを生成する。フレームワーク全体をエンドツーエンドでトレーニングし、拡散モデルとレコメンデーションモデルの間でアイテムの埋め込みを共有します。
論文参考訳（メタデータ） (2024-05-15T14:20:37Z)
Scalable Learning of Latent Language Structure With Logical Offline Cycle Consistency [71.42261918225773]
概念的には、LOCCOは、トレーニング対象のセマンティクスを使用してラベルなしテキストのアノテーションを生成する、自己学習の一形態と見なすことができる。追加ボーナスとして、LOCCOによって生成されたアノテーションは、神経テキスト生成モデルをトレーニングするために自明に再利用することができる。
論文参考訳（メタデータ） (2023-05-31T16:47:20Z)
Diffusion Recommender Model [85.9640416600725]
そこで我々は,DiffRecと呼ばれる新しい拡散レコメンダモデルを提案し,その生成過程を認知的に学習する。ユーザインタラクションにおけるパーソナライズされた情報を維持するため、DiffRecは追加のノイズを低減し、画像合成のような純粋なノイズに対するユーザのインタラクションを損なうことを避ける。
論文参考訳（メタデータ） (2023-04-11T04:31:00Z)
Sequential Recommendation via Stochastic Self-Attention [68.52192964559829]
Transformerベースのアプローチでは、アイテムをベクトルとして埋め込んで、ドット積の自己アテンションを使用してアイテム間の関係を測定する。本稿では,これらの問題を克服するための新しいtextbfStochastic textbfSelf-textbfAttention (STOSA) を提案する。我々は、アイテムと項目の位置関係を列で特徴づける新しいワッサースタイン自己保持モジュールを考案した。
論文参考訳（メタデータ） (2022-01-16T12:38:45Z)
Contrastive Self-supervised Sequential Recommendation with Robust Augmentation [101.25762166231904]
Sequential Recommendation Describes a set of technique to model dynamic user behavior to order to predict future interaction in sequence user data。データスパーシリティやノイズの多いデータなど、古くて新しい問題はまだ残っている。逐次レコメンデーション(CoSeRec)のためのコントラスト型自己監督学習を提案する。
論文参考訳（メタデータ） (2021-08-14T07:15:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。