論文の概要: Masked Diffusion for Generative Recommendation

• arxiv url: http://arxiv.org/abs/2511.23021v1
• Date: Fri, 28 Nov 2025 09:36:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-01 19:47:55.842525
• Title: Masked Diffusion for Generative Recommendation
• Title（参考訳）: ジェネレーションレコメンデーションのためのマスク付き拡散
• Authors: Kulin Shah, Bhuvesh Kumar, Neil Shah, Liam Collins,
• Abstract要約: ジェネレーティブレコメンデーション(GR)とセマンティックID(SID)が従来のレコメンデーションアプローチに代わる有望な代替手段として登場した。 そこで我々は,マスク拡散を用いたユーザのSIDシーケンスの確率をモデル化し,学習することを提案する。 提案手法が自己回帰モデルより一貫して優れていることを示す。
• 参考スコア（独自算出の注目度）: 30.8737219110446
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generative recommendation (GR) with semantic IDs (SIDs) has emerged as a promising alternative to traditional recommendation approaches due to its performance gains, capitalization on semantic information provided through language model embeddings, and inference and storage efficiency. Existing GR with SIDs works frame the probability of a sequence of SIDs corresponding to a user's interaction history using autoregressive modeling. While this has led to impressive next item prediction performances in certain settings, these autoregressive GR with SIDs models suffer from expensive inference due to sequential token-wise decoding, potentially inefficient use of training data and bias towards learning short-context relationships among tokens. Inspired by recent breakthroughs in NLP, we propose to instead model and learn the probability of a user's sequence of SIDs using masked diffusion. Masked diffusion employs discrete masking noise to facilitate learning the sequence distribution, and models the probability of masked tokens as conditionally independent given the unmasked tokens, allowing for parallel decoding of the masked tokens. We demonstrate through thorough experiments that our proposed method consistently outperforms autoregressive modeling. This performance gap is especially pronounced in data-constrained settings and in terms of coarse-grained recall, consistent with our intuitions. Moreover, our approach allows the flexibility of predicting multiple SIDs in parallel during inference while maintaining superior performance to autoregressive modeling.
• Abstract（参考訳）: セマンティックID(SID)を備えたジェネレーティブレコメンデーション(GR)は、パフォーマンス向上、言語モデル埋め込みによるセマンティック情報の提供、推論と記憶効率の向上により、従来のレコメンデーションアプローチに代わる有望な代替手段として登場した。 SIDを持つ既存のGRは、自己回帰モデルを用いてユーザのインタラクション履歴に対応するSIDのシーケンスの確率をフレーム化する。 これは特定の環境での次の項目予測のパフォーマンスを著しく向上させたが、SIDを用いた自動回帰GRは、シーケンシャルなトークン単位の復号化、トレーニングデータの非効率な使用、トークン間の短文関係の学習へのバイアスなどにより、高価な推論に苦しむ。 NLPの最近のブレークスルーに触発されて、マスク拡散を用いたユーザのSIDシーケンスの確率をモデル化し、学習することを提案する。 マスク付き拡散は、シークエンス分布の学習を容易にするために離散マスキングノイズを使用し、マスク付きトークンの確率を、マスク付きトークンの並列復号を可能にする条件独立性としてモデル化する。 提案手法が自己回帰モデルより一貫して優れていることを示す。 このパフォーマンスギャップは、特にデータ制約のある設定や粗い粒度のリコールで顕著であり、直感と一致しています。 さらに,本手法は,自動回帰モデルよりも優れた性能を維持しつつ,推論中に複数のSIDを並列に予測する柔軟性を実現する。

関連論文リスト

• DINGO: Constrained Inference for Diffusion LLMs [5.971462597321995]
  拡散モデルは、ユーザが指定した形式的な制約を確実に強制する能力に欠ける。 本稿では,動的プログラミングに基づく動的復号化戦略であるINGOを提案する。
  論文  参考訳（メタデータ） (2025-05-29T04:04:54Z)
• Diffusion Generative Recommendation with Continuous Tokens [21.222713476105195]
  ContRecは、連続トークンをLLMベースのRecSysにシームレスに統合するフレームワークである。 ContRecは従来型およびSOTA LLMベースのレコメンデータシステムよりも一貫して優れていることを示す。 本研究は,次世代レコメンデーションシステムにおける連続トークン化と生成モデリングの可能性を強調した。
  論文  参考訳（メタデータ） (2025-04-16T12:01:03Z)
• Breaking Determinism: Fuzzy Modeling of Sequential Recommendation Using Discrete State Space Diffusion Model [66.91323540178739]
  シークエンシャルレコメンデーション(SR)は、ユーザーが過去の行動に基づいて興味を持つかもしれない項目を予測することを目的としている。 我々はSRを新しい情報理論の観点から再検討し、逐次モデリング手法がユーザの行動のランダム性と予測不可能性を適切に把握できないことを発見した。 ファジィ情報処理理論に触発された本論文では,制限を克服し,ユーザの関心事の進化をよりよく捉えるために,ファジィなインタラクションシーケンスの組を導入する。
  論文  参考訳（メタデータ） (2024-10-31T14:52:01Z)
• Non-autoregressive Sequence-to-Sequence Vision-Language Models [59.445765313094434]
  本稿では,デコーダ内の複数の推論経路をマージする並列デコードシーケンス・ツー・シーケンス・ビジョン言語モデルを提案する。 このモデルは最先端の自己回帰モデルと同等のパフォーマンスを実現するが、推論時間では高速である。
  論文  参考訳（メタデータ） (2024-03-04T17:34:59Z)
• Amortizing intractable inference in large language models [56.92471123778389]
  難治性後部分布のサンプルとして, 償却ベイズ推定を用いる。 我々は,LLMファインチューニングの分散マッチングパラダイムが,最大習熟の代替となることを実証的に実証した。 重要な応用として、チェーン・オブ・ソート推論を潜在変数モデリング問題として解釈する。
  論文  参考訳（メタデータ） (2023-10-06T16:36:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。