論文の概要: GRACE: Generative Recommendation via Journey-Aware Sparse Attention on Chain-of-Thought Tokenization

• arxiv url: http://arxiv.org/abs/2507.14758v1
• Date: Sat, 19 Jul 2025 21:23:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-22 20:51:32.040079
• Title: GRACE: Generative Recommendation via Journey-Aware Sparse Attention on Chain-of-Thought Tokenization
• Title（参考訳）: GRACE: チェーン・オブ・ソート・トークン化におけるジャーニー・アウェア・スパース・アテンションによるジェネレーティブ・レコメンデーション
• Authors: Luyi Ma, Wanjia Zhang, Kai Zhao, Abhishek Kulkarni, Lalitesh Morishetti, Anjana Ganesh, Ashish Ranjan, Aashika Padmanabhan, Jianpeng Xu, Jason Cho, Praveen Kanumala, Kaushiki Nag, Sumit Dutta, Kamiya Motwani, Malay Patel, Evren Korpeoglu, Sushant Kumar, Kannan Achan,
• Abstract要約: GRACE (Generative Recommendation via journey-aware sparse Attention on Chain-of-thinkt tokEnization) は、シーケンシャルレコメンデーションのための新しい生成フレームワークである。 セマンティックトークン化に関する製品ナレッジグラフからの明示的な属性とユーザとイテムのインタラクションをエンコードする。 2つの実世界のデータセットの実験により、GRACEは最先端のベースラインを大幅に上回っていることが示された。
• 参考スコア（独自算出の注目度）: 11.36467087889745
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Generative models have recently demonstrated strong potential in multi-behavior recommendation systems, leveraging the expressive power of transformers and tokenization to generate personalized item sequences. However, their adoption is hindered by (1) the lack of explicit information for token reasoning, (2) high computational costs due to quadratic attention complexity and dense sequence representations after tokenization, and (3) limited multi-scale modeling over user history. In this work, we propose GRACE (Generative Recommendation via journey-aware sparse Attention on Chain-of-thought tokEnization), a novel generative framework for multi-behavior sequential recommendation. GRACE introduces a hybrid Chain-of-Thought (CoT) tokenization method that encodes user-item interactions with explicit attributes from product knowledge graphs (e.g., category, brand, price) over semantic tokenization, enabling interpretable and behavior-aligned generation. To address the inefficiency of standard attention, we design a Journey-Aware Sparse Attention (JSA) mechanism, which selectively attends to compressed, intra-, inter-, and current-context segments in the tokenized sequence. Experiments on two real-world datasets show that GRACE significantly outperforms state-of-the-art baselines, achieving up to +106.9% HR@10 and +106.7% NDCG@10 improvement over the state-of-the-art baseline on the Home domain, and +22.1% HR@10 on the Electronics domain. GRACE also reduces attention computation by up to 48% with long sequences.
• Abstract（参考訳）: 生成モデルは、最近、トランスフォーマーの表現力とトークン化を利用して、パーソナライズされたアイテムシーケンスを生成するマルチビヘイビアレコメンデーションシステムにおいて、強力な可能性を示している。 しかし,(1)トークン推論のための明示的な情報の欠如,(2)トークン化後の2次注意複雑性と密度シーケンス表現による高い計算コスト,(3)ユーザ履歴に対する限定的なマルチスケールモデリングなどにより,その採用は妨げられている。 本研究では,多行動的レコメンデーションのための新たな生成フレームワークであるGRACE(Generative Recommendation via journey-aware sparse Attention on Chain-of-Thought TokEnization)を提案する。 GRACEはハイブリッドなChain-of-Thought(CoT)トークン化手法を導入し、製品知識グラフ(例えば、カテゴリ、ブランド、価格)からの明示的な属性とユーザ-イテムの相互作用を意味的トークン化より符号化し、解釈可能かつ行動整合した生成を可能にする。 標準的な注意力の非効率性に対処するため,トークン化シーケンス内の圧縮,イントラ,イントラ,カレントコンテクストセグメントに選択的に参画するJourney-Aware Sparse Attention (JSA) 機構を設計する。 2つの実世界のデータセットの実験により、GRACEは最先端のベースラインを著しく上回り、Homeドメインの最先端のベースラインに対して+106.9%のHR@10と+106.7%のNDCG@10、Electronicsドメインでは+22.1%のHR@10を達成している。 GRACEはまた、長いシーケンスで注意計算を最大48%削減する。

関連論文リスト

• Contrastive Matrix Completion with Denoising and Augmented Graph Views for Robust Recommendation [1.0128808054306186]
  マトリックス補完は推薦システムにおいて広く採用されているフレームワークである。 コントラスト学習(MCCL)を用いた行列補完法を提案する。 提案手法は,予測スコアの数値精度を向上するだけでなく,ランキング指標の最大36%を向上する上で,優れたランキングを生成する。
  論文  参考訳（メタデータ） (2025-06-12T12:47:35Z)
• Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free [81.65559031466452]
  我々は、ゲーティング強化ソフトマックスアテンションの変種を調べる実験を行った。 SDPA(Scaled Dot-Product Attention)後の頭部特異的シグモイドゲートを簡易に修正することで,性能が向上することがわかった。
  論文  参考訳（メタデータ） (2025-05-10T17:15:49Z)
• Compile Scene Graphs with Reinforcement Learning [69.36723767339001]
  次世代予測は大規模言語モデル(LLM)の訓練の基本原理である 本稿では,マルチモーダルLLM(M-LLM)であるR1-SGGを紹介する。 私たちは、Hard Recall、Hard Recall+Relax、Soft Recallの3つのリコールベースのバリエーションを含む、グラフ中心の報酬セットを設計します。
  論文  参考訳（メタデータ） (2025-04-18T10:46:22Z)
• ESPFormer: Doubly-Stochastic Attention with Expected Sliced Transport Plans [13.695885742446027]
  自己注意は、トレーニング中にいくつかのトークンを過度に集中させ、その結果、準最適情報フローをもたらす可能性がある。 我々は,スライスされた最適輸送に基づく,新しい並列化可能な二重確率的アテンション機構を提案する。 本手法は, 繰り返しシンクホーン正規化を伴わずに二重性を適用し, 効率を著しく向上させる。
  論文  参考訳（メタデータ） (2025-02-11T21:20:48Z)
• Long-Sequence Recommendation Models Need Decoupled Embeddings [49.410906935283585]
  我々は、既存の長期推薦モデルにおいて無視された欠陥を識別し、特徴付ける。 埋め込みの単一のセットは、注意と表現の両方を学ぶのに苦労し、これら2つのプロセス間の干渉につながります。 本稿では,2つの異なる埋め込みテーブルを別々に学習し,注意と表現を完全に分離する,DARE(Decoupled Attention and Representation Embeddings)モデルを提案する。
  論文  参考訳（メタデータ） (2024-10-03T15:45:15Z)
• Impression-Informed Multi-Behavior Recommender System: A Hierarchical Graph Attention Approach [4.03161352925235]
  textbfHierarchical textbfMulti-behavior textbfGraph Attention textbfNetwork (HMGN)を紹介する。 この先駆的なフレームワークは、注意機構を利用して、行動内および行動内の両方から情報を識別する。 従来のグラフニューラルネットワーク手法に比べて,NDCG@100で最大64%の顕著なパフォーマンス向上を登録する。
  論文  参考訳（メタデータ） (2023-09-06T17:09:43Z)
• Graph Masked Autoencoder for Sequential Recommendation [10.319298705782058]
  本稿では,自動エンコーダ付きシーケンシャルレコメンダシステム(MAERec, Graph Masked AutoEncoder-enhanced Sequence Recommender System)を提案する。 提案手法は最先端のベースラインモデルを大幅に上回り,データノイズや空間性に対するより正確な表現を学習することができる。
  論文  参考訳（メタデータ） (2023-05-08T10:57:56Z)
• Sequential Recommendation via Stochastic Self-Attention [68.52192964559829]
  Transformerベースのアプローチでは、アイテムをベクトルとして埋め込んで、ドット積の自己アテンションを使用してアイテム間の関係を測定する。 本稿では,これらの問題を克服するための新しいtextbfStochastic textbfSelf-textbfAttention (STOSA) を提案する。 我々は、アイテムと項目の位置関係を列で特徴づける新しいワッサースタイン自己保持モジュールを考案した。
  論文  参考訳（メタデータ） (2022-01-16T12:38:45Z)
• Causal Incremental Graph Convolution for Recommender System Retraining [89.25922726558875]
  実世界のレコメンデーションシステムは、新しいデータを維持するために定期的に再トレーニングする必要がある。 本研究では,GCNに基づくレコメンデータモデルを用いて,グラフ畳み込みネットワーク(GCN)を効率的に再学習する方法を検討する。
  論文  参考訳（メタデータ） (2021-08-16T04:20:09Z)
• Heuristic Semi-Supervised Learning for Graph Generation Inspired by Electoral College [80.67842220664231]
  本稿では,新たなノードやエッジを自動的に拡張して,高密度サブグラフ内のラベル類似性を向上する,新しい前処理手法であるElectoral College(ELCO)を提案する。 テストされたすべての設定において、我々の手法はベースモデルの平均スコアを4.7ポイントの広いマージンで引き上げるとともに、常に最先端のモデルよりも優れています。
  論文  参考訳（メタデータ） (2020-06-10T14:48:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。