論文の概要: RASTP: Representation-Aware Semantic Token Pruning for Generative Recommendation with Semantic Identifiers

• arxiv url: http://arxiv.org/abs/2511.16943v1
• Date: Fri, 21 Nov 2025 04:39:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-24 18:08:18.88473
• Title: RASTP: Representation-Aware Semantic Token Pruning for Generative Recommendation with Semantic Identifiers
• Title（参考訳）: RASTP:セマンティック識別子を用いたジェネレーションレコメンデーションのための表現型セマンティックトケンプルーニング
• Authors: Tianyu Zhan, Kairui Fu, Zheqi Lv, Shengyu Zhang,
• Abstract要約: 本稿では,入力シーケンス内の少ない情報トークンを抽出するRASTP(Representation-Aware Semantic Token Pruning)を提案する。 実世界の3つのAmazonデータセットの実験によると、RASTPはトレーニング時間を26.7%削減し、レコメンデーションパフォーマンスをわずかに改善している。
• 参考スコア（独自算出の注目度）: 17.985317223101195
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generative recommendation systems typically leverage Semantic Identifiers (SIDs), which represent each item as a sequence of tokens that encode semantic information. However, representing item ID with multiple SIDs significantly increases input sequence length, which is a major determinant of computational complexity and memory consumption. While existing efforts primarily focus on optimizing attention computation and KV cache, we propose RASTP (Representation-Aware Semantic Token Pruning), which directly prunes less informative tokens in the input sequence. Specifically, RASTP evaluates token importance by combining semantic saliency, measured via representation magnitude, and attention centrality, derived from cumulative attention weights. Since RASTP dynamically prunes low-information or irrelevant semantic tokens, experiments on three real-world Amazon datasets show that RASTP reduces training time by 26.7\%, while maintaining or slightly improving recommendation performance. The code has been open-sourced at https://github.com/Yuzt-zju/RASTP.
• Abstract（参考訳）: 生成レコメンデーションシステムは一般的に、意味情報をエンコードするトークンのシーケンスとして各項目を表すセマンティック識別子(SID)を利用する。 しかし、複数のSIDを持つ項目IDの表現は入力シーケンス長を著しく増加させ、これは計算複雑性とメモリ消費の主要な決定要因である。 既存の取り組みは主に注意計算とKVキャッシュの最適化に重点を置いているが、入力シーケンスの少ないトークンを直接生成するRASTP(Representation-Aware Semantic Token Pruning)を提案する。 特に、RASTPは、累積的な注意重みから導かれる注意集中度と、表現等級によって測定される意味的塩分度を組み合わせて、トークンの重要性を評価する。 RASTPは低情報または無関係なセマンティックトークンを動的に発行するため、3つの実世界のAmazonデータセットの実験では、RASTPはトレーニング時間を26.7%削減し、レコメンデーションパフォーマンスを維持またはわずかに改善している。 コードはhttps://github.com/Yuzt-zju/RASTP.comで公開されている。

関連論文リスト

• DiffGRM: Diffusion-based Generative Recommendation Model [63.35379395455103]
  ジェネレーティブレコメンデーション(GR)は、トークン化器を介して各項目をn桁のセマンティックID(SID)として表現する新興パラダイムである。 自己回帰デコーダをマスク付き離散拡散モデル(MDM)に置き換える拡散ベースGRモデルDiffGRMを提案する。 実験では、複数のデータセットに対する強力な生成的および差別的推奨ベースラインよりも一貫した利得を示す。
  論文  参考訳（メタデータ） (2025-10-21T03:23:32Z)
• Low-Complexity Semantic Packet Aggregation for Token Communication via Lookahead Search [32.63323958382152]
  本稿では,トークンのパケット化に着目し,平均トークン類似度(ATS)を最大化する。 これを解決するために,ルックアヘッド検索(SemPA-Look)を用いたセマンティックアグリゲーションの新しいフレームワークを提案する。 SemPA-Lookは、リプレースせずにパケット内のトークン候補をサンプリングするルックアヘッド検索インスパイアされたアルゴリズムを適用している。
  論文  参考訳（メタデータ） (2025-06-24T09:25:44Z)
• Generating Long Semantic IDs in Parallel for Recommendation [29.97624755406803]
  セマンティックIDベースのリコメンデーションのための軽量フレームワークであるRPGを提案する。 我々は、マルチトークン予測損失を用いて、各トークンを独立して予測するようにモデルを訓練する。 実験の結果、セマンティックIDの長さを64にスケールアップすることで、RPGは生成ベースラインを上回ります。
  論文  参考訳（メタデータ） (2025-06-06T06:20:37Z)
• Unified Semantic and ID Representation Learning for Deep Recommenders [28.709935854073535]
  統一意味・ID表現学習フレームワークを提案する。 我々のフレームワークでは、IDトークンはユニークなアイテム属性をキャプチャし、セマンティックトークンは共有可能な、転送可能な特性を表す。 本フレームワークは,先行層におけるコサイン類似性と最終層におけるユークリッド距離を統合し,表現学習を最適化する。
  論文  参考訳（メタデータ） (2025-02-23T07:17:28Z)
• Order-agnostic Identifier for Large Language Model-based Generative Recommendation [94.37662915542603]
  アイテムは、ユーザ履歴をエンコードし、次のアイテムを生成するために、LLM(Large Language Models)の識別子に割り当てられる。 既存のアプローチでは、トークンシーケンス識別子を使用して、アイテムを個別のトークンシーケンスとして表現するか、IDまたはセマンティック埋め込みを使用して単一トークン識別子を使用する。 本稿では,セマンティック・トークンライザを利用するSETRecを提案する。
  論文  参考訳（メタデータ） (2025-02-15T15:25:38Z)
• Sharing Key Semantics in Transformer Makes Efficient Image Restoration [148.22790334216117]
  視覚変換器(ViT)の基盤となる自己注意機構は、すべてのグローバルな手がかりを包含する傾向がある。 劣化した画像の小さな部分、特にセマンティックに密に整合した部分では、回復プロセスを支援するために特に関連する情報を提供する。 本稿では, IR(e, SemanIR) 用の Transformer を通じて鍵セマンティクスを共有することで, IR の性能向上を提案する。
  論文  参考訳（メタデータ） (2024-05-30T12:45:34Z)
• Measuring the Interpretability of Unsupervised Representations via Quantized Reverse Probing [97.70862116338554]
  本稿では,自己教師付き表現の解釈可能性の測定問題について検討する。 我々は、後者を、表現と手動でラベル付けされた概念の空間の間の相互情報を推定するものとして定式化する。 提案手法は,多人数の自己教師付き表現の評価に利用し,解釈可能性による評価を行う。
  論文  参考訳（メタデータ） (2022-09-07T16:18:50Z)
• Dependency Parsing based Semantic Representation Learning with Graph Neural Network for Enhancing Expressiveness of Text-to-Speech [49.05471750563229]
  文の依存性関係を考慮したグラフニューラルネットワークに基づく意味表現学習手法を提案する。 提案手法は,LJSpeech と Bilzzard Challenge 2013 のデータセットにおいて,バニラBERT の機能をベースラインより優れていることを示す。
  論文  参考訳（メタデータ） (2021-04-14T13:09:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。