論文の概要: SIDE: Semantic ID Embedding for effective learning from sequences

• arxiv url: http://arxiv.org/abs/2506.16698v1
• Date: Fri, 20 Jun 2025 02:40:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-23 19:00:05.314361
• Title: SIDE: Semantic ID Embedding for effective learning from sequences
• Title（参考訳）: SIDE:シークエンスからの効果的な学習のためのセマンティックID埋め込み
• Authors: Dinesh Ramasamy, Shakti Kumar, Chris Cadonic, Jiaxin Yang, Sohini Roychowdhury, Esam Abdel Rhman, Srihari Reddy,
• Abstract要約: シーケンスベースのレコメンデーションシステムは、産業用アドレコメンデーションシステムの最先端を推し進めている。 本稿では,ベクトル量子化(VQ)を利用して,コンパクトなセマンティックID(SID)をレコメンデーションモデルに注入する手法を提案する。 大規模産業広告推薦システムに適用した場合, 正規化エントロピー(NE)ゲインの2.4倍改善とデータフットプリントの3倍削減を実現する。
• 参考スコア（独自算出の注目度）: 1.2145532233226686
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sequence-based recommendations models are driving the state-of-the-art for industrial ad-recommendation systems. Such systems typically deal with user histories or sequence lengths ranging in the order of O(10^3) to O(10^4) events. While adding embeddings at this scale is manageable in pre-trained models, incorporating them into real-time prediction models is challenging due to both storage and inference costs. To address this scaling challenge, we propose a novel approach that leverages vector quantization (VQ) to inject a compact Semantic ID (SID) as input to the recommendation models instead of a collection of embeddings. Our method builds on recent works of SIDs by introducing three key innovations: (i) a multi-task VQ-VAE framework, called VQ fusion that fuses multiple content embeddings and categorical predictions into a single Semantic ID; (ii) a parameter-free, highly granular SID-to-embedding conversion technique, called SIDE, that is validated with two content embedding collections, thereby eliminating the need for a large parameterized lookup table; and (iii) a novel quantization method called Discrete-PCA (DPCA) which generalizes and enhances residual quantization techniques. The proposed enhancements when applied to a large-scale industrial ads-recommendation system achieves 2.4X improvement in normalized entropy (NE) gain and 3X reduction in data footprint compared to traditional SID methods.
• Abstract（参考訳）: シーケンスベースのレコメンデーションモデルは、産業用アドレコメンデーションシステムの最先端を推し進めている。 このようなシステムは通常、O(10^3)イベントからO(10^4)イベントまでのユーザー履歴やシーケンスの長さを扱う。 このスケールで埋め込みを追加することは、事前訓練されたモデルでは管理可能であるが、ストレージと推論コストの両方のために、それらをリアルタイムの予測モデルに組み込むことは困難である。 本稿では,ベクトル量子化(VQ)を活用して,コンパクトなセマンティックID(SID)を埋め込みの集合ではなくレコメンデーションモデルに注入する手法を提案する。 我々の手法は3つの重要なイノベーションを導入し、最近のSIDの成果に基づいている。 (i)VQ融合と呼ばれるマルチタスクVQ-VAEフレームワークで、複数のコンテンツ埋め込みとカテゴリ予測を単一のセマンティックIDに融合する。 (II)SIDEと呼ばれるパラメータフリーで高粒度なSID-to-embedding変換技術で,2つのコンテンツ埋め込みコレクションで検証し,大規模なパラメータ化ルックアップテーブルの必要性を解消する。 三 離散PCA(DPCA)と呼ばれる新しい量子化法で、残留量子化技術を一般化し、強化する。 大規模産業広告推薦システムに適用した場合, 正規化エントロピー(NE)ゲインの2.4倍, データフットプリントの3倍削減が達成される。

関連論文リスト

• SPARE: Single-Pass Annotation with Reference-Guided Evaluation for Automatic Process Supervision and Reward Modelling [70.01883340129204]
  シングルパス。 リファレンスガイドによる評価(SPARE) 参照ソリューションにおける各ソリューションステップを1つまたは複数のステップにアライメントすることで、単一のパス毎のアノテーションを可能にする新しい構造化フレームワーク。 SPAREは2.6倍の効率を実現し、実行時の38%しか必要としない。
  論文  参考訳（メタデータ） (2025-06-18T14:37:59Z)
• SPARKE: Scalable Prompt-Aware Diversity Guidance in Diffusion Models via RKE Score [16.00815718886712]
  拡散モデルは高忠実度画像合成と即時誘導生成モデルにおいて顕著な成功を収めている。 そこで本稿では,SPARKE(Scalble Prompt-Aware R'eny Kernel Entropy Diversity Guidance)法を提案する。 本研究では,複数のテキスト・画像拡散モデル上でSPARKE法を数値的に検証し,提案手法が有意な計算コストを伴わずに生成したデータの迅速な多様性を向上させることを示す。
  論文  参考訳（メタデータ） (2025-06-11T20:53:45Z)
• A Novel Mamba-based Sequential Recommendation Method [4.941272356564765]
  逐次レコメンデーション(SR)は、次のアクションを予測するためにユーザアクティビティをエンコードする。 トランスフォーマーベースのモデルはシーケンシャルレコメンデーションに有効であることが証明されているが、トランスフォーマーにおける自己アテンションモジュールの複雑さは、シーケンス長と2次にスケールする。 複数の低次元マンバ層と完全連結層を用いる新しいマルチヘッド潜在マンバアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2025-04-10T02:43:19Z)
• BBQRec: Behavior-Bind Quantization for Multi-Modal Sequential Recommendation [15.818669767036592]
  本稿では,2列列の量子化とセマンティックス・アウェア・シーケンス・モデリングを備えたBBQRec(Behavior-Bind Multi-modal Quantization for Sequential Recommendation)を提案する。 BBQRecは、コントラストのあるコードブック学習を通じて、ノイズの多いモダリティ特有の特徴からモダリティに依存しない行動パターンを分離する。 我々は、量子化された意味関係を用いて自己注意スコアを動的に調整する離散化類似度再重み付け機構を設計する。
  論文  参考訳（メタデータ） (2025-04-09T07:19:48Z)
• Pre-train, Align, and Disentangle: Empowering Sequential Recommendation with Large Language Models [26.331324261505486]
  Sequential Recommendation (SR) は、ユーザの過去のインタラクションにおけるシーケンシャルなパターンを活用して、ユーザの好みを正確に追跡することを目的としている。 大規模言語モデル(LLM)の有効性が証明されているにもかかわらず、商用レコメンデータシステムへの統合は妨げられている。 我々は,LLMを用いたSRモデルを強化するために,新しいPri-train,Align,Disentangle(PAD)フレームワークを導入する。
  論文  参考訳（メタデータ） (2024-12-05T12:17:56Z)
• Breaking Determinism: Fuzzy Modeling of Sequential Recommendation Using Discrete State Space Diffusion Model [66.91323540178739]
  シークエンシャルレコメンデーション(SR)は、ユーザーが過去の行動に基づいて興味を持つかもしれない項目を予測することを目的としている。 我々はSRを新しい情報理論の観点から再検討し、逐次モデリング手法がユーザの行動のランダム性と予測不可能性を適切に把握できないことを発見した。 ファジィ情報処理理論に触発された本論文では,制限を克服し,ユーザの関心事の進化をよりよく捉えるために,ファジィなインタラクションシーケンスの組を導入する。
  論文  参考訳（メタデータ） (2024-10-31T14:52:01Z)
• Boosting Low-Data Instance Segmentation by Unsupervised Pre-training with Saliency Prompt [103.58323875748427]
  この研究は、低データ体制のための新しい教師なし事前学習ソリューションを提供する。 近年のPrompting技術の成功に触発されて,QEISモデルを強化した新しい事前学習手法を導入する。 実験結果から,本手法は3つのデータセット上でのいくつかのQEISモデルを大幅に向上させることが示された。
  論文  参考訳（メタデータ） (2023-02-02T15:49:03Z)
• Mutual Exclusivity Training and Primitive Augmentation to Induce Compositionality [84.94877848357896]
  最近のデータセットは、標準的なシーケンス・ツー・シーケンスモデルにおける体系的な一般化能力の欠如を露呈している。 本稿では,セq2seqモデルの振る舞いを分析し,相互排他バイアスの欠如と全例を記憶する傾向の2つの要因を同定する。 広範に使用されている2つの構成性データセット上で、標準的なシーケンス・ツー・シーケンスモデルを用いて、経験的改善を示す。
  論文  参考訳（メタデータ） (2022-11-28T17:36:41Z)
• Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
  マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。 ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。 マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
  論文  参考訳（メタデータ） (2020-12-29T23:43:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。