論文の概要: Facet-Aware Multi-Head Mixture-of-Experts Model with Text-Enhanced Pre-training for Sequential Recommendation

• arxiv url: http://arxiv.org/abs/2601.12301v1
• Date: Sun, 18 Jan 2026 08:00:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-21 22:47:22.560714
• Title: Facet-Aware Multi-Head Mixture-of-Experts Model with Text-Enhanced Pre-training for Sequential Recommendation
• Title（参考訳）: 逐次推薦のためのテキスト強化事前学習による面認識型マルチヘッド混合実験モデル
• Authors: Mingrui Liu, Sixiao Zhang, Cheng Long,
• Abstract要約: 逐次レコメンデーション(SR)システムは、インタラクション履歴を活用することで、ユーザの動的嗜好を捉えるのに優れている。 この表現だけでは、アイテムの多面的な性質を捉えるには不十分である、と我々は主張する。 FAME(Facet-Aware Multi-Head Mixture-of-Experts Model for Sequential Recommendation)という新しいアーキテクチャを提案する。
• 参考スコア（独自算出の注目度）: 32.13241752028528
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sequential recommendation (SR) systems excel at capturing users' dynamic preferences by leveraging their interaction histories. Most existing SR systems assign a single embedding vector to each item to represent its features, adopting various models to combine these embeddings into a sequence representation that captures user intent. However, we argue that this representation alone is insufficient to capture an item's multi-faceted nature (e.g., movie genres, starring actors). Furthermore, users often exhibit complex and varied preferences within these facets (e.g., liking both action and musical films within the genre facet), which are challenging to fully represent with static identifiers. To address these issues, we propose a novel architecture titled Facet-Aware Multi-Head Mixture-of-Experts Model for Sequential Recommendation (FAME). We leverage sub-embeddings from each head in the final multi-head attention layer to predict the next item separately, effectively capturing distinct item facets. A gating mechanism then integrates these predictions by dynamically determining their importance. Additionally, we introduce a Mixture-of-Experts (MoE) network within each attention head to disentangle varied user preferences within each facet, utilizing a learnable router network to aggregate expert outputs based on context. Complementing this architecture, we design a Text-Enhanced Facet-Aware Pre-training module to overcome the limitations of randomly initialized embeddings. By utilizing a pre-trained text encoder and employing an alternating supervised contrastive learning objective, we explicitly disentangle facet-specific features from textual metadata (e.g., descriptions) before sequential training begins. This ensures that the item embeddings are semantically robust and aligned with the downstream multi-facet framework.
• Abstract（参考訳）: 逐次レコメンデーション(SR)システムは、インタラクション履歴を活用することで、ユーザの動的嗜好を捉えるのに優れている。 ほとんどの既存のSRシステムは、各アイテムに単一の埋め込みベクトルを割り当てて特徴を表現し、これらの埋め込みをユーザ意図をキャプチャするシーケンス表現に組み合わせるために様々なモデルを採用する。 しかし、この表現だけでは、アイテムの多面的な性質(映画ジャンル、俳優の出演など)を捉えるには不十分であると主張する。 さらに、ユーザはこれらのファセット内で複雑で多様な好み(例えば、ジャンルのファセット内のアクション映画とミュージカル映画の両方を好む)を示し、静的な識別子で完全に表現することは困難である。 これらの課題に対処するため、我々はFacet-Aware Multi-Head Mixture-of-Experts Model for Sequential Recommendation (FAME)という新しいアーキテクチャを提案する。 最終マルチヘッドアテンション層における各頭部からのサブ埋め込みを利用して、次の項目を別々に予測し、異なる項目のファセットを効果的に取得する。 ゲーティング機構はこれらの予測を、それらの重要性を動的に決定することによって統合する。 さらに,各アテンションヘッド内にMixture-of-Experts(MoE)ネットワークを導入し,各ファセット内に様々なユーザの嗜好を分散させ,学習可能なルータネットワークを用いてコンテキストに基づいて専門家の出力を集約する。 このアーキテクチャを補完し、ランダムに初期化された埋め込みの制限を克服するために、Text-Enhanced Facet-Aware Pre-trainingモジュールを設計する。 事前学習されたテキストエンコーダを利用して、相互に監督されたコントラスト学習の目的を取り入れることで、逐次学習を開始する前に、テキストメタデータ(例えば記述)から顔の特徴を明示的に切り離す。 これにより、アイテムの埋め込みがセマンティックに堅牢で、下流のマルチフェイスフレームワークと整合することを保証します。

関連論文リスト

• Leveraging Scene Context with Dual Networks for Sequential User Behavior Modeling [58.72480539725212]
  本稿では,シーンとアイテム間の動的興味や相互作用を捉えるために,新しいDSPネットワークを提案する。 DSPnetは、アイテムやシーンに対するユーザの動的関心を学習するための2つの並列ネットワークと、将来の振る舞いを予測するためのインタープレイをキャプチャするシーケンス機能拡張モジュールで構成されている。
  論文  参考訳（メタデータ） (2025-09-30T12:26:57Z)
• Context-Aware Lifelong Sequential Modeling for Online Click-Through Rate Prediction [4.561273938467592]
  本研究では,生涯連続モデリングのためのコンテキスト認識関心ネットワーク(CAIN)を提案する。 CAINは、TCN(Temporal Convolutional Network)を使用して、生涯にわたって各項目のコンテキスト認識表現を生成する。 予測精度およびオンラインパフォーマンス指標の観点から,CAINが既存手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-02-18T08:24:53Z)
• Facet-Aware Multi-Head Mixture-of-Experts Model for Sequential Recommendation [25.516648802281626]
  逐次レコメンデーションのためのFAME(Facet-Aware Multi-Head Mixture-of-Experts Model for Sequential Recommendation)という新しい構造を提案する。 最後のマルチヘッドアテンション層における各頭部からのサブ埋め込みを活用して,次の項目を別々に予測する。 ゲーティングメカニズムは、各ヘッドからのレコメンデーションを統合し、それらの重要性を動的に決定する。
  論文  参考訳（メタデータ） (2024-11-03T06:47:45Z)
• Learning Multi-Aspect Item Palette: A Semantic Tokenization Framework for Generative Recommendation [55.99632509895994]
  マルチアスペクトセマンティックトークン化のための新しいアプローチであるLAMIAを紹介する。 単一の埋め込みを使用するRQ-VAEとは異なり、LAMIAは独立的でセマンティックな並列な埋め込みの集合である「アイテムパレット」を学習する。 その結果,提案手法よりも提案手法の精度が大幅に向上した。
  論文  参考訳（メタデータ） (2024-09-11T13:49:48Z)
• MMGRec: Multimodal Generative Recommendation with Transformer Model [81.61896141495144]
  MMGRecは、マルチモーダルレコメンデーションに生成パラダイムを導入することを目指している。 まず,階層的な量子化手法であるGraph CF-RQVAEを考案し,各項目にRec-IDを割り当てる。 次に、Transformerベースのレコメンデータをトレーニングし、過去のインタラクションシーケンスに基づいて、ユーザが推奨するアイテムのRec-IDを生成する。
  論文  参考訳（メタデータ） (2024-04-25T12:11:27Z)
• MISSRec: Pre-training and Transferring Multi-modal Interest-aware Sequence Representation for Recommendation [61.45986275328629]
  逐次レコメンデーションのためのマルチモーダル事前学習・転送学習フレームワークであるMISSRecを提案する。 ユーザ側ではトランスフォーマーベースのエンコーダデコーダモデルを設計し、コンテキストエンコーダがシーケンスレベルのマルチモーダルユーザ興味を捉えることを学習する。 候補項目側では,ユーザ適応項目表現を生成するために動的融合モジュールを採用する。
  論文  参考訳（メタデータ） (2023-08-22T04:06:56Z)
• Multi-Behavior Hypergraph-Enhanced Transformer for Sequential Recommendation [33.97708796846252]
  短期および長期のクロスタイプの振る舞い依存を捉えるために,新しいMBHT(Multi-Behavior Hypergraph-enhanced Transformer framework)を導入する。 具体的には、多スケールトランスフォーマーは、細粒度および粗粒度から振舞い対応のシーケンシャルパターンを共同符号化するために、低ランクの自己アテンションを備える。
  論文  参考訳（メタデータ） (2022-07-12T15:07:21Z)
• Sparse-Interest Network for Sequential Recommendation [78.83064567614656]
  本稿では,シーケンシャルレコメンデーションのためのtextbfSparse textbfInterest textbfNEtwork(SINE)を提案する。 我々のスパース関心モジュールは、大きなコンセプトプールから各ユーザに対してスパースの概念セットを適応的に推測することができる。 SINEは最先端の手法よりも大幅に改善できる。
  論文  参考訳（メタデータ） (2021-02-18T11:03:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。