論文の概要: Mixture of Sequence: Theme-Aware Mixture-of-Experts for Long-Sequence Recommendation

• arxiv url: http://arxiv.org/abs/2604.20858v1
• Date: Sun, 01 Mar 2026 23:20:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-04 02:32:14.118684
• Title: Mixture of Sequence: Theme-Aware Mixture-of-Experts for Long-Sequence Recommendation
• Title（参考訳）: 列の混合:長列勧告のためのテーマ・アウェア・ミックス-オブ・エクササイズ
• Abstract要約: ノイズの多い生ユーザシーケンスからテーマ特化サブシーケンスとマルチスケールサブシーケンスを抽出し,正確な予測を実現するモデルに依存しないMoE手法を提案する。 実験結果から, FLOPは少ないが, MoS はSOTA の性能を一貫して達成できることがわかった。
• 参考スコア（独自算出の注目度）: 48.98369214412951
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Sequential recommendation has rapidly advanced in click-through rate prediction due to its ability to model dynamic user interests. A key challenge, however, lies in modeling long sequences: users often exhibit significant interest shifts, introducing substantial irrelevant or misleading information. Our empirical analysis corroborates this challenge and uncovers a recurring behavioral pattern in long sequences (\textit{session hopping}): user interests remain stable within short temporal spans (\textit{sessions}) but shift drastically across sessions and may reappear after multiple sessions. To address this challenge, we propose the Mixture of Sequence (MoS) framework, a model-agnostic MoE approach that achieves accurate predictions by extracting theme-specific and multi-scale subsequences from noisy raw user sequences. First, MoS employs a theme-aware routing mechanism to adaptively learn the latent themes of user sequences and organizes these sequences into multiple coherent subsequences. Each subsequence contains only sessions aligned with a specific theme, thereby effectively filtering out irrelevant or even misleading information introduced by user interest shifts in session hopping. In addition, to alleviate potential information loss, we introduce a multi-scale fusion mechanism, which leverages three types of experts to capture global sequence characteristics, short-term user behaviors, and theme-specific semantic patterns. Together, these two mechanisms endow MoS with the ability to deliver accurate recommendations from multi-faceted and multi-scale perspectives. Experimental results demonstrate that MoS consistently achieves the SOTA performance while introducing fewer FLOPs compared with other MoE counterparts, providing strong evidence of its excellent balance between utility and efficiency. The code is available at https://github.com/xiaolin-cs/MoS.
• Abstract（参考訳）: 動的ユーザの興味をモデル化する能力により,クリックスルー率の予測が急速に向上した。 しかし、重要な課題は、長いシーケンスをモデル化することである。ユーザーはしばしば大きな関心の変化を示し、重大な無関係または誤解を招く情報を導入します。 我々の経験的分析は、この課題を裏付け、長いシーケンス(\textit{session hopping})で繰り返し発生する行動パターンを明らかにする。 この課題に対処するために,ノイズの多い生ユーザシーケンスからテーマ固有およびマルチスケールのサブシーケンスを抽出することにより,正確な予測を実現するモデルに依存しないMoE手法であるMixture of Sequence(MoS)フレームワークを提案する。 まず、MoSはテーマ対応のルーティング機構を用いて、ユーザシーケンスの潜在テーマを適応的に学習し、これらのシーケンスを複数のコヒーレントサブシーケンスに整理する。 各サブシーケンスは、特定のテーマに整合したセッションのみを含むため、セッションホッピングにおいてユーザ関心の変化によって引き起こされる無関係または誤解を招く情報を効果的にフィルタリングする。 さらに,潜在的な情報損失を軽減するために,グローバルなシーケンス特性,短期ユーザ行動,テーマ固有のセマンティックパターンを捉えるために,3種類の専門家を活用したマルチスケール融合機構を導入する。 これら2つのメカニズムは、マルチフェイスおよびマルチスケールの視点から正確なレコメンデーションを提供する能力をMoSに与えている。 実験結果から, FLOP を他の MoE と比較した場合に比べ, FLOP の低減が図られ, 有効性と効率のバランスが良好であることが示唆された。 コードはhttps://github.com/xiaolin-cs/MoS.comで公開されている。

関連論文リスト

• Drift-Aware Multimodal User Representation Learning via Multi-Scale Temporal Modeling and Sparse Mixture-of-Experts [8.624467983444255]
  ドリフト対応マルチモーダルユーザ表現学習のための統合フレームワークDUMoEを提案する。 本モデルでは, 静的なプロファイル, 短期的行動信号, 長期的依存関係をコヒーレントな表現にキャプチャし, 統合する時間的ダイナミックス対応のバックボーンと, 専門的特殊化と適応的ルーティングによって複数の潜伏的関心を分散するスパース・ミックス・オブ・エキスパート(MoE)インダクタとから構成される。 実世界のソーシャルメディアデータセットの実験は、DUMoEがユーザ関心予測とインタラクション予測の両方において、最先端の手法を一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2026-08-26T13:15:17Z)
• GEMs: Breaking the Long-Sequence Barrier in Generative Recommendation with a Multi-Stream Decoder [54.64137490632567]
  本稿では,長期的履歴からユーザのシーケンスをキャプチャする新しい統一フレームワークを提案する。 GEM(Generative Multi-streamer)は、ユーザのシーケンスを3つのストリームに分割する。 大規模産業データセットに対する大規模な実験により、GEMは推奨精度において最先端の手法を大幅に上回っていることが示された。
  論文  参考訳（メタデータ） (2026-02-14T06:42:56Z)
• Unleashing the Potential of Sparse Attention on Long-term Behaviors for CTR Prediction [17.78352301235849]
  本研究では,ユーザの長期行動に特化して設計された効率的かつ効果的なモデルであるSparseCTRを提案する。 これらのチャンクに基づいて,ユーザのグローバルな関心を共同で識別する3枝のスパース自己認識機構を提案する。 SparseCTRは効率を向上するだけでなく、最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2026-01-25T13:39:26Z)
• STAR-Rec: Making Peace with Length Variance and Pattern Diversity in Sequential Recommendation [61.320991769685065]
  STAR-Recは、好みを認識した注意と状態空間モデリングを組み合わせた新しいアーキテクチャである。 STAR-Recは、最先端のシーケンシャルレコメンデーション手法よりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2025-05-06T12:40:38Z)
• Hierarchical Time-Aware Mixture of Experts for Multi-Modal Sequential Recommendation [19.47124940518026]
  マルチモーダルシーケンスレコメンデーション(HM4SR)の専門家の階層的時間認識混合を提案する。 まず、Interactive MoEと名づけられたMoEは、各項目のマルチモーダルデータから本質的なユーザ関心関連情報を抽出する。 テンポラルモエと呼ばれる第2のMoEは、モダリティ符号化においてタイムスタンプから明示的な時間的埋め込みを導入することで、ユーザの動的関心を捉える。
  論文  参考訳（メタデータ） (2025-01-24T06:26:50Z)
• Multi-granularity Interest Retrieval and Refinement Network for Long-Term User Behavior Modeling in CTR Prediction [68.90783662117936]
  クリックスルーレート(CTR)の予測は、オンラインパーソナライズプラットフォームにとって不可欠である。 近年の進歩は、リッチなユーザの振る舞いをモデル化することで、CTR予測の性能を大幅に改善できることを示している。 マルチグラニュラリティ興味検索ネットワーク(MIRRN)を提案する。
  論文  参考訳（メタデータ） (2024-11-22T15:29:05Z)
• MISSRec: Pre-training and Transferring Multi-modal Interest-aware Sequence Representation for Recommendation [61.45986275328629]
  逐次レコメンデーションのためのマルチモーダル事前学習・転送学習フレームワークであるMISSRecを提案する。 ユーザ側ではトランスフォーマーベースのエンコーダデコーダモデルを設計し、コンテキストエンコーダがシーケンスレベルのマルチモーダルユーザ興味を捉えることを学習する。 候補項目側では,ユーザ適応項目表現を生成するために動的融合モジュールを採用する。
  論文  参考訳（メタデータ） (2023-08-22T04:06:56Z)
• Contrastive Self-supervised Sequential Recommendation with Robust Augmentation [101.25762166231904]
  Sequential Recommendation Describes a set of technique to model dynamic user behavior to order to predict future interaction in sequence user data。 データスパーシリティやノイズの多いデータなど、古くて新しい問題はまだ残っている。 逐次レコメンデーション(CoSeRec)のためのコントラスト型自己監督学習を提案する。
  論文  参考訳（メタデータ） (2021-08-14T07:15:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。