Fugu-MT 論文翻訳(概要): Mixture of Sequence: Theme-Aware Mixture-of-Experts for Long-Sequence Recommendation

論文の概要: Mixture of Sequence: Theme-Aware Mixture-of-Experts for Long-Sequence Recommendation

arxiv url: http://arxiv.org/abs/2604.20858v1
Date: Sun, 01 Mar 2026 23:20:48 GMT
ステータス: 翻訳完了
システム内更新日: 2026-05-04 02:32:14.118684
Title: Mixture of Sequence: Theme-Aware Mixture-of-Experts for Long-Sequence Recommendation
Title（参考訳）: 列の混合:長列勧告のためのテーマ・アウェア・ミックス-オブ・エクササイズ
Authors: Xiao Lin, Zhicheng Tang, Weilin Cong, Mengyue Hang, Kai Wang, Yajuan Wang, Zhichen Zeng, Ting-Wei Li, Hyunsik Yoo, Zhining Liu, Xuying Ning, Ruizhong Qiu, Wen-yen Chen, Shuo Chang, Rong Jin, Huayu Li, Hanghang Tong,
Abstract要約: ノイズの多い生ユーザシーケンスからテーマ特化サブシーケンスとマルチスケールサブシーケンスを抽出し,正確な予測を実現するモデルに依存しないMoE手法を提案する。実験結果から, FLOPは少ないが, MoS はSOTA の性能を一貫して達成できることがわかった。
参考スコア（独自算出の注目度）: 48.98369214412951
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Sequential recommendation has rapidly advanced in click-through rate prediction due to its ability to model dynamic user interests. A key challenge, however, lies in modeling long sequences: users often exhibit significant interest shifts, introducing substantial irrelevant or misleading information. Our empirical analysis corroborates this challenge and uncovers a recurring behavioral pattern in long sequences (\textit{session hopping}): user interests remain stable within short temporal spans (\textit{sessions}) but shift drastically across sessions and may reappear after multiple sessions. To address this challenge, we propose the Mixture of Sequence (MoS) framework, a model-agnostic MoE approach that achieves accurate predictions by extracting theme-specific and multi-scale subsequences from noisy raw user sequences. First, MoS employs a theme-aware routing mechanism to adaptively learn the latent themes of user sequences and organizes these sequences into multiple coherent subsequences. Each subsequence contains only sessions aligned with a specific theme, thereby effectively filtering out irrelevant or even misleading information introduced by user interest shifts in session hopping. In addition, to alleviate potential information loss, we introduce a multi-scale fusion mechanism, which leverages three types of experts to capture global sequence characteristics, short-term user behaviors, and theme-specific semantic patterns. Together, these two mechanisms endow MoS with the ability to deliver accurate recommendations from multi-faceted and multi-scale perspectives. Experimental results demonstrate that MoS consistently achieves the SOTA performance while introducing fewer FLOPs compared with other MoE counterparts, providing strong evidence of its excellent balance between utility and efficiency. The code is available at https://github.com/xiaolin-cs/MoS.
Abstract（参考訳）: 動的ユーザの興味をモデル化する能力により,クリックスルー率の予測が急速に向上した。しかし、重要な課題は、長いシーケンスをモデル化することである。ユーザーはしばしば大きな関心の変化を示し、重大な無関係または誤解を招く情報を導入します。我々の経験的分析は、この課題を裏付け、長いシーケンス(\textit{session hopping})で繰り返し発生する行動パターンを明らかにする。この課題に対処するために,ノイズの多い生ユーザシーケンスからテーマ固有およびマルチスケールのサブシーケンスを抽出することにより,正確な予測を実現するモデルに依存しないMoE手法であるMixture of Sequence(MoS)フレームワークを提案する。まず、MoSはテーマ対応のルーティング機構を用いて、ユーザシーケンスの潜在テーマを適応的に学習し、これらのシーケンスを複数のコヒーレントサブシーケンスに整理する。各サブシーケンスは、特定のテーマに整合したセッションのみを含むため、セッションホッピングにおいてユーザ関心の変化によって引き起こされる無関係または誤解を招く情報を効果的にフィルタリングする。さらに,潜在的な情報損失を軽減するために,グローバルなシーケンス特性,短期ユーザ行動,テーマ固有のセマンティックパターンを捉えるために,3種類の専門家を活用したマルチスケール融合機構を導入する。これら2つのメカニズムは、マルチフェイスおよびマルチスケールの視点から正確なレコメンデーションを提供する能力をMoSに与えている。実験結果から, FLOP を他の MoE と比較した場合に比べ, FLOP の低減が図られ, 有効性と効率のバランスが良好であることが示唆された。コードはhttps://github.com/xiaolin-cs/MoS.comで公開されている。

論文の概要: Mixture of Sequence: Theme-Aware Mixture-of-Experts for Long-Sequence Recommendation

関連論文リスト