論文の概要: SMES: Towards Scalable Multi-Task Recommendation via Expert Sparsity

• arxiv url: http://arxiv.org/abs/2602.09386v1
• Date: Tue, 10 Feb 2026 03:56:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-11 20:17:43.362213
• Title: SMES: Towards Scalable Multi-Task Recommendation via Expert Sparsity
• Title（参考訳）: SMES:エキスパートスペシャリティによるスケーラブルなマルチタスクレコメンデーションを目指す
• Authors: Yukun Zhang, Si Dong, Xu Wang, Bo Chen, Qinglin Jia, Shengzhe Wang, Jinlong Jiao, Runhan Li, Jiaqing Liu, Chaoyi Ma, Ruiming Tang, Guorui Zhou, Han Li, Kun Gai,
• Abstract要約: 産業推薦システムはマルチタスク学習に頼り、多様なユーザフィードバック信号を推定し、それらをランキングに集約する。 モデルスケーリングの最近の進歩は、推薦において有望な利益を示している。 この一様パラメータスケーリングと異種タスクキャパシティ要求のミスマッチは、スケーラブルなマルチタスクレコメンデーションに根本的な課題をもたらす。
• 参考スコア（独自算出の注目度）: 47.79376327982703
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Industrial recommender systems typically rely on multi-task learning to estimate diverse user feedback signals and aggregate them for ranking. Recent advances in model scaling have shown promising gains in recommendation. However, naively increasing model capacity imposes prohibitive online inference costs and often yields diminishing returns for sparse tasks with skewed label distributions. This mismatch between uniform parameter scaling and heterogeneous task capacity demands poses a fundamental challenge for scalable multi-task recommendation. In this work, we investigate parameter sparsification as a principled scaling paradigm and identify two critical obstacles when applying sparse Mixture-of-Experts (MoE) to multi-task recommendation: exploded expert activation that undermines instance-level sparsity and expert load skew caused by independent task-wise routing. To address these challenges, we propose SMES, a scalable sparse MoE framework with progressive expert routing. SMES decomposes expert activation into a task-shared expert subset jointly selected across tasks and task-adaptive private experts, explicitly bounding per-instance expert execution while preserving task-specific capacity. In addition, SMES introduces a global multi-gate load-balancing regularizer that stabilizes training by regulating aggregated expert utilization across all tasks. SMES has been deployed in Kuaishou large-scale short-video services, supporting over 400 million daily active users. Extensive online experiments demonstrate stable improvements, with GAUC gain of 0.29% and a 0.31% uplift in user watch time.
• Abstract（参考訳）: 産業推薦システムは一般的にマルチタスク学習に頼り、多様なユーザのフィードバック信号を推定し、それらをランキングに集約する。 モデルスケーリングの最近の進歩は、推薦において有望な利益を示している。 しかし、モデルキャパシティの増大は、オンライン推論の禁止コストを課し、しばしばラベル分布が歪んだスパースタスクのリターンを低下させる。 この一様パラメータスケーリングと異種タスクキャパシティ要求のミスマッチは、スケーラブルなマルチタスクレコメンデーションに根本的な課題をもたらす。 本研究では,パラメータスペーシフィケーション(パラメータスペーシフィケーション,パラメータスペーシフィケーション,パラメータスペーシフィケーション,パラメータスペーシフィケーション,パラメータスペーシフィケーション(パラメータスペーシフィケーション,パラメータスペーシフィケーション,パラメータスペーシフィケーション,パラメータスペーシフィケーション,パラメータスペーシフィケーション)について検討し,マルチタスクレコメンデーションに適用する場合の2つの重要な障害を同定する。 これらの課題に対処するために,プログレッシブなエキスパートルーティングを備えたスケーラブルなスパースMoEフレームワークであるSMESを提案する。 SMESは、専門家のアクティベーションをタスクとタスク適応型のプライベートエキスパートの間で共同で選択されたタスク共有専門家サブセットに分解し、タスク固有の能力を維持しながら、インスタンスごとのエキスパート実行を明示的に制限する。 さらに、SMESはグローバルなマルチゲートロードバランシングレギュレータを導入し、すべてのタスクにまたがる集約された専門家の利用を規制することでトレーニングを安定化する。 SMESはKuaishouの大規模なショートビデオサービスにデプロイされ、毎日4億人のアクティブユーザをサポートする。 大規模なオンライン実験は安定した改善を示し、GAUCは0.29%、ユーザウォッチタイムは0.31%上昇した。

関連論文リスト

• SAME: Stabilized Mixture-of-Experts for Multimodal Continual Instruction Tuning [83.66308307152808]
  マルチモーダル・インストラクション・チューニング(MCIT)のためのStAbilized Mixture-of-Experts(SAME)を提案する。 プロプライエタリは、サブスペースへのルーティングダイナミクスを分解し、タスク関連方向のみを更新することで、専門家の選択を安定化する。 また、トレーニング中に選択した専門家を凍結するためにアダプティブな専門家アクティベーションを導入し、冗長でクロスタスクな干渉を減らす。
  論文  参考訳（メタデータ） (2026-02-02T11:47:06Z)
• AnyExperts: On-Demand Expert Allocation for Multimodal Language Models with Mixture of Expert [26.761443359046286]
  我々はAnyExpertsという新しいオンデマンド・予算対応動的ルーティングフレームワークを提案する。 トークンごとに、その意味的重要性に基づいて、可変な専門家スロット数を割り当てる。 視覚的理解、音声理解、NLP理解の様々なタスクにまたがって評価される。
  論文  参考訳（メタデータ） (2025-11-23T06:53:43Z)
• Adaptive Shared Experts with LoRA-Based Mixture of Experts for Multi-Task Learning [49.90176890917986]
  マルチタスク学習(MTL)のための強力なフレームワークとして、Mixture-of-Experts(MoE)が登場した。 既存のMoE-MTL法は、しばしばシングルタスクで事前訓練されたバックボーンに依存し、冗長な適応と非効率的な知識共有に悩まされる。 低ランク適応 (LoRA) に基づく MoE の適応型共有専門家 (ASE) を提案する。
  論文  参考訳（メタデータ） (2025-10-01T06:49:19Z)
• Multi-Task Dense Prediction Fine-Tuning with Mixture of Fine-Grained Experts [22.936728143586443]
  密集予測のためのマルチタスク学習(MTL)は有望な結果を示しているが、タスク固有の特殊化と共有表現のバランスをとる上ではまだ課題に直面している。 3つの重要なイノベーションとファインチューニングを組み合わせることで、MoEベースのMTLモデルを探索する、ファイングラインド・ミックス・オブ・エキスパートアーキテクチャを導入する。
  論文  参考訳（メタデータ） (2025-07-25T08:59:30Z)
• ThanoRA: Task Heterogeneity-Aware Multi-Task Low-Rank Adaptation [96.86211867758652]
  Low-Rank Adaptation (LoRA) は、基礎モデルの下流の微調整に広く採用されている。 タスク不均一性を考慮したマルチタスク低ランク適応フレームワークであるTanoRAを提案する。
  論文  参考訳（メタデータ） (2025-05-24T11:01:45Z)
• LLaVA-CMoE: Towards Continual Mixture of Experts for Large Vision-Language Models [21.888139819188105]
  LLaVA-CMoEは、大規模言語モデルの継続的な学習フレームワークである。 Probe-Guided Knowledge Extensionメカニズムは、いつ、どこで新しいエキスパートを追加するべきかを決定する。 Probabilistic Task Locatorは各タスクを専用軽量ルータに割り当てる。
  論文  参考訳（メタデータ） (2025-03-27T07:36:11Z)
• Predicting Multi-Agent Specialization via Task Parallelizability [8.465921582175426]
  タスクレギュラーやチームサイズに応じて、特殊化がパフォーマンスを改善することを予測したクローズドフォーム境界を示す。 反対のベンチマークを表す2つの標準MARLベンチマークでモデルを検証した。 Overcooked-AIにおける3つのフォローアップ実験は、このモデルがより複雑な空間的および資源的ボトルネックを持つ環境で動作することを示した。
  論文  参考訳（メタデータ） (2025-03-19T21:33:48Z)
• Mod-Squad: Designing Mixture of Experts As Modular Multi-Task Learners [74.92558307689265]
  専門家グループ("スクワッド")にモジュール化された新しいモデルであるMod-Squadを提案する。 単一モデルのトレーニング中に、このマッチングプロセスを最適化する。 13の視覚タスクを持つタスクノミーデータセットと、5つの視覚タスクを持つPASCAL-Contextデータセットの実験は、我々のアプローチの優位性を示している。
  論文  参考訳（メタデータ） (2022-12-15T18:59:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。