論文の概要: MoE-MLoRA for Multi-Domain CTR Prediction: Efficient Adaptation with Expert Specialization

• arxiv url: http://arxiv.org/abs/2506.07563v2
• Date: Tue, 10 Jun 2025 06:56:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-11 12:52:34.302275
• Title: MoE-MLoRA for Multi-Domain CTR Prediction: Efficient Adaptation with Expert Specialization
• Title（参考訳）: マルチドメインCTR予測のためのMoE-MLoRA:エキスパートスペシャライゼーションによる効率的な適応
• Authors: Ken Yaggel, Eyal German, Aviel Ben Siman Tov,
• Abstract要約: MoE-MLoRAはエキスパートの混成フレームワークで、各専門家はドメインを専門にするために独立して訓練される。 MoE-MLoRAはMovielensとTaobaoの8つのCTRモデルで評価した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Personalized recommendation systems must adapt to user interactions across different domains. Traditional approaches like MLoRA apply a single adaptation per domain but lack flexibility in handling diverse user behaviors. To address this, we propose MoE-MLoRA, a mixture-of-experts framework where each expert is first trained independently to specialize in its domain before a gating network is trained to weight their contributions dynamically. We evaluate MoE-MLoRA across eight CTR models on Movielens and Taobao, showing that it improves performance in large-scale, dynamic datasets (+1.45 Weighed-AUC in Taobao-20) but offers limited benefits in structured datasets with low domain diversity and sparsity. Further analysis of the number of experts per domain reveals that larger ensembles do not always improve performance, indicating the need for model-aware tuning. Our findings highlight the potential of expert-based architectures for multi-domain recommendation systems, demonstrating that task-aware specialization and adaptive gating can enhance predictive accuracy in complex environments. The implementation and code are available in our GitHub repository.
• Abstract（参考訳）: パーソナライズされたレコメンデーションシステムは、異なるドメインにわたるユーザインタラクションに適応する必要があります。 MLoRAのような従来のアプローチはドメインごとに単一の適応を適用するが、多様なユーザの振る舞いを扱う柔軟性に欠ける。 そこで本稿では,Gatingネットワークが動的に貢献を重み付けするようにトレーニングされる前に,各専門家が独立してドメインを専門化するように訓練する,エキスパートの混在フレームワークであるMoE-MLoRAを提案する。 MoE-MLoRAはMovielensとTaobaoの8つのCTRモデルで評価し、大規模でダイナミックなデータセット(+1.45 Weighed-AUC in Taobao-20)の性能向上を図っているが、ドメインの多様性と疎度が低い構造化データセットでは限られた利点があることを示した。 ドメインあたりの専門家数に関するさらなる分析では、より大きなアンサンブルが必ずしもパフォーマンスを向上するとは限らないことが示され、モデル認識チューニングの必要性が示されている。 本研究は,マルチドメインレコメンデーションシステムにおけるエキスパートベースアーキテクチャの可能性を強調し,タスク意識の専門化と適応ゲーティングが複雑な環境における予測精度を高めることを実証した。 実装とコードはGitHubリポジトリから入手可能です。

関連論文リスト

• Large Language Model Empowered Recommendation Meets All-domain Continual Pre-Training [60.38082979765664]
  CPRecは、レコメンデーションのための全ドメイン連続事前トレーニングフレームワークである。 LLMを連続的な事前学習パラダイムを通じて、普遍的なユーザ行動と整合させる。 2つの異なるプラットフォームから5つの実世界のデータセットを実験する。
  論文  参考訳（メタデータ） (2025-04-11T20:01:25Z)
• LFME: A Simple Framework for Learning from Multiple Experts in Domain Generalization [61.16890890570814]
  ドメイン一般化(Domain Generalization, DG)手法は、複数のソースドメインからのトレーニングデータを使用することで、目に見えないターゲットドメインにおける優れたパフォーマンスを維持することを目的としている。 この作業では、DGを改善するために、ターゲットモデルをすべてのソースドメインの専門家にすることを目的とした、複数の専門家(LFME)からの学習と呼ばれる、シンプルだが効果的なフレームワークを導入している。
  論文  参考訳（メタデータ） (2024-10-22T13:44:10Z)
• Scalable Multi-Domain Adaptation of Language Models using Modular Experts [10.393155077703653]
  MoDEは、モジュール化されたドメインの専門家による一般的なPLMを強化する、エキスパートの混成アーキテクチャである。 MoDEは完全なパラメータの微調整に匹敵する目標性能を達成し、保持性能は1.65%向上した。
  論文  参考訳（メタデータ） (2024-10-14T06:02:56Z)
• MLoRA: Multi-Domain Low-Rank Adaptive Network for CTR Prediction [18.524017579108044]
  CTR予測のためのMulti-domain Low-Rank Adaptive Network (MLoRA)を提案する。 実験により,MLoRA法は最先端のベースラインに比べて大幅に改善された。 MLoRAのコードは公開されています。
  論文  参考訳（メタデータ） (2024-08-14T05:53:02Z)
• M3oE: Multi-Domain Multi-Task Mixture-of Experts Recommendation Framework [32.68911775382326]
  M3oEは適応型マルチドメインMulti-task Mixture-of-Expertsレコメンデーションフレームワークである。 3つのMix-of-expertsモジュールを利用して、共通、ドメイン・アスペクト、タスク・アスペクトのユーザの好みを学習します。 多様な領域やタスクをまたいだ特徴抽出と融合を正確に制御するための2レベル融合機構を設計する。
  論文  参考訳（メタデータ） (2024-04-29T06:59:30Z)
• Harder Tasks Need More Experts: Dynamic Routing in MoE Models [58.18526590138739]
  本稿では,Mixture of Experts(MoE)モデルのための新しい動的専門家選択フレームワークを提案する。 提案手法は,各入力に対する専門家選択の信頼性レベルに基づいて,専門家を動的に選択する。
  論文  参考訳（メタデータ） (2024-03-12T13:41:15Z)
• Omni-SMoLA: Boosting Generalist Multimodal Models with Soft Mixture of Low-rank Experts [74.40198929049959]
  大規模マルチモーダルモデル (LMM) は多くのタスクにまたがって優れた性能を示す。 ジェネラリストのLMMは、タスクの集合をチューニングする際に、しばしばパフォーマンスの劣化に悩まされる。 我々は,Omni-SMoLAを提案する。Omni-SMoLAはSoft MoEアプローチを用いて,多くのマルチモーダルな低ランクの専門家を混在させるアーキテクチャである。
  論文  参考訳（メタデータ） (2023-12-01T23:04:27Z)
• Multiple Expert Brainstorming for Domain Adaptive Person Re-identification [140.3998019639158]
  本稿では、ドメイン適応型人物再IDのための複数の専門家ブレインストーミングネットワーク(MEB-Net)を提案する。 MEB-Netは、異なるアーキテクチャを持つ複数のネットワークをソースドメイン内で事前トレーニングする、相互学習戦略を採用している。 大規模データセットの実験は、最先端技術よりもMEB-Netの方が優れた性能を示している。
  論文  参考訳（メタデータ） (2020-07-03T08:16:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。