論文の概要: M3oE: Multi-Domain Multi-Task Mixture-of Experts Recommendation Framework

• arxiv url: http://arxiv.org/abs/2404.18465v3
• Date: Sun, 12 May 2024 13:11:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-14 21:13:39.002559
• Title: M3oE: Multi-Domain Multi-Task Mixture-of Experts Recommendation Framework
• Title（参考訳）: M3oE: マルチドメインマルチタスク混合専門家推薦フレームワーク
• Authors: Zijian Zhang, Shuchang Liu, Jiaao Yu, Qingpeng Cai, Xiangyu Zhao, Chunxu Zhang, Ziru Liu, Qidong Liu, Hongwei Zhao, Lantao Hu, Peng Jiang, Kun Gai,
• Abstract要約: M3oEは適応型マルチドメインMulti-task Mixture-of-Expertsレコメンデーションフレームワークである。 3つのMix-of-expertsモジュールを利用して、共通、ドメイン・アスペクト、タスク・アスペクトのユーザの好みを学習します。 多様な領域やタスクをまたいだ特徴抽出と融合を正確に制御するための2レベル融合機構を設計する。
• 参考スコア（独自算出の注目度）: 32.68911775382326
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-domain recommendation and multi-task recommendation have demonstrated their effectiveness in leveraging common information from different domains and objectives for comprehensive user modeling. Nonetheless, the practical recommendation usually faces multiple domains and tasks simultaneously, which cannot be well-addressed by current methods. To this end, we introduce M3oE, an adaptive Multi-domain Multi-task Mixture-of-Experts recommendation framework. M3oE integrates multi-domain information, maps knowledge across domains and tasks, and optimizes multiple objectives. We leverage three mixture-of-experts modules to learn common, domain-aspect, and task-aspect user preferences respectively to address the complex dependencies among multiple domains and tasks in a disentangled manner. Additionally, we design a two-level fusion mechanism for precise control over feature extraction and fusion across diverse domains and tasks. The framework's adaptability is further enhanced by applying AutoML technique, which allows dynamic structure optimization. To the best of the authors' knowledge, our M3oE is the first effort to solve multi-domain multi-task recommendation self-adaptively. Extensive experiments on two benchmark datasets against diverse baselines demonstrate M3oE's superior performance. The implementation code is available to ensure reproducibility.
• Abstract（参考訳）: マルチドメインレコメンデーションとマルチタスクレコメンデーションは、異なるドメインと目的の共通情報を総合的なユーザモデリングに活用する効果を実証している。 それでも、実際的な推奨は通常、複数のドメインとタスクを同時に直面する。 この目的のために,適応型マルチドメインマルチタスク・マルチタスク・オブ・エキスパート・リコメンデーションフレームワークであるM3oEを紹介する。 M3oEはマルチドメイン情報を統合し、ドメインとタスク間で知識をマッピングし、複数の目的を最適化する。 共通、ドメイン・アスペクト、タスク・アスペクトの3つのミックス・オブ・エキスパート・モジュールを利用して、複数のドメインとタスク間の複雑な依存関係を、互いに絡み合った方法で処理する。 さらに,多様な領域やタスクをまたいだ特徴抽出と融合を正確に制御するための2段階融合機構を設計する。 動的構造最適化を可能にするAutoML技術を適用することにより、フレームワークの適応性はさらに向上する。 著者たちの知る限りでは、M3oEはマルチドメインのマルチタスクレコメンデーションを自己適応的に解決する最初の試みです。 多様なベースラインに対する2つのベンチマークデータセットの大規模な実験は、M3oEの優れたパフォーマンスを示している。 実装コードは再現性を保証するために利用可能である。

関連論文リスト

• MDAP: A Multi-view Disentangled and Adaptive Preference Learning Framework for Cross-Domain Recommendation [63.27390451208503]
  クロスドメインレコメンデーションシステムは、マルチドメインユーザインタラクションを活用してパフォーマンスを向上させる。 マルチビュー・ディスタングル・アダプティブ・プライスラーニング・フレームワークを提案する。 当社のフレームワークはマルチビューエンコーダを使用して,多様なユーザの好みをキャプチャする。
  論文  参考訳（メタデータ） (2024-10-08T10:06:45Z)
• Ducho meets Elliot: Large-scale Benchmarks for Multimodal Recommendation [9.506245109666907]
  商品やサービスを特徴付ける多面的機能は、オンライン販売プラットフォームにおいて、各顧客に影響を与える可能性がある。 一般的なマルチモーダルレコメンデーションパイプラインは、(i)マルチモーダルな特徴の抽出、(ii)レコメンデーションタスクに適したハイレベルな表現の精製、(iv)ユーザイテムスコアの予測を含む。 本論文は,マルチモーダルレコメンデータシステムに対する大規模ベンチマークを行う最初の試みとして,特にマルチモーダル抽出器に着目したものである。
  論文  参考訳（メタデータ） (2024-09-24T08:29:10Z)
• Towards Personalized Federated Multi-Scenario Multi-Task Recommendation [22.095138650857436]
  PF-MSMTrecは、パーソナライズされたマルチシナリオマルチタスクレコメンデーションのための新しいフレームワークである。 複数の最適化競合の独特な課題に対処するために,ボトムアップ共同学習機構を導入する。 提案手法は最先端手法より優れている。
  論文  参考訳（メタデータ） (2024-06-27T07:10:37Z)
• Uni-MoE: Scaling Unified Multimodal LLMs with Mixture of Experts [54.529880848937104]
  そこで我々は,MoEアーキテクチャをUni-MoEと呼ぶ一貫したMLLMを開発し,様々なモダリティを扱えるようにした。 具体的には、統一マルチモーダル表現のためのコネクタを持つモダリティ特化エンコーダを特徴とする。 マルチモーダルデータセットの包括的集合を用いた命令調整Uni-MoEの評価を行った。
  論文  参考訳（メタデータ） (2024-05-18T12:16:01Z)
• Intuition-aware Mixture-of-Rank-1-Experts for Parameter Efficient Finetuning [50.73666458313015]
  大規模言語モデル(LLM)はマルチメディアアプリケーションで複数のタスクを実行する上で大きな可能性を証明している。 MoEは、効率的なタスクデカップリングのためのスパースアーキテクチャによる有望なソリューションとして登場した。 Intuition-MoR1Eは14のパブリックデータセットで優れた効率と2.15%の全体的な精度向上を実現している。
  論文  参考訳（メタデータ） (2024-04-13T12:14:58Z)
• AlignRec: Aligning and Training in Multimodal Recommendations [29.995007279325947]
  マルチモーダル・レコメンデーションは 相互作用を超えて 豊かなコンテキストを活用できる 既存の手法では、主に多モーダル情報を補助的なものとみなし、それを用いてIDの特徴を学習する。 マルチモーダルコンテンツの特徴とIDベースの特徴の間にはセマンティックなギャップがあり、それによってユーザやアイテムの表現の誤調整につながる。
  論文  参考訳（メタデータ） (2024-03-19T02:49:32Z)
• Mixture-of-LoRAs: An Efficient Multitask Tuning for Large Language Models [7.966452497550907]
  大規模言語モデル(LLM)を用いたマルチタスク学習のためのMixture-of-LoRA(MoA)アーキテクチャを提案する。 複数のドメイン固有のLoRAモジュールは、Mixture-of-Experts(MoE)で観察される専門家設計原則と一致させることができる。 各LoRAモデルは、新しいドメインに反復的に適応することができ、素早くドメイン固有の適応を可能にする。
  論文  参考訳（メタデータ） (2024-03-06T03:33:48Z)
• Multimodal Instruction Tuning with Conditional Mixture of LoRA [54.65520214291653]
  本稿では,Low-Rank Adaption (LoRA) とマルチモーダル命令チューニングを統合した新しい手法を提案する。 各入力インスタンスのユニークな要求に合わせた低ランク適応行列を動的に構築することで、LoRAを革新する。 様々なマルチモーダル評価データセットの実験結果から、MixLoRAは従来のLoRAを同等以上のランクで上回るだけでなく、性能も向上していることが示された。
  論文  参考訳（メタデータ） (2024-02-24T20:15:31Z)
• An Unified Search and Recommendation Foundation Model for Cold-Start Scenario [15.192845741415738]
  商用検索エンジンやレコメンデーションシステムでは、複数のドメインからのデータを使ってマルチドメインモデルを共同で訓練することができる。 S&R Multi-Domain Foundationと呼ばれる新しいフレームワークを提案し、LLMを用いてドメイン不変の特徴を抽出する。 我々は, S&R Multi-Domain 基礎モデルを用いて, 他のSOTA 転送学習手法よりも優れた性能を実現する, プレトレイン-ファネチューン方式のコールドスタートシナリオに適用する。
  論文  参考訳（メタデータ） (2023-09-16T10:00:02Z)
• Dual Metric Learning for Effective and Efficient Cross-Domain Recommendations [85.6250759280292]
  クロスドメインレコメンダーシステムは、消費者が異なるアプリケーションで有用なアイテムを識別するのを助けるためにますます価値があります。 既存のクロスドメインモデルは、通常、多くのオーバーラップユーザーを必要とするため、いくつかのアプリケーションでは取得が困難である。 本稿では,2つのドメイン間で情報を反復的に伝達する二元学習に基づく新しいクロスドメインレコメンデーションモデルを提案する。
  論文  参考訳（メタデータ） (2021-04-17T09:18:59Z)
• Multi-path Neural Networks for On-device Multi-domain Visual Classification [55.281139434736254]
  本稿では,モバイルデバイス上でのマルチドメイン視覚分類のためのマルチパスネットワークの自動学習手法を提案する。 提案するマルチパスネットワークは,各ドメインに1つの強化学習コントローラを適用して,MobileNetV3のような検索空間から生成されたスーパーネットワークの最適経路を選択することにより,ニューラルネットワーク検索から学習する。 決定されたマルチパスモデルは、個々のドメインパス内の非共有ノード内にドメイン固有のパラメータを保持しながら、共有ノード内のドメイン間でパラメータを選択的に共有する。
  論文  参考訳（メタデータ） (2020-10-10T05:13:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。