論文の概要: M3oE: Multi-Domain Multi-Task Mixture-of Experts Recommendation Framework

• arxiv url: http://arxiv.org/abs/2404.18465v2
• Date: Tue, 7 May 2024 12:54:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-08 18:53:50.430454
• Title: M3oE: Multi-Domain Multi-Task Mixture-of Experts Recommendation Framework
• Title（参考訳）: M3oE: マルチドメインマルチタスク混合専門家推薦フレームワーク
• Authors: Zijian Zhang, Shuchang Liu, Jiaao Yu, Qingpeng Cai, Xiangyu Zhao, Chunxu Zhang, Ziru Liu, Qidong Liu, Hongwei Zhao, Lantao Hu, Peng Jiang, Kun Gai,
• Abstract要約: M3oEは適応型マルチドメイン・マルチタスク・ミックス・オブ・エキスパート・レコメンデーションフレームワークである。 3つのMix-of-expertsモジュールを利用して、共通、ドメイン・アスペクト、タスク・アスペクトのユーザの好みを学習します。 多様な領域やタスクをまたいだ特徴抽出と融合を正確に制御するための2レベル融合機構を設計する。
• 参考スコア（独自算出の注目度）: 32.68911775382326
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-domain recommendation and multi-task recommendation have demonstrated their effectiveness in leveraging common information from different domains and objectives for comprehensive user modeling. Nonetheless, the practical recommendation usually faces multiple domains and tasks simultaneously, which cannot be well-addressed by current methods. To this end, we introduce M3oE, an adaptive multi-domain multi-task mixture-of-experts recommendation framework. M3oE integrates multi-domain information, maps knowledge across domains and tasks, and optimizes multiple objectives. We leverage three mixture-of-experts modules to learn common, domain-aspect, and task-aspect user preferences respectively to address the complex dependencies among multiple domains and tasks in a disentangled manner. Additionally, we design a two-level fusion mechanism for precise control over feature extraction and fusion across diverse domains and tasks. The framework's adaptability is further enhanced by applying AutoML technique, which allows dynamic structure optimization. To the best of the authors' knowledge, our M3oE is the first effort to solve multi-domain multi-task recommendation self-adaptively. Extensive experiments on two benchmark datasets against diverse baselines demonstrate M3oE's superior performance. The implementation code is available to ensure reproducibility.
• Abstract（参考訳）: マルチドメインレコメンデーションとマルチタスクレコメンデーションは、異なるドメインと目的の共通情報を総合的なユーザモデリングに活用する効果を実証している。 それでも、実際的な推奨は通常、複数のドメインとタスクを同時に直面する。 この目的のために,適応型マルチドメインマルチタスク・ミックス・オブ・エキスパート・レコメンデーションフレームワークであるM3oEを紹介する。 M3oEはマルチドメイン情報を統合し、ドメインとタスク間で知識をマッピングし、複数の目的を最適化する。 共通、ドメイン・アスペクト、タスク・アスペクトの3つのミックス・オブ・エキスパート・モジュールを利用して、複数のドメインとタスク間の複雑な依存関係を、互いに絡み合った方法で処理する。 さらに,多様な領域やタスクをまたいだ特徴抽出と融合を正確に制御するための2段階融合機構を設計する。 動的構造最適化を可能にするAutoML技術を適用することにより、フレームワークの適応性はさらに向上する。 著者たちの知る限りでは、M3oEはマルチドメインのマルチタスクレコメンデーションを自己適応的に解決する最初の試みです。 多様なベースラインに対する2つのベンチマークデータセットの大規模な実験は、M3oEの優れたパフォーマンスを示している。 実装コードは再現性を保証するために利用可能である。

関連論文リスト

• Investigating the potential of Sparse Mixtures-of-Experts for multi-domain neural machine translation [59.41178047749177]
  トレーニング中に見られるさまざまなドメインのデータを扱うことができ、トレーニング中に見つからないドメインに対して堅牢な効率的なモデルを開発することを目的として、マルチドメインニューラルネットワーク翻訳に重点を置いている。 SMOE(Sparse Mixture-of-Experts)モデルは、効率的なモデルスケーリングを可能にするため、このタスクに適していると仮定する。 マルチドメインシナリオにおけるSMoEの有用性を検証するための一連の実験を行い、Transformerの簡単な幅スケーリングは、実際はよりシンプルで驚くほど効率的なアプローチであり、SMoEと同等の性能レベルに達することを発見した。
  論文  参考訳（メタデータ） (2024-07-01T09:45:22Z)
• Uni-MoE: Scaling Unified Multimodal LLMs with Mixture of Experts [54.529880848937104]
  そこで我々は,MoEアーキテクチャをUni-MoEと呼ぶ一貫したMLLMを開発し,様々なモダリティを扱えるようにした。 具体的には、統一マルチモーダル表現のためのコネクタを持つモダリティ特化エンコーダを特徴とする。 マルチモーダルデータセットの包括的集合を用いた命令調整Uni-MoEの評価を行った。
  論文  参考訳（メタデータ） (2024-05-18T12:16:01Z)
• Intuition-aware Mixture-of-Rank-1-Experts for Parameter Efficient Finetuning [50.73666458313015]
  大規模言語モデル(LLM)はマルチメディアアプリケーションで複数のタスクを実行する上で大きな可能性を証明している。 MoEは、効率的なタスクデカップリングのためのスパースアーキテクチャによる有望なソリューションとして登場した。 Intuition-MoR1Eは14のパブリックデータセットで優れた効率と2.15%の全体的な精度向上を実現している。
  論文  参考訳（メタデータ） (2024-04-13T12:14:58Z)
• Large-Scale Multi-Domain Recommendation: an Automatic Domain Feature Extraction and Personalized Integration Framework [30.46152832695426]
  大規模マルチドメインレコメンデーションのための自動ドメイン特徴抽出とパーソナライズド統合(DFEI)フレームワークを提案する。 このフレームワークは個々のユーザの振る舞いを自動的にドメイン内のすべてのユーザの振る舞いの集約に変換し、ドメインの機能として機能します。 20以上のドメインからなるパブリックデータセットと産業データセットの実験結果から,提案フレームワークがSOTAベースラインと比較して大幅に性能が向上していることが明らかとなった。
  論文  参考訳（メタデータ） (2024-04-12T09:57:17Z)
• An Aligning and Training Framework for Multimodal Recommendations [23.952221685501875]
  マルチモーダル・レコメンデーションは ユーザーとアイテムの相互作用を超えて 豊かなコンテキストを活用できる 既存のメソッドは主にそれらを使ってIDの特徴を学習する。 マルチモーダルコンテンツ機能とID機能の間には意味的なギャップがある。
  論文  参考訳（メタデータ） (2024-03-19T02:49:32Z)
• Mixture-of-LoRAs: An Efficient Multitask Tuning for Large Language Models [7.966452497550907]
  大規模言語モデル(LLM)を用いたマルチタスク学習のためのMixture-of-LoRA(MoA)アーキテクチャを提案する。 複数のドメイン固有のLoRAモジュールは、Mixture-of-Experts(MoE)で観察される専門家設計原則と一致させることができる。 各LoRAモデルは、新しいドメインに反復的に適応することができ、素早くドメイン固有の適応を可能にする。
  論文  参考訳（メタデータ） (2024-03-06T03:33:48Z)
• Multimodal Instruction Tuning with Conditional Mixture of LoRA [54.65520214291653]
  本稿では,Low-Rank Adaption (LoRA) とマルチモーダル命令チューニングを統合した新しい手法を提案する。 各入力インスタンスのユニークな要求に合わせた低ランク適応行列を動的に構築することで、LoRAを革新する。 様々なマルチモーダル評価データセットの実験結果から、MixLoRAは従来のLoRAを同等以上のランクで上回るだけでなく、性能も向上していることが示された。
  論文  参考訳（メタデータ） (2024-02-24T20:15:31Z)
• An Unified Search and Recommendation Foundation Model for Cold-Start Scenario [15.192845741415738]
  商用検索エンジンやレコメンデーションシステムでは、複数のドメインからのデータを使ってマルチドメインモデルを共同で訓練することができる。 S&R Multi-Domain Foundationと呼ばれる新しいフレームワークを提案し、LLMを用いてドメイン不変の特徴を抽出する。 我々は, S&R Multi-Domain 基礎モデルを用いて, 他のSOTA 転送学習手法よりも優れた性能を実現する, プレトレイン-ファネチューン方式のコールドスタートシナリオに適用する。
  論文  参考訳（メタデータ） (2023-09-16T10:00:02Z)
• Automatic Expert Selection for Multi-Scenario and Multi-Task Search [41.47107282896807]
  本稿では,AESM2 という名前のマルチシナリオ検索とマルチタスク検索のための新しい自動エキスパート選択フレームワークを提案する。 2つの実世界の大規模なデータセットに対する実験は、強いベースラインのバッテリー上でのAESM2の有効性を実証している。 オンラインA/Bテストでは、複数のメトリクスで大幅にパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2022-05-28T03:41:25Z)
• Dual Metric Learning for Effective and Efficient Cross-Domain Recommendations [85.6250759280292]
  クロスドメインレコメンダーシステムは、消費者が異なるアプリケーションで有用なアイテムを識別するのを助けるためにますます価値があります。 既存のクロスドメインモデルは、通常、多くのオーバーラップユーザーを必要とするため、いくつかのアプリケーションでは取得が困難である。 本稿では,2つのドメイン間で情報を反復的に伝達する二元学習に基づく新しいクロスドメインレコメンデーションモデルを提案する。
  論文  参考訳（メタデータ） (2021-04-17T09:18:59Z)
• Multi-path Neural Networks for On-device Multi-domain Visual Classification [55.281139434736254]
  本稿では,モバイルデバイス上でのマルチドメイン視覚分類のためのマルチパスネットワークの自動学習手法を提案する。 提案するマルチパスネットワークは,各ドメインに1つの強化学習コントローラを適用して,MobileNetV3のような検索空間から生成されたスーパーネットワークの最適経路を選択することにより,ニューラルネットワーク検索から学習する。 決定されたマルチパスモデルは、個々のドメインパス内の非共有ノード内にドメイン固有のパラメータを保持しながら、共有ノード内のドメイン間でパラメータを選択的に共有する。
  論文  参考訳（メタデータ） (2020-10-10T05:13:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。