論文の概要: Automatic Expert Selection for Multi-Scenario and Multi-Task Search

• arxiv url: http://arxiv.org/abs/2205.14321v1
• Date: Sat, 28 May 2022 03:41:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-31 17:50:53.066105
• Title: Automatic Expert Selection for Multi-Scenario and Multi-Task Search
• Title（参考訳）: マルチスセナリオとマルチタスク探索のためのエキスパート自動選択
• Authors: Xinyu Zou, Zhi Hu, Yiming Zhao, Xuchu Ding, Zhongyi Liu, Chenliang Li, Aixin Sun
• Abstract要約: 本稿では,AESM2 という名前のマルチシナリオ検索とマルチタスク検索のための新しい自動エキスパート選択フレームワークを提案する。 2つの実世界の大規模なデータセットに対する実験は、強いベースラインのバッテリー上でのAESM2の有効性を実証している。 オンラインA/Bテストでは、複数のメトリクスで大幅にパフォーマンスが向上する。
• 参考スコア（独自算出の注目度）: 41.47107282896807
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-scenario learning (MSL) enables a service provider to cater for users' fine-grained demands by separating services for different user sectors, e.g., by user's geographical region. Under each scenario there is a need to optimize multiple task-specific targets e.g., click through rate and conversion rate, known as multi-task learning (MTL). Recent solutions for MSL and MTL are mostly based on the multi-gate mixture-of-experts (MMoE) architecture. MMoE structure is typically static and its design requires domain-specific knowledge, making it less effective in handling both MSL and MTL. In this paper, we propose a novel Automatic Expert Selection framework for Multi-scenario and Multi-task search, named AESM^{2}. AESM^{2} integrates both MSL and MTL into a unified framework with an automatic structure learning. Specifically, AESM^{2} stacks multi-task layers over multi-scenario layers. This hierarchical design enables us to flexibly establish intrinsic connections between different scenarios, and at the same time also supports high-level feature extraction for different tasks. At each multi-scenario/multi-task layer, a novel expert selection algorithm is proposed to automatically identify scenario-/task-specific and shared experts for each input. Experiments over two real-world large-scale datasets demonstrate the effectiveness of AESM^{2} over a battery of strong baselines. Online A/B test also shows substantial performance gain on multiple metrics. Currently, AESM^{2} has been deployed online for serving major traffic.
• Abstract（参考訳）: マルチシナリオ学習(MSL)は、サービスのプロバイダがユーザの地理的領域によって異なるユーザセクターのサービスを分離することで、ユーザの細かな要求に対処することを可能にする。 各シナリオでは、MTL(Multi-task Learning)として知られるレートと変換レートをクリックして、複数のタスク固有のターゲットを最適化する必要がある。 MSL と MTL の最近のソリューションは、主にMMOE (Multi-gate Mixed-of-experts) アーキテクチャに基づいている。 MMoEの構造は通常静的であり、その設計にはドメイン固有の知識が必要であり、MSLとMLLの両方を扱うのがより効果的である。 本稿では,AESM^{2} という名前のマルチシナリオとマルチタスク検索のための新しい自動エキスパート選択フレームワークを提案する。 AESM^{2}はMSLとMLLの両方を統合フレームワークに統合し、自動構造学習を行う。 具体的には、AESM^{2}はマルチシナリオ層にマルチタスク層を積み重ねる。 この階層設計により、異なるシナリオ間の固有の接続を柔軟に確立できると同時に、異なるタスクに対する高レベルの特徴抽出もサポートします。 各マルチシナリオ/マルチタスク層において、各入力に対してシナリオ/タスク固有の共有専門家を自動的に識別する新しい専門家選択アルゴリズムが提案されている。 2つの実世界の大規模データセットに対する実験は、強いベースラインのバッテリー上でのAESM^{2}の有効性を示す。 オンラインA/Bテストでは、複数のメトリクスで大幅にパフォーマンスが向上する。 現在、AESM^{2}は主要なトラフィックを提供するためにオンラインでデプロイされている。

関連論文リスト

• AutoML-Agent: A Multi-Agent LLM Framework for Full-Pipeline AutoML [56.565200973244146]
  自動機械学習(Automated Machine Learning, ML)は、開発パイプライン内のタスクを自動化することによって、AI開発を加速する。 近年の作業では,そのような負担を軽減するために,大規模言語モデル(LLM)の利用が始まっている。 本稿では,フルパイプのAutoMLに適した新しいマルチエージェントフレームワークであるAutoML-Agentを提案する。
  論文  参考訳（メタデータ） (2024-10-03T20:01:09Z)
• Towards Personalized Federated Multi-Scenario Multi-Task Recommendation [22.095138650857436]
  PF-MSMTrecは、パーソナライズされたマルチシナリオマルチタスクレコメンデーションのための新しいフレームワークである。 複数の最適化競合の独特な課題に対処するために,ボトムアップ共同学習機構を導入する。 提案手法は最先端手法より優れている。
  論文  参考訳（メタデータ） (2024-06-27T07:10:37Z)
• Giving each task what it needs -- leveraging structured sparsity for tailored multi-task learning [4.462334751640166]
  マルチタスク学習(MTL)フレームワークでは、各タスクは、低レベルから高レベルの属性まで、異なる特徴表現を要求する。 この研究は、構造化された空間を利用して個々のタスクの特徴選択を洗練し、マルチタスクシナリオにおける全てのタスクのパフォーマンスを向上させるレイヤdマルチタスクモデルを導入する。
  論文  参考訳（メタデータ） (2024-06-05T08:23:38Z)
• Task-Based MoE for Multitask Multilingual Machine Translation [58.20896429151824]
  Mixture-of-experts (MoE)アーキテクチャは、多くのアプリケーションで深層モデルのトレーニングにおいて、多様なタスクのための強力な手法であることが証明されている。 本研究では,タスク情報を異なる粒度レベルでMoEモデルに組み込む新しい手法を,動的タスクベースアダプタの共有により設計する。
  論文  参考訳（メタデータ） (2023-08-30T05:41:29Z)
• Knowledge Assembly: Semi-Supervised Multi-Task Learning from Multiple Datasets with Disjoint Labels [8.816979799419107]
  マルチタスク学習(MTL)は適切な手法であるが、通常はすべてのタスクにラベル付けされたデータセットを必要とする。 MTLフレームワークのタスクのいくつかのみにラベル付けされたデータセットを活用できる手法を提案する。 我々の研究であるKnowledge Assembly(KA)は、ラベルのないデータを半教師付きで活用することで、不連続なデータセットから複数のタスクを学習する。
  論文  参考訳（メタデータ） (2023-06-15T04:05:03Z)
• HiNet: Novel Multi-Scenario & Multi-Task Learning with Hierarchical Information Extraction [50.40732146978222]
  マルチシナリオとマルチタスク学習は、産業アプリケーションにおける多くのレコメンデーションシステムに広く応用されている。 階層型情報抽出ネットワーク(HiNet)を提案する。 HiNetは、新しい最先端のパフォーマンスを実現し、既存のソリューションを大幅に上回っている。
  論文  参考訳（メタデータ） (2023-03-10T17:24:41Z)
• M$^3$ViT: Mixture-of-Experts Vision Transformer for Efficient Multi-task Learning with Model-Accelerator Co-design [95.41238363769892]
  マルチタスク学習(MTL)は、複数の学習タスクを単一のモデルにカプセル化し、それらのタスクを共同でよりよく学習できるようにする。 現在のMTLレギュレータは、1つのタスクだけを実行するためにさえ、ほぼすべてのモデルを起動する必要がある。 効率的なオンデバイスMTLを実現するためのモデル-アクセラレータ共設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-26T15:40:24Z)
• Heterogeneous Multi-task Learning with Expert Diversity [15.714385295889944]
  そこで我々は,高度不均衡で異種なMTL学習に適した表現を,専門家の間でより多様な表現を導き出すアプローチを提案する。 我々は,集中治療のための医療情報マート (MIMIC-III) と PubChem Bio Assay (PCBA) の3つのMTLベンチマークデータセットに対して,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2021-06-20T01:30:37Z)
• Controllable Pareto Multi-Task Learning [55.945680594691076]
  マルチタスク学習システムは,複数のタスクを同時に解決することを目的としている。 固定されたモデルキャパシティでは、タスクは互いに衝突し、システムは通常、それらすべてを学ぶためにトレードオフをしなければならない。 本研究では,異なるタスク間のリアルタイムなトレードオフ制御を実現するための,新しい制御可能なマルチタスク学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-10-13T11:53:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。