論文の概要: HiNet: Novel Multi-Scenario & Multi-Task Learning with Hierarchical Information Extraction

• arxiv url: http://arxiv.org/abs/2303.06095v2
• Date: Tue, 14 Mar 2023 02:34:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-15 11:18:14.370340
• Title: HiNet: Novel Multi-Scenario & Multi-Task Learning with Hierarchical Information Extraction
• Title（参考訳）: HiNet:階層型情報抽出による新しいマルチシナリオとマルチタスク学習
• Authors: Jie Zhou, Xianshuai Cao, Wenhao Li, Lin Bo, Kun Zhang, Chuan Luo and Qian Yu
• Abstract要約: マルチシナリオとマルチタスク学習は、産業アプリケーションにおける多くのレコメンデーションシステムに広く応用されている。 階層型情報抽出ネットワーク(HiNet)を提案する。 HiNetは、新しい最先端のパフォーマンスを実現し、既存のソリューションを大幅に上回っている。
• 参考スコア（独自算出の注目度）: 36.0619019487891
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-scenario & multi-task learning has been widely applied to many recommendation systems in industrial applications, wherein an effective and practical approach is to carry out multi-scenario transfer learning on the basis of the Mixture-of-Expert (MoE) architecture. However, the MoE-based method, which aims to project all information in the same feature space, cannot effectively deal with the complex relationships inherent among various scenarios and tasks, resulting in unsatisfactory performance. To tackle the problem, we propose a Hierarchical information extraction Network (HiNet) for multi-scenario and multi-task recommendation, which achieves hierarchical extraction based on coarse-to-fine knowledge transfer scheme. The multiple extraction layers of the hierarchical network enable the model to enhance the capability of transferring valuable information across scenarios while preserving specific features of scenarios and tasks. Furthermore, a novel scenario-aware attentive network module is proposed to model correlations between scenarios explicitly. Comprehensive experiments conducted on real-world industrial datasets from Meituan Meishi platform demonstrate that HiNet achieves a new state-of-the-art performance and significantly outperforms existing solutions. HiNet is currently fully deployed in two scenarios and has achieved 2.87% and 1.75% order quantity gain respectively.
• Abstract（参考訳）: マルチシナリオ・マルチタスク学習は,Mixture-of-Expert(MoE)アーキテクチャに基づいて,マルチシナリオ・トランスファー学習を効果的かつ実践的に実施するための産業用レコメンデーションシステムに広く応用されている。 しかし,同じ特徴空間に全ての情報を投影することを目的としたMoEベースの手法では,様々なシナリオやタスクに固有の複雑な関係を効果的に扱うことはできない。 そこで本研究では,マルチタスクレコメンデーションとマルチタスクレコメンデーションのための階層的情報抽出ネットワーク(hinet)を提案する。 階層型ネットワークの複数の抽出層により、シナリオやタスクの特定の機能を保持しながら、シナリオ間で貴重な情報を転送する能力を高めることができる。 さらに,シナリオ間の相関を明示的にモデル化するために,シナリオ認識型注意ネットワークモジュールを提案する。 meituan meishi platformによる実世界の産業データセットに関する包括的な実験は、hinetが新たな最先端のパフォーマンスを達成し、既存のソリューションを大きく上回っていることを示している。 HiNetは現在、2つのシナリオで完全にデプロイされており、それぞれ2.87%と1.75%の注文量を獲得した。

関連論文リスト

• Giving each task what it needs -- leveraging structured sparsity for tailored multi-task learning [4.462334751640166]
  この研究はレイヤ改良型マルチタスク(LOMT)モデルを導入している。 LOMTモデルは、構造化された空間を利用して、個々のタスクの特徴選択を強化し、マルチタスクシナリオにおける全てのタスクのパフォーマンスを向上させる。 従来のMTLモデルとは対照的に,LOMTモデルの詳細な性能解析により,ほとんどのタスクの組み合わせにおいて,LOMTモデルの方が優れていたことが明らかとなった。
  論文  参考訳（メタデータ） (2024-06-05T08:23:38Z)
• DEPHN: Different Expression Parallel Heterogeneous Network using virtual gradient optimization for Multi-task Learning [1.0705399532413615]
  マルチタスク学習(MTL)に基づく推薦システムアルゴリズムは、インターネットオペレーターがユーザを理解し、その振る舞いを予測する主要な方法である。 従来のモデルでは、共有ボットモデルとゲーティングの専門家を使用して、共有表現学習と情報の差別化を実現している。 本稿では,複数のタスクを同時にモデル化するための異なる表現並列不均一ネットワーク(DEPHN)を提案する。
  論文  参考訳（メタデータ） (2023-07-24T04:29:00Z)
• Factorized Contrastive Learning: Going Beyond Multi-view Redundancy [116.25342513407173]
  本稿では,マルチビュー冗長性を超えた新しいマルチモーダル表現学習法であるFacterCLを提案する。 大規模な実世界のデータセットでは、FacterCLは共有情報とユニークな情報の両方をキャプチャし、最先端の結果を達成する。
  論文  参考訳（メタデータ） (2023-06-08T15:17:04Z)
• Diffusion Model is an Effective Planner and Data Synthesizer for Multi-Task Reinforcement Learning [101.66860222415512]
  Multi-Task Diffusion Model (textscMTDiff) は、トランスフォーマーのバックボーンを組み込んだ拡散に基づく手法であり、生成計画とデータ合成のための素早い学習を行う。 生成計画において、textscMTDiffはMeta-World上の50のタスクとMaze2D上の8のマップで最先端のアルゴリズムより優れています。
  論文  参考訳（メタデータ） (2023-05-29T05:20:38Z)
• Task Aware Feature Extraction Framework for Sequential Dependence Multi-Task Learning [1.0765359420035392]
  我々は厳密な数学的観点から逐次依存型MLLを解析する。 逐次依存型MLLのためのタスク認識特徴抽出(TAFE)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-01-06T13:12:59Z)
• Sparsely Activated Mixture-of-Experts are Robust Multi-Task Learners [67.5865966762559]
  本研究では,Mixture-of-Experts (MoE) がマルチタスク学習を改善するかを検討した。 タスク認識ゲーティング関数を考案し、異なるタスクから専門の専門家にサンプルをルーティングする。 これにより、多数のパラメータを持つ疎活性化マルチタスクモデルが得られるが、高密度モデルの計算コストは同じである。
  論文  参考訳（メタデータ） (2022-04-16T00:56:12Z)
• Routing with Self-Attention for Multimodal Capsule Networks [108.85007719132618]
  我々は,カプセルの強度をマルチモーダル学習フレームワークの文脈で活用できる,新しいマルチモーダルカプセルネットワークを提案する。 カプセルを大規模入力データに適応させるために, カプセルを選択する自己保持機構による新たなルーティングを提案する。 これにより、ノイズの多いビデオデータによる堅牢なトレーニングだけでなく、従来のルーティング方法と比較してカプセルネットワークのサイズを拡大することが可能になる。
  論文  参考訳（メタデータ） (2021-12-01T19:01:26Z)
• Multi-Task Learning with Sequence-Conditioned Transporter Networks [67.57293592529517]
  シーケンスコンディショニングと重み付きサンプリングのレンズによるマルチタスク学習の実現を目指している。 合成タスクを対象とした新しいベンチマークであるMultiRavensを提案する。 次に,視覚に基づくエンドツーエンドシステムアーキテクチャであるSequence-Conditioned Transporter Networksを提案する。
  論文  参考訳（メタデータ） (2021-09-15T21:19:11Z)
• Multi-Task Learning with Deep Neural Networks: A Survey [0.0]
  マルチタスク学習(Multi-task learning、MTL)は、複数のタスクを共有モデルで同時に学習する機械学習のサブフィールドである。 深層ニューラルネットワークにおけるマルチタスク学習手法の概要を述べる。
  論文  参考訳（メタデータ） (2020-09-10T19:31:04Z)
• Boosting Share Routing for Multi-task Learning [0.12891210250935145]
  マルチタスク学習(MTL)は、マルチタスク監視信号に含まれる知識をフル活用して、全体的なパフォーマンスを向上させることを目的としている。 複数のタスクの知識を適切に共有する方法は、MTLにとってオープンな問題である。 本稿では,MTNAS(Multi-Task Neural Architecture Search)と呼ばれる汎用フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-09-01T12:37:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。