論文の概要: Multi-Faceted Hierarchical Multi-Task Learning for a Large Number of
Tasks with Multi-dimensional Relations
- arxiv url: http://arxiv.org/abs/2110.13365v1
- Date: Tue, 26 Oct 2021 02:35:51 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-27 15:22:06.459335
- Title: Multi-Faceted Hierarchical Multi-Task Learning for a Large Number of
Tasks with Multi-dimensional Relations
- Title（参考訳）: 多次元関係を持つ多数のタスクに対する多面階層型マルチタスク学習
- Authors: Junning Liu, Zijie Xia, Yu Lei, Xinjian Li, Xu Wang
- Abstract要約: 本研究は,共有学習ネットワーク設計の「マクロ」視点を考察し,多面階層型MTLモデル(MFH)を提案する。
MFHは、共有学習を最大化するネスト付き階層木構造と多次元タスク関係を利用する。
我々はMFHとSOTAモデルを100億サンプルの大規模ビデオプラットフォームで評価し、その結果、MFHは、オフラインおよびオンライン両方の評価において、SOTA MTLモデルよりも有意に優れていることを示した。
- 参考スコア（独自算出の注目度）: 10.326429525379181
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: There has been many studies on improving the efficiency of shared learning in
Multi-Task Learning(MTL). Previous work focused on the "micro" sharing
perspective for a small number of tasks, while in Recommender Systems(RS) and
other AI applications, there are often demands to model a large number of tasks
with multi-dimensional task relations. For example, when using MTL to model
various user behaviors in RS, if we differentiate new users and new items from
old ones, there will be a cartesian product style increase of tasks with
multi-dimensional relations. This work studies the "macro" perspective of
shared learning network design and proposes a Multi-Faceted Hierarchical MTL
model(MFH). MFH exploits the multi-dimension task relations with a nested
hierarchical tree structure which maximizes the shared learning. We evaluate
MFH and SOTA models in a large industry video platform of 10 billion samples
and results show that MFH outperforms SOTA MTL models significantly in both
offline and online evaluations across all user groups, especially remarkable
for new users with an online increase of 9.1\% in app time per user and 1.85\%
in next-day retention rate. MFH now has been deployed in a large scale online
video recommender system. MFH is especially beneficial to the cold-start
problems in RS where new users and new items often suffer from a "local
overfitting" phenomenon. However, the idea is actually generic and widely
applicable to other MTL scenarios.
- Abstract（参考訳）: マルチタスク学習(MTL)における共有学習の効率化に関する研究が数多く行われている。
以前の作業では、少数のタスクの"マイクロ"共有の観点から焦点を当てていたが、レコメンデータシステム(rs)や他のaiアプリケーションでは、多次元タスク関係を持つ多数のタスクをモデル化する必要がある場合が多い。
例えば、mtlを使ってrsの様々なユーザー動作をモデル化する場合、新しいユーザーと新しいアイテムを古いものと区別すると、多次元関係を持つタスクのデカルト的な製品スタイルが増加する。
本研究は,共有学習ネットワーク設計の「マクロ」視点を考察し,MFH(Multi-Faceted Hierarchical MTL model)を提案する。
MFHは、共有学習を最大化するネスト付き階層木構造とマルチ次元タスク関係を利用する。
我々は,100億サンプルの大規模産業ビデオプラットフォームにおけるmfhおよびsomaモデルを評価し,その結果,mfhは全ユーザグループにおけるオフラインおよびオンライン評価においてsata mtlモデルを大幅に上回り,特にオンラインユーザでは1ユーザあたりのアプリタイムが9.1\%,翌日の保持率は1.85\%と,特に顕著であった。
MFHは現在、大規模なオンラインビデオレコメンデーションシステムにデプロイされている。
MFHは、新しいユーザや新しいアイテムが"ローカルなオーバーフィット"現象に苦しむRSのコールドスタート問題に特に有益である。
しかし、このアイデアは実際には一般的なものであり、他のMTLシナリオにも広く適用できる。
関連論文リスト
- An Enhanced-State Reinforcement Learning Algorithm for Multi-Task Fusion in Large-Scale Recommender Systems [12.277443583840963]
Recommender Systems(RS)におけるマルチタスク融合(MTF)のための拡張状態RLと呼ばれる新しい手法を提案する。
提案手法はまず,ユーザの特徴,項目の特徴,その他の重要な特徴を拡張状態として集合的に定義し,さらに,ユーザとイズムのペアに対してより優れたアクションを実現するために,拡張状態を活用する新しいアクタと批判的学習プロセスを提案する。
論文 参考訳（メタデータ） (2024-09-18T03:34:31Z) - Uni-MoE: Scaling Unified Multimodal LLMs with Mixture of Experts [54.529880848937104]
そこで我々は,MoEアーキテクチャをUni-MoEと呼ぶ一貫したMLLMを開発し,様々なモダリティを扱えるようにした。
具体的には、統一マルチモーダル表現のためのコネクタを持つモダリティ特化エンコーダを特徴とする。
マルチモーダルデータセットの包括的集合を用いた命令調整Uni-MoEの評価を行った。
論文 参考訳（メタデータ） (2024-05-18T12:16:01Z) - DEPHN: Different Expression Parallel Heterogeneous Network using virtual
gradient optimization for Multi-task Learning [1.0705399532413615]
マルチタスク学習(MTL)に基づく推薦システムアルゴリズムは、インターネットオペレーターがユーザを理解し、その振る舞いを予測する主要な方法である。
従来のモデルでは、共有ボットモデルとゲーティングの専門家を使用して、共有表現学習と情報の差別化を実現している。
本稿では,複数のタスクを同時にモデル化するための異なる表現並列不均一ネットワーク(DEPHN)を提案する。
論文 参考訳（メタデータ） (2023-07-24T04:29:00Z) - Mod-Squad: Designing Mixture of Experts As Modular Multi-Task Learners [74.92558307689265]
専門家グループ("スクワッド")にモジュール化された新しいモデルであるMod-Squadを提案する。
単一モデルのトレーニング中に、このマッチングプロセスを最適化する。
13の視覚タスクを持つタスクノミーデータセットと、5つの視覚タスクを持つPASCAL-Contextデータセットの実験は、我々のアプローチの優位性を示している。
論文 参考訳（メタデータ） (2022-12-15T18:59:52Z) - M$^3$ViT: Mixture-of-Experts Vision Transformer for Efficient Multi-task
Learning with Model-Accelerator Co-design [95.41238363769892]
マルチタスク学習(MTL)は、複数の学習タスクを単一のモデルにカプセル化し、それらのタスクを共同でよりよく学習できるようにする。
現在のMTLレギュレータは、1つのタスクだけを実行するためにさえ、ほぼすべてのモデルを起動する必要がある。
効率的なオンデバイスMTLを実現するためのモデル-アクセラレータ共設計フレームワークを提案する。
論文 参考訳（メタデータ） (2022-10-26T15:40:24Z) - Sparsely Activated Mixture-of-Experts are Robust Multi-Task Learners [67.5865966762559]
本研究では,Mixture-of-Experts (MoE) がマルチタスク学習を改善するかを検討した。
タスク認識ゲーティング関数を考案し、異なるタスクから専門の専門家にサンプルをルーティングする。
これにより、多数のパラメータを持つ疎活性化マルチタスクモデルが得られるが、高密度モデルの計算コストは同じである。
論文 参考訳（メタデータ） (2022-04-16T00:56:12Z) - Exceeding the Limits of Visual-Linguistic Multi-Task Learning [0.0]
同様に構造化された入力データを共有する1000のユニークな分類タスクを構築した。
これらの分類タスクは、異なるeコマースウェブサイトの製品階層の学習に重点を置いている。
マルチタスク学習(MTL)を用いて,これらの課題を一斉に解決する。
論文 参考訳（メタデータ） (2021-07-27T19:42:14Z) - Rethinking Hard-Parameter Sharing in Multi-Task Learning [20.792654758645302]
マルチタスク学習(MTL)におけるハードパラメータ共有により、タスクはモデルのパラメータの一部を共有でき、ストレージコストを低減し、予測精度を向上させることができる。
共通の共有プラクティスは、タスク毎に別々のトップレイヤを使用しながら、タスク間でディープニューラルネットワークのボトムレイヤを共有することだ。
異なるボトム層パラメータを使用することで、一般的なプラクティスよりも大幅にパフォーマンスが向上する可能性がある。
論文 参考訳（メタデータ） (2021-07-23T17:26:40Z) - Controllable Pareto Multi-Task Learning [55.945680594691076]
マルチタスク学習システムは,複数のタスクを同時に解決することを目的としている。
固定されたモデルキャパシティでは、タスクは互いに衝突し、システムは通常、それらすべてを学ぶためにトレードオフをしなければならない。
本研究では,異なるタスク間のリアルタイムなトレードオフ制御を実現するための,新しい制御可能なマルチタスク学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-10-13T11:53:55Z) - Boosting Share Routing for Multi-task Learning [0.12891210250935145]
マルチタスク学習(MTL)は、マルチタスク監視信号に含まれる知識をフル活用して、全体的なパフォーマンスを向上させることを目的としている。
複数のタスクの知識を適切に共有する方法は、MTLにとってオープンな問題である。
本稿では,MTNAS(Multi-Task Neural Architecture Search)と呼ばれる汎用フレームワークを提案する。
論文 参考訳（メタデータ） (2020-09-01T12:37:19Z) - MTI-Net: Multi-Scale Task Interaction Networks for Multi-Task Learning [82.62433731378455]
特定のスケールで高い親和性を持つタスクは、他のスケールでこの動作を維持することが保証されていないことを示す。
本稿では,この発見に基づく新しいアーキテクチャ MTI-Net を提案する。
論文 参考訳（メタデータ） (2020-01-19T21:02:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。