論文の概要: Eliciting Transferability in Multi-task Learning with Task-level Mixture-of-Experts

• arxiv url: http://arxiv.org/abs/2205.12701v1
• Date: Wed, 25 May 2022 11:59:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-26 22:44:12.889833
• Title: Eliciting Transferability in Multi-task Learning with Task-level Mixture-of-Experts
• Title（参考訳）: タスクレベルの混合を用いたマルチタスク学習における伝達可能性の緩和
• Authors: Qinyuan Ye, Juan Zha, Xiang Ren
• Abstract要約: トランスモデルは多様なNLPタスクでマルチタスク学習を行うことができる。 人間は、どんなスキルや知識が関連しているかを適切に推定することで、より柔軟な方法でタスクに取り組む。 学習したルーティング決定と専門家は、NLPタスクの人間の分類を部分的に再発見する。
• 参考スコア（独自算出の注目度）: 29.34065746373841
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent work suggests that transformer models are capable of multi-task learning on diverse NLP tasks. However, the potential of these models may be limited as they use the same set of parameters for all tasks. In contrast, humans tackle tasks in a more flexible way, by making proper presumptions on what skills and knowledge are relevant and executing only the necessary computations. Inspired by this, we propose to use task-level mixture-of-expert models, which has a collection of transformer layers (i.e., experts) and a router component to choose among these experts dynamically and flexibly. We show that the learned routing decisions and experts partially rediscover human categorization of NLP tasks -- certain experts are strongly associated with extractive tasks, some with classification tasks, and some with tasks requiring world knowledge.
• Abstract（参考訳）: 最近の研究は、トランスフォーマーモデルが多様なNLPタスクをマルチタスクで学習できることを示唆している。 しかしながら、これらのモデルのポテンシャルは、全てのタスクに同じパラメータセットを使用するため、制限される可能性がある。 対照的に、人間は、スキルと知識が何に関連するのかを適切に仮定し、必要な計算だけを実行することによって、より柔軟な方法でタスクに取り組む。 そこで本研究では,これらの専門家を動的かつ柔軟に選択するために,トランスフォーマー層(エキスパートなど)とルータコンポーネントの集合を持つタスクレベルの混在モデルを提案する。 学習した経路決定と専門家は、部分的にnlpタスクの人間的分類を再発見することを示し、ある専門家は抽出タスク、ある者は分類タスク、あるものは世界知識を必要とするタスクと強く関連している。

関連論文リスト

• Harder Tasks Need More Experts: Dynamic Routing in MoE Models [58.18526590138739]
  本稿では,Mixture of Experts(MoE)モデルのための新しい動的専門家選択フレームワークを提案する。 提案手法は,各入力に対する専門家選択の信頼性レベルに基づいて,専門家を動的に選択する。
  論文  参考訳（メタデータ） (2024-03-12T13:41:15Z)
• PEMT: Multi-Task Correlation Guided Mixture-of-Experts Enables Parameter-Efficient Transfer Learning [28.353530290015794]
  マルチタスク変換学習に基づくパラメータ効率の高いファインチューニングフレームワークPEMTを提案する。 我々は17のデータセットにまたがる幅広いタスクについて実験を行う。
  論文  参考訳（メタデータ） (2024-02-23T03:59:18Z)
• Customizable Combination of Parameter-Efficient Modules for Multi-Task Learning [11.260650180067278]
  タスク共通スキルとタスク特化スキルを組み合わせた,新しいアプローチを提案する。 スキル割り当て行列を共同で学習する。 以上の結果から, C-Polyは, 完全共有, タスク特化, スキル非差別性ベースラインよりも優れていた。
  論文  参考訳（メタデータ） (2023-12-06T02:47:56Z)
• Pre-training Multi-task Contrastive Learning Models for Scientific Literature Understanding [52.723297744257536]
  事前学習言語モデル(LM)は、科学文献理解タスクにおいて有効であることを示す。 文献理解タスク間の共通知識共有を容易にするために,マルチタスクのコントラスト学習フレームワークであるSciMultを提案する。
  論文  参考訳（メタデータ） (2023-05-23T16:47:22Z)
• Mod-Squad: Designing Mixture of Experts As Modular Multi-Task Learners [74.92558307689265]
  専門家グループ("スクワッド")にモジュール化された新しいモデルであるMod-Squadを提案する。 単一モデルのトレーニング中に、このマッチングプロセスを最適化する。 13の視覚タスクを持つタスクノミーデータセットと、5つの視覚タスクを持つPASCAL-Contextデータセットの実験は、我々のアプローチの優位性を示している。
  論文  参考訳（メタデータ） (2022-12-15T18:59:52Z)
• EEML: Ensemble Embedded Meta-learning [5.9514420658483935]
  本稿では,事前知識を多種多様な専門家に整理するために,マルチモデルアンサンブルを明示的に活用する組込みメタ学習アルゴリズム(EEML)を提案する。 トレーニングプロセスのエキスパートに多様なタスクを提供し、テストフェーズで専門家がどのように協力するかを指示するために、クラスタメカニズムを組み込むタスクに依存しています。 実験結果から,提案手法は,最近の最先端技術に優れることが示された。
  論文  参考訳（メタデータ） (2022-06-18T12:37:17Z)
• Modular Adaptive Policy Selection for Multi-Task Imitation Learning through Task Division [60.232542918414985]
  マルチタスク学習は、しばしば負の伝達に悩まされ、タスク固有の情報を共有する。 これは、プロトポリケーションをモジュールとして使用して、タスクを共有可能な単純なサブ振る舞いに分割する。 また、タスクを共有サブ行動とタスク固有のサブ行動の両方に自律的に分割する能力を示す。
  論文  参考訳（メタデータ） (2022-03-28T15:53:17Z)
• Combining Modular Skills in Multitask Learning [149.8001096811708]
  モジュラー設計は、ニューラルネットワークが様々な知識の面をアンタングルして再結合し、新しいタスクにより系統的に一般化することを奨励する。 この研究では、各タスクは(潜在的に小さな)インベントリから潜在的な離散スキルのサブセットと関連付けられていると仮定する。 ネットワークのモジュラー設計により、強化学習におけるサンプル効率が著しく向上し、教師あり学習における数ショットの一般化が図られる。
  論文  参考訳（メタデータ） (2022-02-28T16:07:19Z)
• Variational Multi-Task Learning with Gumbel-Softmax Priors [105.22406384964144]
  マルチタスク学習は、タスク関連性を探究し、個々のタスクを改善することを目的としている。 本稿では,複数のタスクを学習するための一般的な確率的推論フレームワークである変分マルチタスク学習(VMTL)を提案する。
  論文  参考訳（メタデータ） (2021-11-09T18:49:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。