論文の概要: Navigating the Trade-Off between Multi-Task Learning and Learning to Multitask in Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2007.10527v2
• Date: Tue, 5 Jan 2021 18:16:35 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-08 10:10:40.827174
• Title: Navigating the Trade-Off between Multi-Task Learning and Learning to Multitask in Deep Neural Networks
• Title（参考訳）: ディープニューラルネットワークにおけるマルチタスク学習と学習のトレードオフの探索
• Authors: Sachin Ravi and Sebastian Musslick and Maia Hamin and Theodore L. Willke and Jonathan D. Cohen
• Abstract要約: マルチタスク学習(マルチタスクきゅう、英: Multi-task learning)とは、機械学習において、ネットワークがタスクの取得を容易にするために様々なタスクで訓練されるパラダイムである。 マルチタスクは、特に認知科学の文献において、複数のタスクを同時に実行する能力を示すために用いられる。 深層ネットワークでも同様の緊張が生じていることを示し、エージェントが不慣れな環境でこのトレードオフを管理するためのメタ学習アルゴリズムについて議論する。
• 参考スコア（独自算出の注目度）: 9.278739724750343
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The terms multi-task learning and multitasking are easily confused. Multi-task learning refers to a paradigm in machine learning in which a network is trained on various related tasks to facilitate the acquisition of tasks. In contrast, multitasking is used to indicate, especially in the cognitive science literature, the ability to execute multiple tasks simultaneously. While multi-task learning exploits the discovery of common structure between tasks in the form of shared representations, multitasking is promoted by separating representations between tasks to avoid processing interference. Here, we build on previous work involving shallow networks and simple task settings suggesting that there is a trade-off between multi-task learning and multitasking, mediated by the use of shared versus separated representations. We show that the same tension arises in deep networks and discuss a meta-learning algorithm for an agent to manage this trade-off in an unfamiliar environment. We display through different experiments that the agent is able to successfully optimize its training strategy as a function of the environment.
• Abstract（参考訳）: マルチタスク学習とマルチタスクという用語は容易に混同される。 マルチタスク学習(multi-task learning)は、ネットワークが様々な関連するタスクで訓練され、タスクの獲得が促進される機械学習のパラダイムである。 対照的に、マルチタスクは、特に認知科学文献において、複数のタスクを同時に実行する能力を示すために使用される。 マルチタスク学習は、共有表現の形でタスク間の共通構造の発見を利用するが、マルチタスクは、タスク間の表現を分離して処理干渉を回避することで促進される。 ここでは、浅いネットワークと単純なタスク設定を含む以前の作業に基づいて、共有表現と分離表現の使用によって仲介されるマルチタスク学習とマルチタスクのトレードオフが存在することを示唆する。 ディープネットワークにおいて同じ緊張が生じ、エージェントが未知の環境でこのトレードオフを管理するためのメタラーニングアルゴリズムについて議論する。 我々は,エージェントが環境の機能としてトレーニング戦略をうまく最適化できる,様々な実験を通して示す。

関連論文リスト

• Saliency-Regularized Deep Multi-Task Learning [7.3810864598379755]
  マルチタスク学習は、知識を共有するために複数の学習タスクを強制し、一般化能力を改善する。 現代のディープマルチタスク学習は、潜在機能とタスク共有を共同で学習することができるが、それらはタスク関係において不明瞭である。 本稿では,潜在的特徴と明示的な課題関係を共同で学習するマルチタスク学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-03T20:26:44Z)
• Sparsely Activated Mixture-of-Experts are Robust Multi-Task Learners [67.5865966762559]
  本研究では,Mixture-of-Experts (MoE) がマルチタスク学習を改善するかを検討した。 タスク認識ゲーティング関数を考案し、異なるタスクから専門の専門家にサンプルをルーティングする。 これにより、多数のパラメータを持つ疎活性化マルチタスクモデルが得られるが、高密度モデルの計算コストは同じである。
  論文  参考訳（メタデータ） (2022-04-16T00:56:12Z)
• Modular Adaptive Policy Selection for Multi-Task Imitation Learning through Task Division [60.232542918414985]
  マルチタスク学習は、しばしば負の伝達に悩まされ、タスク固有の情報を共有する。 これは、プロトポリケーションをモジュールとして使用して、タスクを共有可能な単純なサブ振る舞いに分割する。 また、タスクを共有サブ行動とタスク固有のサブ行動の両方に自律的に分割する能力を示す。
  論文  参考訳（メタデータ） (2022-03-28T15:53:17Z)
• Multi-Task Neural Processes [105.22406384964144]
  我々はマルチタスク学習のためのニューラル・プロセスの新たな変種であるマルチタスク・ニューラル・プロセスを開発する。 特に,各タスク改善のための帰納的バイアスを提供するために,関数空間内の関連するタスクから伝達可能な知識を探索することを提案する。 その結果、マルチタスク学習におけるタスク間の有用な知識の伝達におけるマルチタスクニューラルプロセスの有効性が示された。
  論文  参考訳（メタデータ） (2021-11-10T17:27:46Z)
• On the relationship between disentanglement and multi-task learning [62.997667081978825]
  ハードパラメータ共有に基づくマルチタスク学習と絡み合いの関係について,より詳しく検討する。 マルチタスクニューラルネットワークトレーニングの過程において, 絡み合いが自然に現れることを示す。
  論文  参考訳（メタデータ） (2021-10-07T14:35:34Z)
• Multi-Task Learning with Sequence-Conditioned Transporter Networks [67.57293592529517]
  シーケンスコンディショニングと重み付きサンプリングのレンズによるマルチタスク学習の実現を目指している。 合成タスクを対象とした新しいベンチマークであるMultiRavensを提案する。 次に,視覚に基づくエンドツーエンドシステムアーキテクチャであるSequence-Conditioned Transporter Networksを提案する。
  論文  参考訳（メタデータ） (2021-09-15T21:19:11Z)
• MultiTask-CenterNet (MCN): Efficient and Diverse Multitask Learning using an Anchor Free Approach [0.13764085113103217]
  マルチタスク学習は機械学習における一般的なアプローチである。 本稿では,複数の知覚関連タスクを同時に学習するためのCenterNetアンカーフリーアプローチを強化する。
  論文  参考訳（メタデータ） (2021-08-11T06:57:04Z)
• Multitask learning over graphs: An Approach for Distributed, Streaming Machine Learning [46.613346075513206]
  マルチタスク学習は帰納的伝達学習のアプローチである。 近年、分散ストリーミング方式でデータを収集する能力が高まっている。 これは、分散(またはネットワーク化された)システム上でのストリーミングデータから、複数のタスクを共同で学習するための新しい戦略の設計を必要とする。
  論文  参考訳（メタデータ） (2020-01-07T15:32:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。