Fugu-MT 論文翻訳(概要): On the relationship between disentanglement and multi-task learning

論文の概要: On the relationship between disentanglement and multi-task learning

arxiv url: http://arxiv.org/abs/2110.03498v1
Date: Thu, 7 Oct 2021 14:35:34 GMT
ステータス: 処理完了
システム内更新日: 2021-10-08 22:53:13.924435
Title: On the relationship between disentanglement and multi-task learning
Title（参考訳）: 絡み合いとマルチタスク学習の関係について
Authors: {\L}ukasz Maziarka, Aleksandra Nowak, Maciej Wo{\l}czyk, Andrzej Bedychaj
Abstract要約: ハードパラメータ共有に基づくマルチタスク学習と絡み合いの関係について,より詳しく検討する。マルチタスクニューラルネットワークトレーニングの過程において, 絡み合いが自然に現れることを示す。
参考スコア（独自算出の注目度）: 62.997667081978825
License: http://creativecommons.org/licenses/by/4.0/
Abstract: One of the main arguments behind studying disentangled representations is the assumption that they can be easily reused in different tasks. At the same time finding a joint, adaptable representation of data is one of the key challenges in the multi-task learning setting. In this paper, we take a closer look at the relationship between disentanglement and multi-task learning based on hard parameter sharing. We perform a thorough empirical study of the representations obtained by neural networks trained on automatically generated supervised tasks. Using a set of standard metrics we show that disentanglement appears naturally during the process of multi-task neural network training.
Abstract（参考訳）: 絡み合った表現の研究の背後にある主な議論の1つは、異なるタスクで簡単に再利用できるという仮定である。同時に、共同で適応可能なデータの表現を見つけることは、マルチタスク学習における重要な課題の1つである。本稿では,ハードパラメータ共有に基づくマルチタスク学習と絡み合いの関係について,より詳しく検討する。自動生成された教師付きタスクで訓練されたニューラルネットワークによる表現の徹底的な実証研究を行う。標準メトリクスのセットを使用することで、マルチタスクニューラルネットワークトレーニングのプロセス中に、乱れが自然に現れることを示す。

関連論文リスト

Task Compass: Scaling Multi-task Pre-training with Task Prefix [122.49242976184617]
既存の研究では、大規模教師付きタスクによるマルチタスク学習がタスク間の負の効果に悩まされていることが示されている。タスク間の関係を探索するために,タスクプレフィックスガイド付きマルチタスク事前学習フレームワークを提案する。我々のモデルは、幅広いタスクの強力な基盤バックボーンとして機能するだけでなく、タスク関係を分析するための探索ツールとしても実現可能である。
論文参考訳（メタデータ） (2022-10-12T15:02:04Z)
Where's the Learning in Representation Learning for Compositional Semantics and the Case of Thematic Fit [0.0]
意味的役割予測や主題的適合推定のような特定のNLPタスクに対して、ランダムな埋め込みは事前訓練された埋め込みと同様に機能することを観察する。課題と学習目標との関係により, ニュアンスな回答が得られている。
論文参考訳（メタデータ） (2022-08-09T12:37:46Z)
Saliency-Regularized Deep Multi-Task Learning [7.3810864598379755]
マルチタスク学習は、知識を共有するために複数の学習タスクを強制し、一般化能力を改善する。現代のディープマルチタスク学習は、潜在機能とタスク共有を共同で学習することができるが、それらはタスク関係において不明瞭である。本稿では,潜在的特徴と明示的な課題関係を共同で学習するマルチタスク学習フレームワークを提案する。
論文参考訳（メタデータ） (2022-07-03T20:26:44Z)
Sparsely Activated Mixture-of-Experts are Robust Multi-Task Learners [67.5865966762559]
本研究では,Mixture-of-Experts (MoE) がマルチタスク学習を改善するかを検討した。タスク認識ゲーティング関数を考案し、異なるタスクから専門の専門家にサンプルをルーティングする。これにより、多数のパラメータを持つ疎活性化マルチタスクモデルが得られるが、高密度モデルの計算コストは同じである。
論文参考訳（メタデータ） (2022-04-16T00:56:12Z)
Active Multi-Task Representation Learning [50.13453053304159]
本研究は,アクティブラーニングの手法を活用することで,資源タスクのサンプリングに関する最初の公式な研究を行う。提案手法は, 対象タスクに対する各ソースタスクの関連性を反復的に推定し, その関連性に基づいて各ソースタスクからサンプルを抽出するアルゴリズムである。
論文参考訳（メタデータ） (2022-02-02T08:23:24Z)
Multi-Task Neural Processes [105.22406384964144]
我々はマルチタスク学習のためのニューラル・プロセスの新たな変種であるマルチタスク・ニューラル・プロセスを開発する。特に,各タスク改善のための帰納的バイアスを提供するために,関数空間内の関連するタスクから伝達可能な知識を探索することを提案する。その結果、マルチタスク学習におけるタスク間の有用な知識の伝達におけるマルチタスクニューラルプロセスの有効性が示された。
論文参考訳（メタデータ） (2021-11-10T17:27:46Z)
Learning Invariant Representation for Continual Learning [5.979373021392084]
継続的学習の重要な課題は、エージェントが新しいタスクに直面したときに、以前に学んだタスクを壊滅的に忘れることです。連続学習のための学習不変表現(IRCL)という新しい擬似リハーサル法を提案する。共有不変表現を分離することは、タスクのシーケンスを継続的に学習するのに役立つ。
論文参考訳（メタデータ） (2021-01-15T15:12:51Z)
Multi-Task Learning with Deep Neural Networks: A Survey [0.0]
マルチタスク学習(Multi-task learning、MTL)は、複数のタスクを共有モデルで同時に学習する機械学習のサブフィールドである。深層ニューラルネットワークにおけるマルチタスク学習手法の概要を述べる。
論文参考訳（メタデータ） (2020-09-10T19:31:04Z)
Reparameterizing Convolutions for Incremental Multi-Task Learning without Task Interference [75.95287293847697]
マルチタスクモデルを開発する際の2つの一般的な課題は、しばしば文献で見過ごされる。まず、モデルを本質的に漸進的に可能にし、以前に学んだことを忘れずに新しいタスクから情報を継続的に取り入れる(インクリメンタルラーニング)。第二に、タスク間の有害な相互作用を排除し、マルチタスク設定(タスク干渉)においてシングルタスクのパフォーマンスを著しく低下させることが示されている。
論文参考訳（メタデータ） (2020-07-24T14:44:46Z)
Navigating the Trade-Off between Multi-Task Learning and Learning to Multitask in Deep Neural Networks [9.278739724750343]
マルチタスク学習(マルチタスクきゅう、英: Multi-task learning)とは、機械学習において、ネットワークがタスクの取得を容易にするために様々なタスクで訓練されるパラダイムである。マルチタスクは、特に認知科学の文献において、複数のタスクを同時に実行する能力を示すために用いられる。深層ネットワークでも同様の緊張が生じていることを示し、エージェントが不慣れな環境でこのトレードオフを管理するためのメタ学習アルゴリズムについて議論する。
論文参考訳（メタデータ） (2020-07-20T23:26:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。