論文の概要: Do Text-to-Text Multi-Task Learners Suffer from Task Conflict?
- arxiv url: http://arxiv.org/abs/2212.06645v1
- Date: Tue, 13 Dec 2022 15:28:57 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-14 14:28:31.635734
- Title: Do Text-to-Text Multi-Task Learners Suffer from Task Conflict?
- Title(参考訳): テキスト対テキストのマルチタスク学習者はタスクの衝突に苦しむか?
- Authors: David Mueller, Nicholas Andrews, Mark Dredze
- Abstract要約: NLP内の新しいマルチタスク学習は、共有エンコーダと言語モデルデコーダとしてマルチタスクアーキテクチャを均質化する。
テキスト・ツー・テキスト・モデルへの移行に伴う要因がマルチタスク・コンフリクトやネガティブ・トランスファーにどのように影響するかを検討する。
- 参考スコア(独自算出の注目度): 17.861704408540444
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Traditional multi-task learning architectures train a single model across
multiple tasks through a shared encoder followed by task-specific decoders.
Learning these models often requires specialized training algorithms that
address task-conflict in the shared parameter updates, which otherwise can lead
to negative transfer. A new type of multi-task learning within NLP homogenizes
multi-task architectures as a shared encoder and language model decoder, which
does surprisingly well across a range of diverse tasks. Does this new
architecture suffer from task-conflicts that require specialized training
algorithms? We study how certain factors in the shift towards text-to-text
models affects multi-task conflict and negative transfer, finding that both
directional conflict and transfer are surprisingly constant across
architectures.
- Abstract(参考訳): 従来のマルチタスク学習アーキテクチャは、共有エンコーダとタスク固有のデコーダを通じて、複数のタスクにまたがる単一のモデルをトレーニングする。
これらのモデルを学ぶには、共有パラメータ更新のタスク競合に対処する特別なトレーニングアルゴリズムが必要となることが多い。
NLP内の新しいタイプのマルチタスク学習は、多タスクアーキテクチャを共通エンコーダと言語モデルデコーダとして均質化する。
この新しいアーキテクチャは、特別なトレーニングアルゴリズムを必要とするタスクコンフリクトに苦しむだろうか?
テキストからテキストへのモデルへの移行がマルチタスクの競合と負の転送にどのように影響するかを調べ、方向性の競合と転送の両方がアーキテクチャ全体にわたって驚くほど一定であることを突き止めた。
関連論文リスト
- YOLOR-Based Multi-Task Learning [12.5920336941241]
マルチタスク学習(MTL)は、単一のモデルを用いて複数のタスクを学習し、一般化と共有セマンティクスを前提として、これらすべてのタスクを共同で改善することを目的としている。
マルチタスクに特化したネットワークアーキテクチャYOLOR(You Only Learn One Representation)の構築を提案する。
本手法は,低パラメータ数を維持しつつ,事前学習を行わずに,全てのタスクにおける競合性能を実現する。
論文 参考訳(メタデータ) (2023-09-29T01:42:21Z) - TaskExpert: Dynamically Assembling Multi-Task Representations with
Memorial Mixture-of-Experts [11.608682595506354]
最近のモデルでは、タスク固有の機能を1つの共有タスクジェネリック機能から直接デコードすることを検討している。
入力機能が完全に共有され、各タスクデコーダは異なる入力サンプルのデコードパラメータも共有するので、静的な機能デコードプロセスにつながる。
本稿では,複数のタスク・ジェネリックな特徴空間を学習可能なマルチタスク・ミックス・オブ・エキスパート・モデルであるTaskExpertを提案する。
論文 参考訳(メタデータ) (2023-07-28T06:00:57Z) - JiuZhang 2.0: A Unified Chinese Pre-trained Language Model for
Multi-task Mathematical Problem Solving [77.51817534090789]
マルチタスク数学問題の解法を専門とする統一中国語 PLM である textbfJiuZhang2.0 を提案する。
我々の考えは、中規模のモデルを維持し、マルチタスク設定におけるモデル容量を改善するために、Emphcross-taskの知識共有を利用することである。
論文 参考訳(メタデータ) (2023-06-19T15:45:36Z) - Improving Cross-task Generalization of Unified Table-to-text Models with
Compositional Task Configurations [63.04466647849211]
メソッドは通常、タスク情報をエンコーダのプレフィックスとして単純なデータセット名でエンコードする。
本稿では,エンコーダがタスク間の一般化を改善するためのプロンプトセットであるコンポジションタスク構成を提案する。
これは、モデルがトレーニング中に異なるタスク間で共有知識をより良く学習できるだけでなく、新しい構成を構築することでモデルを制御できることを示している。
論文 参考訳(メタデータ) (2022-12-17T02:20:14Z) - Cross-task Attention Mechanism for Dense Multi-task Learning [16.040894192229043]
我々は2次元セマンティックセグメンテーションと2つの幾何学的タスク、すなわち密度深度と表面正規度推定を共同で扱う。
相関誘導型注意と自己注意によってペアワイズなクロスタスク交換を利用する,新しいマルチタスク学習アーキテクチャを提案する。
論文 参考訳(メタデータ) (2022-06-17T17:59:45Z) - Fast Inference and Transfer of Compositional Task Structures for
Few-shot Task Generalization [101.72755769194677]
本稿では,タスクがサブタスクグラフによって特徴づけられる,数発の強化学習問題として定式化する。
我々のマルチタスクサブタスクグラフ推論器(MTSGI)は、トレーニングタスクから、まず、サブタスクグラフの観点から、一般的なハイレベルなタスク構造を推測する。
提案手法は,2次元グリッドワールドおよび複雑なWebナビゲーション領域において,タスクの共通基盤構造を学習し,活用し,未知のタスクへの適応を高速化する。
論文 参考訳(メタデータ) (2022-05-25T10:44:25Z) - Sparsely Activated Mixture-of-Experts are Robust Multi-Task Learners [67.5865966762559]
本研究では,Mixture-of-Experts (MoE) がマルチタスク学習を改善するかを検討した。
タスク認識ゲーティング関数を考案し、異なるタスクから専門の専門家にサンプルをルーティングする。
これにより、多数のパラメータを持つ疎活性化マルチタスクモデルが得られるが、高密度モデルの計算コストは同じである。
論文 参考訳(メタデータ) (2022-04-16T00:56:12Z) - Reparameterizing Convolutions for Incremental Multi-Task Learning
without Task Interference [75.95287293847697]
マルチタスクモデルを開発する際の2つの一般的な課題は、しばしば文献で見過ごされる。
まず、モデルを本質的に漸進的に可能にし、以前に学んだことを忘れずに新しいタスクから情報を継続的に取り入れる(インクリメンタルラーニング)。
第二に、タスク間の有害な相互作用を排除し、マルチタスク設定(タスク干渉)においてシングルタスクのパフォーマンスを著しく低下させることが示されている。
論文 参考訳(メタデータ) (2020-07-24T14:44:46Z) - Navigating the Trade-Off between Multi-Task Learning and Learning to
Multitask in Deep Neural Networks [9.278739724750343]
マルチタスク学習(マルチタスクきゅう、英: Multi-task learning)とは、機械学習において、ネットワークがタスクの取得を容易にするために様々なタスクで訓練されるパラダイムである。
マルチタスクは、特に認知科学の文献において、複数のタスクを同時に実行する能力を示すために用いられる。
深層ネットワークでも同様の緊張が生じていることを示し、エージェントが不慣れな環境でこのトレードオフを管理するためのメタ学習アルゴリズムについて議論する。
論文 参考訳(メタデータ) (2020-07-20T23:26:16Z) - Adversarial Continual Learning [99.56738010842301]
本稿では,タスク不変およびタスク特化機能に対する不整合表現を学習するハイブリッド連続学習フレームワークを提案する。
本モデルでは,タスク固有のスキルの忘れを防止するためにアーキテクチャの成長と,共有スキルを維持するための経験的リプレイアプローチを組み合わせる。
論文 参考訳(メタデータ) (2020-03-21T02:08:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。