論文の概要: Do Text-to-Text Multi-Task Learners Suffer from Task Conflict?

• arxiv url: http://arxiv.org/abs/2212.06645v1
• Date: Tue, 13 Dec 2022 15:28:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-14 14:28:31.635734
• Title: Do Text-to-Text Multi-Task Learners Suffer from Task Conflict?
• Title（参考訳）: テキスト対テキストのマルチタスク学習者はタスクの衝突に苦しむか?
• Authors: David Mueller, Nicholas Andrews, Mark Dredze
• Abstract要約: NLP内の新しいマルチタスク学習は、共有エンコーダと言語モデルデコーダとしてマルチタスクアーキテクチャを均質化する。 テキスト・ツー・テキスト・モデルへの移行に伴う要因がマルチタスク・コンフリクトやネガティブ・トランスファーにどのように影響するかを検討する。
• 参考スコア（独自算出の注目度）: 17.861704408540444
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Traditional multi-task learning architectures train a single model across multiple tasks through a shared encoder followed by task-specific decoders. Learning these models often requires specialized training algorithms that address task-conflict in the shared parameter updates, which otherwise can lead to negative transfer. A new type of multi-task learning within NLP homogenizes multi-task architectures as a shared encoder and language model decoder, which does surprisingly well across a range of diverse tasks. Does this new architecture suffer from task-conflicts that require specialized training algorithms? We study how certain factors in the shift towards text-to-text models affects multi-task conflict and negative transfer, finding that both directional conflict and transfer are surprisingly constant across architectures.
• Abstract（参考訳）: 従来のマルチタスク学習アーキテクチャは、共有エンコーダとタスク固有のデコーダを通じて、複数のタスクにまたがる単一のモデルをトレーニングする。 これらのモデルを学ぶには、共有パラメータ更新のタスク競合に対処する特別なトレーニングアルゴリズムが必要となることが多い。 NLP内の新しいタイプのマルチタスク学習は、多タスクアーキテクチャを共通エンコーダと言語モデルデコーダとして均質化する。 この新しいアーキテクチャは、特別なトレーニングアルゴリズムを必要とするタスクコンフリクトに苦しむだろうか? テキストからテキストへのモデルへの移行がマルチタスクの競合と負の転送にどのように影響するかを調べ、方向性の競合と転送の両方がアーキテクチャ全体にわたって驚くほど一定であることを突き止めた。

関連論文リスト

• RepVF: A Unified Vector Fields Representation for Multi-task 3D Perception [64.80760846124858]
  本稿では,様々な知覚タスクの表現を調和させる新しい統一表現RepVFを提案する。 RepVFは、ベクトル場を通じてシーン内の異なるターゲットの構造を特徴付け、シングルヘッドでマルチタスクの学習モデルを可能にする。 RepVF 上に構築された RFTR は,タスク間の固有性を利用したネットワークである。
  論文  参考訳（メタデータ） (2024-07-15T16:25:07Z)
• YOLOR-Based Multi-Task Learning [12.5920336941241]
  マルチタスク学習(MTL)は、単一のモデルを用いて複数のタスクを学習し、一般化と共有セマンティクスを前提として、これらすべてのタスクを共同で改善することを目的としている。 マルチタスクに特化したネットワークアーキテクチャYOLOR(You Only Learn One Representation)の構築を提案する。 本手法は,低パラメータ数を維持しつつ,事前学習を行わずに,全てのタスクにおける競合性能を実現する。
  論文  参考訳（メタデータ） (2023-09-29T01:42:21Z)
• TaskExpert: Dynamically Assembling Multi-Task Representations with Memorial Mixture-of-Experts [11.608682595506354]
  最近のモデルでは、タスク固有の機能を1つの共有タスクジェネリック機能から直接デコードすることを検討している。 入力機能が完全に共有され、各タスクデコーダは異なる入力サンプルのデコードパラメータも共有するので、静的な機能デコードプロセスにつながる。 本稿では,複数のタスク・ジェネリックな特徴空間を学習可能なマルチタスク・ミックス・オブ・エキスパート・モデルであるTaskExpertを提案する。
  論文  参考訳（メタデータ） (2023-07-28T06:00:57Z)
• JiuZhang 2.0: A Unified Chinese Pre-trained Language Model for Multi-task Mathematical Problem Solving [77.51817534090789]
  マルチタスク数学問題の解法を専門とする統一中国語 PLM である textbfJiuZhang2.0 を提案する。 我々の考えは、中規模のモデルを維持し、マルチタスク設定におけるモデル容量を改善するために、Emphcross-taskの知識共有を利用することである。
  論文  参考訳（メタデータ） (2023-06-19T15:45:36Z)
• Improving Cross-task Generalization of Unified Table-to-text Models with Compositional Task Configurations [63.04466647849211]
  メソッドは通常、タスク情報をエンコーダのプレフィックスとして単純なデータセット名でエンコードする。 本稿では,エンコーダがタスク間の一般化を改善するためのプロンプトセットであるコンポジションタスク構成を提案する。 これは、モデルがトレーニング中に異なるタスク間で共有知識をより良く学習できるだけでなく、新しい構成を構築することでモデルを制御できることを示している。
  論文  参考訳（メタデータ） (2022-12-17T02:20:14Z)
• Sparsely Activated Mixture-of-Experts are Robust Multi-Task Learners [67.5865966762559]
  本研究では,Mixture-of-Experts (MoE) がマルチタスク学習を改善するかを検討した。 タスク認識ゲーティング関数を考案し、異なるタスクから専門の専門家にサンプルをルーティングする。 これにより、多数のパラメータを持つ疎活性化マルチタスクモデルが得られるが、高密度モデルの計算コストは同じである。
  論文  参考訳（メタデータ） (2022-04-16T00:56:12Z)
• Multi-Task Learning with Deep Neural Networks: A Survey [0.0]
  マルチタスク学習(Multi-task learning、MTL)は、複数のタスクを共有モデルで同時に学習する機械学習のサブフィールドである。 深層ニューラルネットワークにおけるマルチタスク学習手法の概要を述べる。
  論文  参考訳（メタデータ） (2020-09-10T19:31:04Z)
• Reparameterizing Convolutions for Incremental Multi-Task Learning without Task Interference [75.95287293847697]
  マルチタスクモデルを開発する際の2つの一般的な課題は、しばしば文献で見過ごされる。 まず、モデルを本質的に漸進的に可能にし、以前に学んだことを忘れずに新しいタスクから情報を継続的に取り入れる(インクリメンタルラーニング)。 第二に、タスク間の有害な相互作用を排除し、マルチタスク設定(タスク干渉)においてシングルタスクのパフォーマンスを著しく低下させることが示されている。
  論文  参考訳（メタデータ） (2020-07-24T14:44:46Z)
• Navigating the Trade-Off between Multi-Task Learning and Learning to Multitask in Deep Neural Networks [9.278739724750343]
  マルチタスク学習(マルチタスクきゅう、英: Multi-task learning)とは、機械学習において、ネットワークがタスクの取得を容易にするために様々なタスクで訓練されるパラダイムである。 マルチタスクは、特に認知科学の文献において、複数のタスクを同時に実行する能力を示すために用いられる。 深層ネットワークでも同様の緊張が生じていることを示し、エージェントが不慣れな環境でこのトレードオフを管理するためのメタ学習アルゴリズムについて議論する。
  論文  参考訳（メタデータ） (2020-07-20T23:26:16Z)
• Adversarial Continual Learning [99.56738010842301]
  本稿では,タスク不変およびタスク特化機能に対する不整合表現を学習するハイブリッド連続学習フレームワークを提案する。 本モデルでは,タスク固有のスキルの忘れを防止するためにアーキテクチャの成長と,共有スキルを維持するための経験的リプレイアプローチを組み合わせる。
  論文  参考訳（メタデータ） (2020-03-21T02:08:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。