論文の概要: The Stem Cell Hypothesis: Dilemma behind Multi-Task Learning with Transformer Encoders

• arxiv url: http://arxiv.org/abs/2109.06939v1
• Date: Tue, 14 Sep 2021 19:32:11 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-16 15:20:50.498393
• Title: The Stem Cell Hypothesis: Dilemma behind Multi-Task Learning with Transformer Encoders
• Title（参考訳）: 幹細胞仮説:トランスフォーマーエンコーダを用いたマルチタスク学習の背後にあるジレンマ
• Authors: Han He and Jinho D. Choi
• Abstract要約: 変圧器エンコーダ(MTL)を用いたマルチタスク学習は,密接に関連するタスクの性能向上のための強力な手法として登場した。 まず, POS, NER, DEP, CON, SRLの5つのNLPタスクに対してMTL結果を示す。 次に,MTLの作業において,特定の注意点がほとんどのタスクによって主張されることを示すために,広範囲なプルーニング解析を行う。
• 参考スコア（独自算出の注目度）: 17.74208462902158
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-task learning with transformer encoders (MTL) has emerged as a powerful technique to improve performance on closely-related tasks for both accuracy and efficiency while a question still remains whether or not it would perform as well on tasks that are distinct in nature. We first present MTL results on five NLP tasks, POS, NER, DEP, CON, and SRL, and depict its deficiency over single-task learning. We then conduct an extensive pruning analysis to show that a certain set of attention heads get claimed by most tasks during MTL, who interfere with one another to fine-tune those heads for their own objectives. Based on this finding, we propose the Stem Cell Hypothesis to reveal the existence of attention heads naturally talented for many tasks that cannot be jointly trained to create adequate embeddings for all of those tasks. Finally, we design novel parameter-free probes to justify our hypothesis and demonstrate how attention heads are transformed across the five tasks during MTL through label analysis.
• Abstract（参考訳）: トランスフォーマーエンコーダ(mtl)を用いたマルチタスク学習は、密接な関連タスクのパフォーマンスを精度と効率の両方で向上させる強力な技術として登場したが、自然に異なるタスクでも機能するかどうかという疑問は残る。 まず, POS, NER, DEP, CON, SRLの5つのNLPタスクに対してMTLの結果を提示し, 単一タスク学習におけるその欠如について述べる。 次に,mtlにおいて,注意ヘッドの特定セットが他のタスクによって主張されることを示すために,広範囲なプルーニング分析を行い,そのヘッドを自己目的のために微調整するために互いに干渉することを示す。 そこで本研究では,これらの課題を十分に組み込むために,協調的に訓練できない多くのタスクにおいて,自然に有能な注意ヘッドの存在を明らかにするための幹細胞仮説を提案する。 最後に,我々の仮説を正当化する新しいパラメータフリープローブを設計し,ラベル解析により5つのタスク間で注目ヘッドがどのように変換されるかを示す。

関連論文リスト

• Equitable Multi-task Learning [18.65048321820911]
  マルチタスク学習(MTL)は、CV、NLP、IRといった様々な研究領域で大きな成功を収めている。 本稿では,EMTLという新しいマルチタスク最適化手法を提案する。 本手法は,2つの研究領域の公開ベンチマークデータセットにおいて,最先端の手法よりも安定して性能を向上する。
  論文  参考訳（メタデータ） (2023-06-15T03:37:23Z)
• Pre-training Multi-task Contrastive Learning Models for Scientific Literature Understanding [52.723297744257536]
  事前学習言語モデル(LM)は、科学文献理解タスクにおいて有効であることを示す。 文献理解タスク間の共通知識共有を容易にするために,マルチタスクのコントラスト学習フレームワークであるSciMultを提案する。
  論文  参考訳（メタデータ） (2023-05-23T16:47:22Z)
• Task-Agnostic Continual Reinforcement Learning: Gaining Insights and Overcoming Challenges [27.474011433615317]
  連続学習(CL)は、一連のタスクから学習するモデルやエージェントの開発を可能にする。 タスクに依存しないCLとマルチタスク(MTL)エージェントのパフォーマンス差に寄与する要因について検討する。
  論文  参考訳（メタデータ） (2022-05-28T17:59:00Z)
• ExT5: Towards Extreme Multi-Task Scaling for Transfer Learning [56.54359715403561]
  本稿では,多様なドメインやタスクファミリにまたがる107個の教師付きNLPタスクの大規模なコレクションであるExMixを紹介する。 ExMixを用いて,これまでで最大規模のマルチタスク事前学習の効果を調べた。 本稿では,ExMix の自己教師型スパンのマルチタスク目標を用いた事前学習モデル ExT5 を提案する。
  論文  参考訳（メタデータ） (2021-11-22T02:34:46Z)
• Variational Multi-Task Learning with Gumbel-Softmax Priors [105.22406384964144]
  マルチタスク学習は、タスク関連性を探究し、個々のタスクを改善することを目的としている。 本稿では,複数のタスクを学習するための一般的な確率的推論フレームワークである変分マルチタスク学習(VMTL)を提案する。
  論文  参考訳（メタデータ） (2021-11-09T18:49:45Z)
• Towards More Generalizable One-shot Visual Imitation Learning [81.09074706236858]
  汎用ロボットは、幅広いタスクを習得し、過去の経験を生かして、新しいタスクを素早く学ぶことができるべきである。 ワンショット模倣学習(OSIL)は、専門家のデモンストレーションでエージェントを訓練することで、この目標にアプローチする。 我々は、より野心的なマルチタスク設定を調査することで、より高度な一般化能力を追求する。
  論文  参考訳（メタデータ） (2021-10-26T05:49:46Z)
• Distribution Matching for Heterogeneous Multi-Task Learning: a Large-scale Face Study [75.42182503265056]
  マルチタスク学習は、共有学習アルゴリズムによって複数のタスクを共同で学習する方法論として登場した。 我々は異種mtlに対処し,検出,分類,回帰問題を同時に解決する。 大規模な顔分析のための最初のフレームワークであるFaceBehaviorNetを構築し、すべての顔行動タスクを共同で学習する。
  論文  参考訳（メタデータ） (2021-05-08T22:26:52Z)
• Task Uncertainty Loss Reduce Negative Transfer in Asymmetric Multi-task Feature Learning [0.0]
  マルチタスク学習(MTL)は、シングルタスク学習(STL)と比較して全体的なタスクパフォーマンスを向上させることができるが、負の転送(NT)を隠すことができる。 非対称マルチタスク特徴学習(AMTFL)は、損失値の高いタスクが他のタスクを学習するための特徴表現に与える影響を小さくすることで、この問題に対処しようとするアプローチである。 2つのデータセット (画像認識と薬理ゲノミクス) におけるntの例を示し, 課題間の相対的信頼度を捉え, タスク損失の重み付けを行うことにより, この課題に挑戦する。
  論文  参考訳（メタデータ） (2020-12-17T13:30:45Z)
• A Pairwise Probe for Understanding BERT Fine-Tuning on Machine Reading Comprehension [9.446041739364135]
  本稿では,機械読解(MRC)タスクにおけるBERTの微調整を理解するためのペアワイズプローブを提案する。 ペアワイズ探索タスクにより、各レイヤの事前学習および微調整されたBERTの隠れ表現の性能を比較する。 我々の実験分析は、非常に自信のある結論をもたらす。
  論文  参考訳（メタデータ） (2020-06-02T02:12:19Z)
• Exploring and Predicting Transferability across NLP Tasks [115.6278033699853]
  本研究では,33のNLPタスク間の伝達可能性について検討した。 以上の結果から,転帰学習は従来考えられていたよりも有益であることが示唆された。 また,特定の対象タスクに対して最も転送可能なソースタスクを予測するために使用できるタスク埋め込みも開発した。
  論文  参考訳（メタデータ） (2020-05-02T09:39:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。