論文の概要: Exploring and Predicting Transferability across NLP Tasks

• arxiv url: http://arxiv.org/abs/2005.00770v2
• Date: Tue, 6 Oct 2020 18:49:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-07 12:24:04.941529
• Title: Exploring and Predicting Transferability across NLP Tasks
• Title（参考訳）: NLPタスク間の転送可能性の探索と予測
• Authors: Tu Vu, Tong Wang, Tsendsuren Munkhdalai, Alessandro Sordoni, Adam Trischler, Andrew Mattarella-Micke, Subhransu Maji, Mohit Iyyer
• Abstract要約: 本研究では,33のNLPタスク間の伝達可能性について検討した。 以上の結果から,転帰学習は従来考えられていたよりも有益であることが示唆された。 また,特定の対象タスクに対して最も転送可能なソースタスクを予測するために使用できるタスク埋め込みも開発した。
• 参考スコア（独自算出の注目度）: 115.6278033699853
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in NLP demonstrate the effectiveness of training large-scale language models and transferring them to downstream tasks. Can fine-tuning these models on tasks other than language modeling further improve performance? In this paper, we conduct an extensive study of the transferability between 33 NLP tasks across three broad classes of problems (text classification, question answering, and sequence labeling). Our results show that transfer learning is more beneficial than previously thought, especially when target task data is scarce, and can improve performance even when the source task is small or differs substantially from the target task (e.g., part-of-speech tagging transfers well to the DROP QA dataset). We also develop task embeddings that can be used to predict the most transferable source tasks for a given target task, and we validate their effectiveness in experiments controlled for source and target data size. Overall, our experiments reveal that factors such as source data size, task and domain similarity, and task complexity all play a role in determining transferability.
• Abstract（参考訳）: NLPの最近の進歩は、大規模言語モデルのトレーニングと下流タスクへの転送の有効性を示している。 これらのモデルを言語モデリング以外のタスクで微調整することで、パフォーマンスをさらに向上できるだろうか? 本稿では,3種類の問題(テキスト分類,質問応答,シーケンスラベリング)において,33のNLPタスク間の伝達可能性について広範な研究を行う。 以上の結果から,特に目標タスクデータが不足している場合には,従来考えられていたよりも転送学習の方が有益であることが示唆され,ソースタスクが小さい場合や,ターゲットタスクと大きく異なる場合(例えば,DROP QAデータセットへのパート・オブ・音声のタグ付け転送など)にも性能が向上することが示された。 また,任意の対象タスクに対して最も転送可能なソースタスクを予測できるタスク埋め込みを開発し,ソースサイズとターゲットデータサイズで制御された実験においてその効果を検証する。 全体としては、ソースデータサイズ、タスクとドメインの類似性、タスクの複雑さといった要因が、転送可能性を決定する上で重要な役割を果たしていることが明らかとなった。

関連論文リスト

• Distribution Matching for Multi-Task Learning of Classification Tasks: a Large-Scale Study on Faces & Beyond [62.406687088097605]
  マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。 MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。 本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-02T14:18:11Z)
• An Information-Theoretic Approach to Transferability in Task Transfer Learning [16.05523977032659]
  タスク転送学習は、訓練済みのモデルを用いて関連するタスクの監督コストを削減する画像処理アプリケーションで一般的な手法である。 分類問題において、あるタスクから別のタスクへ変換された表現のパフォーマンスを推定する新しい計量 H-score を提案する。
  論文  参考訳（メタデータ） (2022-12-20T08:47:17Z)
• An Exploration of Data Efficiency in Intra-Dataset Task Transfer for Dialog Understanding [65.75873687351553]
  本研究は,対話領域における逐次移動学習における目標タスク訓練データ量の影響について検討する。 非意図的に、我々のデータでは、タスクトレーニングデータのサイズを目標とする場合、シーケンシャルトランスファーラーニングがトランスファーラーニングなしで同じモデルと比較した場合、最小限の効果が示される。
  論文  参考訳（メタデータ） (2022-10-21T04:36:46Z)
• Task Compass: Scaling Multi-task Pre-training with Task Prefix [122.49242976184617]
  既存の研究では、大規模教師付きタスクによるマルチタスク学習がタスク間の負の効果に悩まされていることが示されている。 タスク間の関係を探索するために,タスクプレフィックスガイド付きマルチタスク事前学習フレームワークを提案する。 我々のモデルは、幅広いタスクの強力な基盤バックボーンとして機能するだけでなく、タスク関係を分析するための探索ツールとしても実現可能である。
  論文  参考訳（メタデータ） (2022-10-12T15:02:04Z)
• FETA: A Benchmark for Few-Sample Task Transfer in Open-Domain Dialogue [70.65782786401257]
  本研究は、オープンドメイン対話における少数サンプルタスク転送のベンチマークであるFETAを導入することにより、対話型タスク転送について検討する。 FETAには10タスクと7タスクがアノテートされた2つの基礎的な会話が含まれており、データセット内タスク転送の研究を可能にする。 3つの人気のある言語モデルと3つの学習アルゴリズムを用いて、132のソースターゲットタスクペア間の転送可能性を分析する。
  論文  参考訳（メタデータ） (2022-05-12T17:59:00Z)
• Active Multi-Task Representation Learning [50.13453053304159]
  本研究は,アクティブラーニングの手法を活用することで,資源タスクのサンプリングに関する最初の公式な研究を行う。 提案手法は, 対象タスクに対する各ソースタスクの関連性を反復的に推定し, その関連性に基づいて各ソースタスクからサンプルを抽出するアルゴリズムである。
  論文  参考訳（メタデータ） (2022-02-02T08:23:24Z)
• Adaptive Transfer Learning on Graph Neural Networks [4.233435459239147]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データの強力な表現を学ぶために広く利用されている。 近年の研究では、自己教師型タスクから下流タスクへの知識伝達により、グラフ表現がさらに改善されることが示されている。 本稿では,GNN 上での移動学習パラダイムを提案する。これは,目標タスクを支援するための補助タスクとして,自己教師型タスクを効果的に活用することができる。
  論文  参考訳（メタデータ） (2021-07-19T11:46:28Z)
• Towards All-around Knowledge Transferring: Learning From Task-irrelevant Labels [44.036667329736225]
  既存の取り組みは、この問題に取り組むために、タスク関連知識を他の類似データから移すことに重点を置いている。 これまでタスク非関連の特徴の影響を調査する大規模な研究は行われていない。 本稿では,タスク非関連ラベルから主に抽出されるタスク非関連特徴を利用するタスク非関連変換学習を提案する。
  論文  参考訳（メタデータ） (2020-11-17T06:43:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。