論文の概要: Should We Be Pre-training? An Argument for End-task Aware Training as an Alternative

• arxiv url: http://arxiv.org/abs/2109.07437v1
• Date: Wed, 15 Sep 2021 17:13:18 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-16 15:15:27.648011
• Title: Should We Be Pre-training? An Argument for End-task Aware Training as an Alternative
• Title（参考訳）: 事前トレーニングするべきか? 代替案としてのエンド・タスク・アウェア・トレーニングの議論
• Authors: Lucio M. Dery, Paul Michel, Ameet Talwalkar and Graham Neubig
• Abstract要約: 一般に、事前学習のステップは、モデルを微調整するタスクについて、ほとんど、あるいは全く直接の知識に依存しない。 エンドタスクと補助目的をマルチタスクすることで、ダウンストリームタスクのパフォーマンスが大幅に向上することを示す。
• 参考スコア（独自算出の注目度）: 88.11465517304515
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pre-training, where models are trained on an auxiliary objective with abundant data before being fine-tuned on data from the downstream task, is now the dominant paradigm in NLP. In general, the pre-training step relies on little to no direct knowledge of the task on which the model will be fine-tuned, even when the end-task is known in advance. Our work challenges this status-quo of end-task agnostic pre-training. First, on three different low-resource NLP tasks from two domains, we demonstrate that multi-tasking the end-task and auxiliary objectives results in significantly better downstream task performance than the widely-used task-agnostic continued pre-training paradigm of Gururangan et al. (2020). We next introduce an online meta-learning algorithm that learns a set of multi-task weights to better balance among our multiple auxiliary objectives, achieving further improvements on end task performance and data efficiency.
• Abstract（参考訳）: 事前トレーニングでは、下流タスクのデータに基づいて微調整される前に、豊富なデータで補助目的にモデルが訓練される。 一般に、事前訓練のステップは、エンドタスクが事前に分かっている場合でも、モデルを微調整するタスクについて、ほとんど、あるいは全く直接知識に依存しない。 私たちの仕事は、エンドタスクに依存しない事前トレーニングのこの現状に挑戦します。 まず,2つの領域から分離した3つの低リソースnlpタスクにおいて,エンドタスクと補助目的のマルチタスクが,グルランガンら(2020)のタスク非依存で継続するプレトレーニングパラダイムよりも,ダウンストリームタスクのパフォーマンスが有意に向上することを示す。 次に,マルチタスク重みのセットを学習するオンラインメタラーニングアルゴリズムを導入し,複数の補助目標間のバランスを改善し,エンドタスクのパフォーマンスとデータ効率をさらに向上させる。

関連論文リスト

• $α$VIL: Learning to Leverage Auxiliary Tasks for Multitask Learning [3.809702129519642]
  マルチタスク学習は、共有モデルの助けを借りて、さまざまな(通常は関連する)タスクをトレーニングすることを目的としている。 目標に有する正あるいは負の影響を推定することが重要である。 本稿では,モデル学習中にタスク重みを動的に調整できる「$alpha$Variable Learning」(「alpha$VIL」)という新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-13T14:12:33Z)
• Learning to Modulate pre-trained Models in RL [22.812215561012874]
  訓練済みモデルの微調整は、しばしば破滅的な忘れ込みに悩まされる。 本研究は、ほとんどの微調整アプローチにおいて、事前学習タスクのパフォーマンスが著しく低下していることを示す。 凍結事前学習モデルの情報フローを変調することにより,学習スキルの劣化を回避する新しい手法L2Mを提案する。
  論文  参考訳（メタデータ） (2023-06-26T17:53:05Z)
• Effective Adaptation in Multi-Task Co-Training for Unified Autonomous Driving [103.745551954983]
  本稿では,3つの下流タスクにおけるMoCoやSimCLRなど,多種多様な自己監督手法の転送性能について検討する。 彼らのパフォーマンスは、サブ最適か、あるいはシングルタスクベースラインよりもはるかに遅れていることに気付きました。 汎用マルチタスクトレーニングのための,単純かつ効果的な事前訓練-適応-ファインチューンパラダイムを提案する。
  論文  参考訳（メタデータ） (2022-09-19T12:15:31Z)
• Diverse Distributions of Self-Supervised Tasks for Meta-Learning in NLP [39.457091182683406]
  非ラベルテキストから自動的に提案される自己教師型タスクを考慮し,メタラーニングのためのタスク分布の提供を目指す。 分析の結果,これらすべての要因がタスク分布を有意に変化させることが示され,メタ学習モデルの下流における数ショット精度の大幅な改善がもたらされた。
  論文  参考訳（メタデータ） (2021-11-02T01:50:09Z)
• Meta-learning with an Adaptive Task Scheduler [93.63502984214918]
  既存のメタ学習アルゴリズムは、一様確率でランダムにメタトレーニングタスクをサンプリングする。 タスクは、限られた数のメタトレーニングタスクを考えると、ノイズや不均衡に有害である可能性が高い。 メタトレーニングプロセスのための適応タスクスケジューラ(ATS)を提案する。
  論文  参考訳（メタデータ） (2021-10-26T22:16:35Z)
• Different Strokes for Different Folks: Investigating Appropriate Further Pre-training Approaches for Diverse Dialogue Tasks [18.375585982984845]
  異なる下流タスクは、本質的な相関を持つ、異なる事前学習タスクを好むことを示す。 本研究は,事前学習タスクを適切に設計することが極めて重要であることを示唆している。
  論文  参考訳（メタデータ） (2021-09-14T08:42:50Z)
• Measuring and Harnessing Transference in Multi-Task Learning [58.48659733262734]
  マルチタスク学習は、あるタスクによって学習された情報を活用して、他のタスクのトレーニングに役立てることができる。 情報伝達や伝達のダイナミクスを、トレーニングを通して分析する。
  論文  参考訳（メタデータ） (2020-10-29T08:25:43Z)
• Auxiliary Task Reweighting for Minimum-data Learning [118.69683270159108]
  教師付き学習は大量のトレーニングデータを必要とし、ラベル付きデータが不足しているアプリケーションを制限する。 データ不足を補う1つの方法は、補助的なタスクを利用して、メインタスクに対する追加の監視を提供することである。 そこで本研究では,主タスクにおけるデータ要求を減らし,補助タスクを自動的に重み付けする手法を提案する。
  論文  参考訳（メタデータ） (2020-10-16T08:45:37Z)
• Don't Stop Pretraining: Adapt Language Models to Domains and Tasks [81.99843216550306]
  バイオメディカルおよびコンピュータサイエンスの出版物、ニュース、レビュー)と8つの分類タスクについて調査する。 ドメイン内の事前トレーニング(ドメイン適応型事前トレーニング)の第2フェーズでは、パフォーマンスが向上する。 タスクの未ラベルデータ(タスク適応事前トレーニング)に適応することで、ドメイン適応事前トレーニング後のパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2020-04-23T04:21:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。