論文の概要: Self-Supervised Meta-Learning for Few-Shot Natural Language Classification Tasks

• arxiv url: http://arxiv.org/abs/2009.08445v2
• Date: Sun, 15 Nov 2020 20:31:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-17 08:26:21.346745
• Title: Self-Supervised Meta-Learning for Few-Shot Natural Language Classification Tasks
• Title（参考訳）: Few-Shot 自然言語分類タスクのための自己教師付きメタラーニング
• Authors: Trapit Bansal, Rishikesh Jha, Tsendsuren Munkhdalai, Andrew McCallum
• Abstract要約: ラベルのないテキストから大規模でリッチなメタ学習タスク分布を生成するための自己教師型手法を提案する。 このメタトレーニングは、言語モデル事前学習の後に微調整を行うよりも、数ショットの一般化に繋がることを示す。
• 参考スコア（独自算出の注目度）: 40.97125791174191
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-supervised pre-training of transformer models has revolutionized NLP applications. Such pre-training with language modeling objectives provides a useful initial point for parameters that generalize well to new tasks with fine-tuning. However, fine-tuning is still data inefficient -- when there are few labeled examples, accuracy can be low. Data efficiency can be improved by optimizing pre-training directly for future fine-tuning with few examples; this can be treated as a meta-learning problem. However, standard meta-learning techniques require many training tasks in order to generalize; unfortunately, finding a diverse set of such supervised tasks is usually difficult. This paper proposes a self-supervised approach to generate a large, rich, meta-learning task distribution from unlabeled text. This is achieved using a cloze-style objective, but creating separate multi-class classification tasks by gathering tokens-to-be blanked from among only a handful of vocabulary terms. This yields as many unique meta-training tasks as the number of subsets of vocabulary terms. We meta-train a transformer model on this distribution of tasks using a recent meta-learning framework. On 17 NLP tasks, we show that this meta-training leads to better few-shot generalization than language-model pre-training followed by finetuning. Furthermore, we show how the self-supervised tasks can be combined with supervised tasks for meta-learning, providing substantial accuracy gains over previous supervised meta-learning.
• Abstract（参考訳）: 変圧器モデルの自己教師付き事前学習はnlp応用に革命をもたらした。 このような言語モデリング目的の事前トレーニングは、微調整で新しいタスクにうまく一般化するパラメータのための有用な初期点を提供する。 しかし、微調整はまだデータ効率が悪く、ラベル付きの例が少ない場合、精度が低くなります。 データ効率は、将来的な微調整のために事前学習を直接最適化することで改善され、メタラーニング問題として扱うことができる。 しかし、標準的なメタ学習技術は、一般化するために多くのトレーニングタスクを必要とするが、残念ながら、そのような教師付きタスクの多様なセットを見つけることは、通常困難である。 本稿では,ラベルなしテキストから大規模でリッチなメタ学習タスク分布を生成するための自己教師あり手法を提案する。 これはclozeスタイルの目的を使って実現されるが、一握りの語彙用語から切り離されたトークンを収集することで、別個のマルチクラス分類タスクを作成する。 これは語彙項のサブセットの数と同じくらい多くのユニークなメタトレーニングタスクをもたらす。 我々は,近年のメタ学習フレームワークを用いて,タスクの分散に関するトランスフォーマーモデルをメタトレーニングする。 17のNLPタスクにおいて、このメタトレーニングは、言語モデル事前学習の後に微調整を行うよりも、数ショットの一般化につながることを示す。 さらに, 自己教師付きタスクと教師付きタスクを組み合わせることによって, 従来の教師付きメタ学習よりも精度が向上することを示す。

関連論文リスト

• Grad2Task: Improved Few-shot Text Classification Using Gradients for Task Representation [24.488427641442694]
  本稿では,数ショットのテキスト分類のための条件付きニューラルプロセスに基づく新しいアプローチを提案する。 私たちのキーとなるアイデアは、ベースモデルからの勾配情報を使って各タスクを表現することです。 我々のアプローチは、従来の微調整、シーケンシャルトランスファーラーニング、そして最先端のメタラーニングアプローチよりも優れています。
  論文  参考訳（メタデータ） (2022-01-27T15:29:30Z)
• MetaICL: Learning to Learn In Context [87.23056864536613]
  そこで我々は,メタICLというメタトレーニングフレームワークを紹介した。このフレームワークでは,事前学習された言語モデルが,大量のトレーニングタスクに対してコンテキスト内学習を行うように調整されている。 その結果,MetaICLは,目標タスクトレーニングデータに対して完全に微調整されたモデルの性能にアプローチ(時には打ち負かす)し,ほぼ8倍のパラメータを持つモデルよりも優れた性能を示すことがわかった。
  論文  参考訳（メタデータ） (2021-10-29T17:42:08Z)
• Task Attended Meta-Learning for Few-Shot Learning [3.0724051098062097]
  そこで我々は,タスクアサートメタトレーニングと呼ばれる,人間の選択的な焦点を動機とする学習カリキュラムを紹介し,タスクをバッチで重み付けする。 複雑なデータセットに対する非タスク付きモデルとの比較は、その有効性を検証する。
  論文  参考訳（メタデータ） (2021-06-20T07:34:37Z)
• Meta-Regularization by Enforcing Mutual-Exclusiveness [0.8057006406834467]
  本稿では,メタ学習時の情報フローをモデル設計者が制御できるように,メタ学習モデルの正規化手法を提案する。 提案した正規化関数は,Omniglotデータセット上で$sim$$36%の精度向上を示す。
  論文  参考訳（メタデータ） (2021-01-24T22:57:19Z)
• Variable-Shot Adaptation for Online Meta-Learning [123.47725004094472]
  従来のタスクから静的データにまたがるメタラーニングによって,少数の固定された例から新しいタスクを学習する問題について検討する。 メタラーニングは,従来の教師付き手法に比べて,ラベルの総数が少なく,累積性能も高いタスクセットを解く。 これらの結果から,メタラーニングは,一連の問題を継続的に学習し,改善する学習システムを構築する上で重要な要素であることが示唆された。
  論文  参考訳（メタデータ） (2020-12-14T18:05:24Z)
• Adaptive Task Sampling for Meta-Learning [79.61146834134459]
  数ショットの分類のためのメタラーニングの鍵となるアイデアは、テスト時に直面した数ショットの状況を模倣することである。 一般化性能を向上させるための適応型タスクサンプリング手法を提案する。
  論文  参考訳（メタデータ） (2020-07-17T03:15:53Z)
• Pre-training Text Representations as Meta Learning [113.3361289756749]
  本稿では,下流タスクを効果的に学習するために,モデルがテキスト表現を学習する能力を直接最適化する学習アルゴリズムを提案する。 マルチタスク事前学習とモデル非依存型メタラーニングの間には,一連のメタトレインステップによる本質的な関係があることが示されている。
  論文  参考訳（メタデータ） (2020-04-12T09:05:47Z)
• Incremental Meta-Learning via Indirect Discriminant Alignment [118.61152684795178]
  メタ学習のメタ学習段階において,段階的な学習の概念を発達させる。 我々のアプローチは、完全なメタトレーニングセットでモデルをトレーニングするのと比べて、テスト時に好適に機能する。
  論文  参考訳（メタデータ） (2020-02-11T01:39:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。