論文の概要: KnowDA: All-in-One Knowledge Mixture Model for Data Augmentation in Few-Shot NLP

• arxiv url: http://arxiv.org/abs/2206.10265v1
• Date: Tue, 21 Jun 2022 11:34:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-23 01:35:58.332582
• Title: KnowDA: All-in-One Knowledge Mixture Model for Data Augmentation in Few-Shot NLP
• Title（参考訳）: KnowDA:Few-Shot NLPにおけるデータ拡張のためのオールインワン知識混合モデル
• Authors: Yufei Wang, Jiayi Zheng, Can Xu, Xiubo Geng, Tao Shen, Chongyang Tao, Daxin Jiang
• Abstract要約: 既存のデータ拡張アルゴリズムはタスク非依存のルールや微調整の汎用事前訓練言語モデルを利用する。 これらの手法は、簡単なタスク固有の知識を持ち、単純なタスクにおいて弱いベースラインのための低品質な合成データを得るに限られる。 我々は,様々なNLPタスクを予め学習したエンコーダ/デコーダLMの知識混合データ拡張モデル(KnowDA)を提案する。
• 参考スコア（独自算出の注目度）: 68.43279384561352
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper focuses on text data augmentation for few-shot NLP tasks. The existing data augmentation algorithms either leverage task-independent heuristic rules (e.g., Synonym Replacement) or fine-tune general-purpose pre-trained language models (e.g., GPT2) using a small training set to produce new synthetic data. Consequently, these methods have trivial task-specific knowledge and are limited to yielding low-quality synthetic data for weak baselines in simple tasks. To combat this issue, we propose the Knowledge Mixture Data Augmentation Model (KnowDA): an encoder-decoder LM pretrained on a mixture of diverse NLP tasks using Knowledge Mixture Training (KoMT). KoMT is a training procedure that reformulates input examples from various heterogeneous NLP tasks into a unified text-to-text format and employs denoising objectives in different granularity to learn to generate partial or complete samples. With the aid of KoMT, KnowDA could combine required task-specific knowledge implicitly from the learned mixture of tasks and quickly grasp the inherent synthesis law of the target task through a few given instances. To the best of our knowledge, we are the first attempt to scale the number of tasks to 100+ in multi-task co-training for data augmentation. Extensive experiments show that i) KnowDA successfully improves the performance of Albert and Deberta by a large margin on the FewGLUE benchmark, outperforming previous state-of-the-art data augmentation baselines; ii) KnowDA could also improve the model performance on the few-shot NER tasks, a held-out task type not included in KoMT.
• Abstract（参考訳）: 本稿では,NLPタスクのテキストデータ拡張に焦点を当てた。 既存のデータ拡張アルゴリズムは、タスク非依存のヒューリスティックルール(例:Synonym Replacement)や、小さなトレーニングセットを使用して新しい合成データを生成するファインチューン汎用言語モデル(例:GPT2)を利用する。 したがって、これらの手法は単純なタスク固有の知識を持ち、単純なタスクで弱いベースラインに対して低品質の合成データを得るのに制限される。 この問題に対処するため,我々は知識混合データ拡張モデル (knowda: knowledge mixed data augmentation model) を提案する。 komtは、様々な異種nlpタスクからの入力サンプルを統一されたテキストからテキストへのフォーマットに再構成するトレーニング手順であり、異なる粒度の異なる目標を用いて、部分的または完全なサンプルを生成する。 KoMTの助けを借りて、KnowDAは学習されたタスクの混合から暗黙的に必要なタスク固有の知識を組み合わせることができ、与えられたいくつかのインスタンスを通してターゲットタスク固有の合成法則を素早く把握することができる。 私たちの知る限りでは、データ拡張のためのマルチタスクコトレーニングにおいて、タスク数を100以上にスケールアップする最初の試みです。 大規模な実験は i)KnowDAは、FewGLUEベンチマークにおいて、AlbertとDebertaのパフォーマンスを大きなマージンで改善し、従来の最先端データ拡張ベースラインを上回ります。 二 ノウダは、数発のNERタスクにおいて、KoMTに含まれないホールドアウトタスクタイプであるモデル性能を向上させることもできる。

関連論文リスト

• Pre-training Multi-task Contrastive Learning Models for Scientific Literature Understanding [52.723297744257536]
  事前学習言語モデル(LM)は、科学文献理解タスクにおいて有効であることを示す。 文献理解タスク間の共通知識共有を容易にするために,マルチタスクのコントラスト学習フレームワークであるSciMultを提案する。
  論文  参考訳（メタデータ） (2023-05-23T16:47:22Z)
• Preventing Catastrophic Forgetting in Continual Learning of New Natural Language Tasks [17.879087904904935]
  マルチタスク学習(MTL)は、自然言語処理において、1つのモデルで複数の関連するタスクを学習するための標準技術として広く受け入れられている。 通常、システムは時間とともに進化するので、既存のMTLモデルに新しいタスクを追加するには、通常、すべてのタスクをスクラッチから再トレーニングする必要があります。 本稿では、n+1タスクを解くための新しいタスクに、既に訓練済みのnタスクに関するモデルの知識を蒸留することにより、MTLモデルの能力を漸進的に拡張し、新しいタスクを時間とともに解決する問題にアプローチする。
  論文  参考訳（メタデータ） (2023-02-22T00:18:25Z)
• MASTER: Multi-task Pre-trained Bottlenecked Masked Autoencoders are Better Dense Retrievers [140.0479479231558]
  本研究では,様々な事前学習タスクをマルチタスク事前学習モデル(MASTER)に統合することを目的とする。 MASTERは共有エンコーダのマルチデコーダアーキテクチャを利用して、タスク全体にわたる豊富なセマンティック情報を高密度ベクトルに圧縮する表現ボトルネックを構築することができる。
  論文  参考訳（メタデータ） (2022-12-15T13:57:07Z)
• Instance-wise Prompt Tuning for Pretrained Language Models [72.74916121511662]
  インスタンスワイドのPrompt Tuning(IPT)は、入力データインスタンスからプロンプトに知識を注入する最初のプロンプト学習パラダイムである。 IPTはタスクベースのプロンプト学習法を著しく上回り、調律パラメータのわずか0.5%から1.5%で従来の微調整に匹敵する性能を達成している。
  論文  参考訳（メタデータ） (2022-06-04T10:08:50Z)
• Grad2Task: Improved Few-shot Text Classification Using Gradients for Task Representation [24.488427641442694]
  本稿では,数ショットのテキスト分類のための条件付きニューラルプロセスに基づく新しいアプローチを提案する。 私たちのキーとなるアイデアは、ベースモデルからの勾配情報を使って各タスクを表現することです。 我々のアプローチは、従来の微調整、シーケンシャルトランスファーラーニング、そして最先端のメタラーニングアプローチよりも優れています。
  論文  参考訳（メタデータ） (2022-01-27T15:29:30Z)
• Uni-Perceiver: Pre-training Unified Architecture for Generic Perception for Zero-shot and Few-shot Tasks [73.63892022944198]
  我々はUni-Perceiverという汎用認識アーキテクチャを提案する。 様々なモダリティやタスクを、統一されたモデリングと共有パラメータで処理します。 その結果、チューニングなしで事前学習したモデルは、新しいタスクでも合理的なパフォーマンスを達成できることがわかった。
  論文  参考訳（メタデータ） (2021-12-02T18:59:50Z)
• Pretraining Representations for Data-Efficient Reinforcement Learning [12.43475487724972]
  ラベルのないデータを使ってエンコーダを事前訓練し、少数のタスク固有のデータに基づいて微調整する。 Atariゲーム上でのインタラクションが100万段階に制限された場合、我々のアプローチは以前の作業を大幅に上回っている。 提案手法では,大規模モデルと組み合わせることで,より多様なタスク整合観測データが得られる。
  論文  参考訳（メタデータ） (2021-06-09T04:14:27Z)
• DAGA: Data Augmentation with a Generation Approach for Low-resource Tagging Tasks [88.62288327934499]
  線形化ラベル付き文に基づいて訓練された言語モデルを用いた新しい拡張手法を提案する。 本手法は, 教師付き設定と半教師付き設定の両方に適用可能である。
  論文  参考訳（メタデータ） (2020-11-03T07:49:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。