論文の概要: MVP: Multi-task Supervised Pre-training for Natural Language Generation

• arxiv url: http://arxiv.org/abs/2206.12131v1
• Date: Fri, 24 Jun 2022 07:49:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-27 13:26:55.772079
• Title: MVP: Multi-task Supervised Pre-training for Natural Language Generation
• Title（参考訳）: MVP: 自然言語生成のためのマルチタスク事前トレーニング
• Authors: Tianyi Tang, Junyi Li, Wayne Xin Zhao, Ji-Rong Wen
• Abstract要約: 自然言語生成のためのマルチタスク型事前学習(MVP)を提案する。 7世代にわたる45のデータセットからラベル付き事前学習コーパスを収集する。 NLGタスクにおける教師付き事前学習の有効性を実験的に検証した。
• 参考スコア（独自算出の注目度）: 91.38314857344075
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pre-trained language models (PLMs) have achieved notable success in natural language generation (NLG) tasks. Up to now, most of the PLMs are pre-trained in an unsupervised manner using large-scale general corpus. In the meanwhile, an increasing number of models pre-trained with less labeled data showcase superior performance compared to unsupervised models. Motivated by the success of supervised pre-training, we propose Multi-task superVised Pre-training (MVP) for natural language generation. For pre-training the text generation model MVP, we collect a labeled pre-training corpus from 45 datasets over seven generation tasks. For each task, we further pre-train specific soft prompts to stimulate the model capacity in performing a specific task. Extensive experiments have demonstrated the effectiveness of our supervised pre-training in a number of NLG tasks, and our general methods achieve state-of-the-art performance on 12 of 17 datasets.
• Abstract（参考訳）: プレトレーニング言語モデル(PLM)は自然言語生成(NLG)タスクにおいて顕著な成功を収めた。 現在、ほとんどのPLMは大規模汎用コーパスを用いて教師なしで事前訓練されている。 一方、ラベルの少ないデータで事前訓練されたモデルの増加は、教師なしモデルよりも優れたパフォーマンスを示している。 教師付き事前学習の成功に触発され,自然言語生成のためのマルチタスク・スーパーバイザド・プレトレーニング(MVP)を提案する。 テキスト生成モデルmvpを事前学習するために、7世代のタスクで45のデータセットからラベル付き事前学習コーパスを収集する。 各タスクに対して、特定のタスクを実行する際のモデルのキャパシティを刺激する、事前訓練された特定のソフトプロンプトを更に行う。 広範な実験により,多数のnlgタスクにおける教師付き事前トレーニングの有効性が実証され,17個のデータセットのうち12個において,最先端のパフォーマンスを実現する方法が提案されている。

関連論文リスト

• Instruction Pre-Training: Language Models are Supervised Multitask Learners [115.95022434390181]
  本稿では,事前学習言語モデル(LM)に対して,命令応答対を用いた大規模生コーパスを付加するフレームワークを提案する。 実験では,40以上のタスクカテゴリをカバーする2億の命令応答ペアを合成し,インストラクション事前学習の有効性を検証する。
  論文  参考訳（メタデータ） (2024-06-20T16:55:33Z)
• Pretrained Generative Language Models as General Learning Frameworks for Sequence-Based Tasks [0.0]
  そこで本研究では,素小事前学習型生成言語モデルをシーケンスベースタスクの一般的な学習フレームワークとして利用することを提案する。 提案では,ニューラルネットワークと言語モデルをスクラッチからトレーニングする際の計算資源,スキルセット,タイムラインの課題を克服する。 125M,350M,1.3Bパラメータを事前学習した基礎言語モデルを1万から1000,000の命令例で微調整できることを実証した。
  論文  参考訳（メタデータ） (2024-02-08T12:19:32Z)
• SUPERB-SG: Enhanced Speech processing Universal PERformance Benchmark for Semantic and Generative Capabilities [76.97949110580703]
  各種音声タスクの事前学習モデルを評価するための新しいベンチマークであるSUPERB-SGを紹介する。 データドメインのシフトの下で、事前訓練されたモデルによって学習された表現の堅牢性をテストするために、軽量な方法論を使用します。 また,SUPERB-SGのタスク多様性とタスク監督の限定が,モデル表現の一般化性を評価する効果的な方法であることを示す。
  論文  参考訳（メタデータ） (2022-03-14T04:26:40Z)
• NLP From Scratch Without Large-Scale Pretraining: A Simple and Efficient Framework [10.656788279434798]
  本稿では,大規模事前学習に依存しない,シンプルで効率的な学習フレームワーク TLM を提案する。 4つの領域の8つの分類データセットにおいて、TLMは事前訓練された言語モデルよりも良い結果が得られる。
  論文  参考訳（メタデータ） (2021-11-07T17:13:59Z)
• Multitask Prompted Training Enables Zero-Shot Task Generalization [70.12770442071657]
  本研究では,一般的な自然言語タスクを人間に読まれる入力形式にマッピングするシステムを開発した。 様々なタスクをカバーしたマルチタスクミックス上に,事前学習したエンコーダ・デコーダモデルを微調整する。 このモデルは、いくつかの標準データセット上で強力なゼロショット性能を達成し、しばしば16倍のサイズのモデルより優れている。
  論文  参考訳（メタデータ） (2021-10-15T17:08:57Z)
• All NLP Tasks Are Generation Tasks: A General Pretraining Framework [29.530780978381173]
  本稿では,この課題に対処する新しい事前学習フレームワーク GLM (General Language Model) を提案する。 先行研究と比較して,(1)単一事前学習モデルによる分類,無条件生成,および条件生成のタスクにおいて良好に機能する,(2)事前訓練と微粒化の一貫性の向上による分類上のbertモデルを上回る,(3)下流タスクで不可欠な可変長ブランクフィリングを自然に処理する,の3つの大きなメリットがある。
  論文  参考訳（メタデータ） (2021-03-18T16:30:26Z)
• KGPT: Knowledge-Grounded Pre-Training for Data-to-Text Generation [100.79870384880333]
  知識に富んだテキストを生成するための知識基盤事前学習(KGPT)を提案する。 我々は、その効果を評価するために、3つの設定、すなわち、完全教師付き、ゼロショット、少数ショットを採用します。 ゼロショット設定では、WebNLG上で30 ROUGE-L以上を達成するが、他の全てのベースラインは失敗する。
  論文  参考訳（メタデータ） (2020-10-05T19:59:05Z)
• Exploring Versatile Generative Language Model Via Parameter-Efficient Transfer Learning [70.81910984985683]
  本稿では,1つの大規模事前学習モデルを用いて,複数のダウンストリーム生成タスクを同時に微調整する効果的な方法を提案する。 5つの多様な言語生成タスクの実験は、各タスクに2-3%のパラメータを追加するだけで、モデル全体の微調整性能を維持または改善できることを示している。
  論文  参考訳（メタデータ） (2020-04-08T06:18:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。