論文の概要: MVP: Multi-task Supervised Pre-training for Natural Language Generation

• arxiv url: http://arxiv.org/abs/2206.12131v3
• Date: Sun, 28 May 2023 14:41:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-31 04:10:47.518914
• Title: MVP: Multi-task Supervised Pre-training for Natural Language Generation
• Title（参考訳）: MVP: 自然言語生成のためのマルチタスク事前トレーニング
• Authors: Tianyi Tang, Junyi Li, Wayne Xin Zhao, Ji-Rong Wen
• Abstract要約: 自然言語生成のためのマルチタスク型事前学習(MVP)を提案する。 大規模な自然言語生成コーパスであるMVPCorpusを、17ドルのデータセットから11ドルの多様なNLGタスクから収集しています。 我々のMVPモデルは、比較的小さなPLM上での最近の命令チューニングを利用する実践と見なすことができる。
• 参考スコア（独自算出の注目度）: 91.38314857344075
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pre-trained language models (PLMs) have achieved remarkable success in natural language generation (NLG) tasks. Up to now, most NLG-oriented PLMs are pre-trained in an unsupervised manner using the large-scale general corpus. In the meanwhile, an increasing number of models pre-trained with labeled data (i.e. "supervised pre-training") showcase superior performance compared to unsupervised pre-trained models. Motivated by the success of supervised pre-training, we propose Multi-task superVised Pre-training (MVP) for natural language generation. We collect a large-scale natural language generation corpus, MVPCorpus, from $77$ datasets over $11$ diverse NLG tasks. Then we unify these examples into a general text-to-text format to pre-train the text generation model MVP in a supervised manner. For each task, we further pre-train specific soft prompts to stimulate the model's capacity to perform a specific task. Our MVP model can be seen as a practice that utilizes recent instruction tuning on relatively small PLMs. Extensive experiments have demonstrated the effectiveness and generality of our MVP model in a number of NLG tasks, which achieves state-of-the-art performance on $13$ out of $17$ datasets, outperforming BART by $9.3\%$ and Flan-T5 by $5.8\%$.
• Abstract（参考訳）: プレトレーニング言語モデル(PLM)は自然言語生成(NLG)タスクにおいて顕著な成功を収めた。 現在、ほとんどのNPG指向のPLMは、大規模汎用コーパスを用いて教師なしで事前訓練されている。 一方、ラベル付きデータ(例えば「教師付き事前訓練」)で事前訓練されたモデルの数は、教師なし事前訓練モデルよりも優れた性能を示している。 教師付き事前学習の成功に触発され,自然言語生成のためのマルチタスク・スーパーバイザド・プレトレーニング(MVP)を提案する。 大規模な自然言語生成コーパスであるMVPCorpusを、17ドルのデータセットから11ドルの多様なNLGタスクから収集しています。 次に、これらの例を一般的なテキスト・トゥ・テキスト形式に統一し、テキスト生成モデルMVPを教師付きで事前訓練する。 各タスクについて、特定のタスクを実行するモデルのキャパシティを刺激する、特定のソフトプロンプトを事前トレーニングします。 我々のMVPモデルは、比較的小さなPLM上での最近の命令チューニングを利用する実践と見なすことができる。 広範な実験により、多数のnlgタスクにおけるmvpモデルの有効性と汎用性を実証し、17ドルのデータセットから13ドルの最先端のパフォーマンスを実現し、bartを9.3\%$、flan-t5を5.8\%$で上回った。

関連論文リスト

• Instruction Pre-Training: Language Models are Supervised Multitask Learners [115.95022434390181]
  本稿では,事前学習言語モデル(LM)に対して,命令応答対を用いた大規模生コーパスを付加するフレームワークを提案する。 実験では,40以上のタスクカテゴリをカバーする2億の命令応答ペアを合成し,インストラクション事前学習の有効性を検証する。
  論文  参考訳（メタデータ） (2024-06-20T16:55:33Z)
• Pretrained Generative Language Models as General Learning Frameworks for Sequence-Based Tasks [0.0]
  そこで本研究では,素小事前学習型生成言語モデルをシーケンスベースタスクの一般的な学習フレームワークとして利用することを提案する。 提案では,ニューラルネットワークと言語モデルをスクラッチからトレーニングする際の計算資源,スキルセット,タイムラインの課題を克服する。 125M,350M,1.3Bパラメータを事前学習した基礎言語モデルを1万から1000,000の命令例で微調整できることを実証した。
  論文  参考訳（メタデータ） (2024-02-08T12:19:32Z)
• SUPERB-SG: Enhanced Speech processing Universal PERformance Benchmark for Semantic and Generative Capabilities [76.97949110580703]
  各種音声タスクの事前学習モデルを評価するための新しいベンチマークであるSUPERB-SGを紹介する。 データドメインのシフトの下で、事前訓練されたモデルによって学習された表現の堅牢性をテストするために、軽量な方法論を使用します。 また,SUPERB-SGのタスク多様性とタスク監督の限定が,モデル表現の一般化性を評価する効果的な方法であることを示す。
  論文  参考訳（メタデータ） (2022-03-14T04:26:40Z)
• NLP From Scratch Without Large-Scale Pretraining: A Simple and Efficient Framework [10.656788279434798]
  本稿では,大規模事前学習に依存しない,シンプルで効率的な学習フレームワーク TLM を提案する。 4つの領域の8つの分類データセットにおいて、TLMは事前訓練された言語モデルよりも良い結果が得られる。
  論文  参考訳（メタデータ） (2021-11-07T17:13:59Z)
• Multitask Prompted Training Enables Zero-Shot Task Generalization [70.12770442071657]
  本研究では,一般的な自然言語タスクを人間に読まれる入力形式にマッピングするシステムを開発した。 様々なタスクをカバーしたマルチタスクミックス上に,事前学習したエンコーダ・デコーダモデルを微調整する。 このモデルは、いくつかの標準データセット上で強力なゼロショット性能を達成し、しばしば16倍のサイズのモデルより優れている。
  論文  参考訳（メタデータ） (2021-10-15T17:08:57Z)
• All NLP Tasks Are Generation Tasks: A General Pretraining Framework [29.530780978381173]
  本稿では,この課題に対処する新しい事前学習フレームワーク GLM (General Language Model) を提案する。 先行研究と比較して,(1)単一事前学習モデルによる分類,無条件生成,および条件生成のタスクにおいて良好に機能する,(2)事前訓練と微粒化の一貫性の向上による分類上のbertモデルを上回る,(3)下流タスクで不可欠な可変長ブランクフィリングを自然に処理する,の3つの大きなメリットがある。
  論文  参考訳（メタデータ） (2021-03-18T16:30:26Z)
• KGPT: Knowledge-Grounded Pre-Training for Data-to-Text Generation [100.79870384880333]
  知識に富んだテキストを生成するための知識基盤事前学習(KGPT)を提案する。 我々は、その効果を評価するために、3つの設定、すなわち、完全教師付き、ゼロショット、少数ショットを採用します。 ゼロショット設定では、WebNLG上で30 ROUGE-L以上を達成するが、他の全てのベースラインは失敗する。
  論文  参考訳（メタデータ） (2020-10-05T19:59:05Z)
• Exploring Versatile Generative Language Model Via Parameter-Efficient Transfer Learning [70.81910984985683]
  本稿では,1つの大規模事前学習モデルを用いて,複数のダウンストリーム生成タスクを同時に微調整する効果的な方法を提案する。 5つの多様な言語生成タスクの実験は、各タスクに2-3%のパラメータを追加するだけで、モデル全体の微調整性能を維持または改善できることを示している。
  論文  参考訳（メタデータ） (2020-04-08T06:18:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。