論文の概要: Curriculum-Based Self-Training Makes Better Few-Shot Learners for Data-to-Text Generation

• arxiv url: http://arxiv.org/abs/2206.02712v1
• Date: Mon, 6 Jun 2022 16:11:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-07 16:28:19.544719
• Title: Curriculum-Based Self-Training Makes Better Few-Shot Learners for Data-to-Text Generation
• Title（参考訳）: データ・テキスト・ジェネレーションのためのカリキュラムベースの自己学習
• Authors: Pei Ke, Haozhe Ji, Zhenyu Yang, Yi Huang, Junlan Feng, Xiaoyan Zhu, Minlie Huang
• Abstract要約: テキスト生成の困難さによって決定される並べ替え順序でラベルのないデータを活用するために,カリキュラムベースの自己学習(CBST)を提案する。 提案手法は、微調整およびタスク適応型事前学習法より優れており、データ・テキスト・ジェネレーションのわずかな設定で最先端の性能を実現することができる。
• 参考スコア（独自算出の注目度）: 56.98033565736974
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the success of text-to-text pre-trained models in various natural language generation (NLG) tasks, the generation performance is largely restricted by the number of labeled data in downstream tasks, particularly in data-to-text generation tasks. Existing works mostly utilize abundant unlabeled structured data to conduct unsupervised pre-training for task adaption, which fail to model the complex relationship between source structured data and target texts. Thus, we introduce self-training as a better few-shot learner than task-adaptive pre-training, which explicitly captures this relationship via pseudo-labeled data generated by the pre-trained model. To alleviate the side-effect of low-quality pseudo-labeled data during self-training, we propose a novel method called Curriculum-Based Self-Training (CBST) to effectively leverage unlabeled data in a rearranged order determined by the difficulty of text generation. Experimental results show that our method can outperform fine-tuning and task-adaptive pre-training methods, and achieve state-of-the-art performance in the few-shot setting of data-to-text generation.
• Abstract（参考訳）: 様々な自然言語生成(NLG)タスクにおけるテキストからテキストまでの事前学習モデルの成功にもかかわらず、生成性能は下流タスク、特にデータからテキストへの生成タスクにおけるラベル付きデータ数によって大きく制限されている。 既存の作業は、豊富なラベル付き構造化データを利用してタスク適応のための教師なし事前訓練を行い、ソース構造化データとターゲットテキストの間の複雑な関係をモデル化できなかった。 そこで本研究では,事前学習モデルが生成する擬似ラベルデータを用いて,タスク適応型事前学習よりも優れた自己学習方式を提案する。 自己学習における低品質な擬似ラベル付きデータの副作用を軽減するために,テキスト生成の困難さによって決定される並べ替え順序でラベルなしデータを効果的に活用する,Curriculum-based Self-Training (CBST) と呼ばれる新しい手法を提案する。 実験の結果,本手法は微調整やタスク適応事前学習よりも優れており,データ・ツー・テキスト生成において最先端の性能が得られることがわかった。

関連論文リスト

• Efficient Grammatical Error Correction Via Multi-Task Training and Optimized Training Schedule [55.08778142798106]
  原文と修正文のアライメントを利用する補助タスクを提案する。 我々は,各タスクをシーケンス・ツー・シーケンス問題として定式化し,マルチタスク・トレーニングを行う。 トレーニングに使用されるデータセットの順序や、データセット内の個々のインスタンスでさえ、最終的なパフォーマンスに重要な影響を与える可能性があることが分かりました。
  論文  参考訳（メタデータ） (2023-11-20T14:50:12Z)
• STAR: Boosting Low-Resource Information Extraction by Structure-to-Text Data Generation with Large Language Models [56.27786433792638]
  STARは大規模言語モデル(LLM)を利用してデータインスタンスを合成するデータ生成手法である。 我々は、初期データインスタンスを取得するための詳細なステップバイステップ命令を設計する。 実験の結果,STARが生成したデータは,低リソースイベント抽出および関係抽出タスクの性能を著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2023-05-24T12:15:19Z)
• Faithful Low-Resource Data-to-Text Generation through Cycle Training [14.375070014155817]
  近年,構造化データからテキストを生成する手法が大幅に進歩している。 サイクルトレーニングでは、互いに逆転する2つのモデルを使用する。 サイクルトレーニングが完全に教師付きアプローチとほぼ同等のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2023-05-24T06:44:42Z)
• Leveraging Natural Supervision for Language Representation Learning and Generation [8.083109555490475]
  自然発生型監視を用いて,ニューラルネットワークのトレーニングと評価を改善するための3行の作業について述べる。 まず,NLPタスクに対する事前学習言語モデルの性能向上を支援するために,自己指導型学習損失について検討する。 文表現における意味論と構文のアンタングル化にパラフレーズペアを用いるフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-21T17:26:03Z)
• Towards Zero-Label Language Learning [20.28186484098947]
  本稿では自然言語処理(NLP)におけるゼロラベル学習について検討する。 トレーニング中、どこにでも人間の注釈付きデータを使用しず、モデルが純粋に合成データに基づいて訓練される。 GPT-3における数発の推論の成功に触発されて、教師なしデータ生成というトレーニングデータ生成手順を提案する。
  論文  参考訳（メタデータ） (2021-09-19T19:00:07Z)
• DAGA: Data Augmentation with a Generation Approach for Low-resource Tagging Tasks [88.62288327934499]
  線形化ラベル付き文に基づいて訓練された言語モデルを用いた新しい拡張手法を提案する。 本手法は, 教師付き設定と半教師付き設定の両方に適用可能である。
  論文  参考訳（メタデータ） (2020-11-03T07:49:15Z)
• Self-training Improves Pre-training for Natural Language Understanding [63.78927366363178]
  我々は、半教師付き学習を通じてラベルのないデータを活用する別の方法として、自己学習について研究する。 本稿では,ラベル付きデータからタスク固有のクエリの埋め込みを計算するデータ拡張手法であるSentAugmentを紹介する。 我々のアプローチは、標準的なテキスト分類ベンチマークで最大2.6%の改善を達成し、スケーラブルで効果的な自己学習に繋がる。
  論文  参考訳（メタデータ） (2020-10-05T17:52:25Z)
• Partially-Aligned Data-to-Text Generation with Distant Supervision [69.15410325679635]
  我々はPADTG(Partially-Aligned Data-to-Text Generation)と呼ばれる新しい生成タスクを提案する。 自動的にアノテートされたデータをトレーニングに利用し、アプリケーションドメインを大幅に拡張するため、より実用的です。 我々のフレームワークは、全てのベースラインモデルより優れており、部分整合データの利用の可能性を検証する。
  論文  参考訳（メタデータ） (2020-10-03T03:18:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。