論文の概要: Jointly Improving Language Understanding and Generation with Quality-Weighted Weak Supervision of Automatic Labeling

• arxiv url: http://arxiv.org/abs/2102.03551v1
• Date: Sat, 6 Feb 2021 10:06:15 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-11 10:46:11.916352
• Title: Jointly Improving Language Understanding and Generation with Quality-Weighted Weak Supervision of Automatic Labeling
• Title（参考訳）: 自動ラベリングの品質重み付けによる言語理解と生成の協調的改善
• Authors: Ernie Chang, Vera Demberg, Alex Marin
• Abstract要約: 本稿では,GPT-2フレームワークを用いて,大規模弱ラベルデータを自動的に構築するフレームワークを提案する。 この弱教師付きトレーニングパラダイムは、低リソースシナリオ下での効果的なアプローチであり、両方のデータセット上でベンチマークシステムより優れていることを示す。
• 参考スコア（独自算出の注目度）: 8.520445415355585
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural natural language generation (NLG) and understanding (NLU) models are data-hungry and require massive amounts of annotated data to be competitive. Recent frameworks address this bottleneck with generative models that synthesize weak labels at scale, where a small amount of training labels are expert-curated and the rest of the data is automatically annotated. We follow that approach, by automatically constructing a large-scale weakly-labeled data with a fine-tuned GPT-2, and employ a semi-supervised framework to jointly train the NLG and NLU models. The proposed framework adapts the parameter updates to the models according to the estimated label-quality. On both the E2E and Weather benchmarks, we show that this weakly supervised training paradigm is an effective approach under low resource scenarios and outperforming benchmark systems on both datasets when 100% of training data is used.
• Abstract（参考訳）: ニューラル自然言語生成(NLG)と理解(NLU)モデルはデータハングリーであり、膨大な量の注釈付きデータを必要とする。 最近のフレームワークでは、少量のトレーニングラベルがエキスパートキュレーションされ、残りのデータが自動的にアノテートされる、大規模で弱いラベルを合成するジェネレーションモデルで、このボトルネックに対処する。 このアプローチに従い、微調整されたGPT-2で大規模弱ラベルデータを自動的に構築し、半監視フレームワークを使用してNLGとNLUモデルを共同トレーニングします。 提案フレームワークは,推定ラベル品質に応じてパラメータ更新をモデルに適応させる。 E2Eとウェザーベンチマークの両方において、この弱教師付きトレーニングパラダイムは、低リソースシナリオ下での効果的なアプローチであり、トレーニングデータの100%が使用される場合、両方のデータセット上でベンチマークシステムより優れていることを示す。

関連論文リスト

• A Benchmark Generative Probabilistic Model for Weak Supervised Learning [2.0257616108612373]
  アノテーションの負担を軽減するために、弱監視学習アプローチが開発されている。 遅延変数モデル(PLVM)が4つのデータセット間で最先端のパフォーマンスを実現することを示す。
  論文  参考訳（メタデータ） (2023-03-31T07:06:24Z)
• Confidence-Guided Data Augmentation for Deep Semi-Supervised Training [0.9968241071319184]
  特徴空間の最も困難な領域からの学習を強調する半教師付き学習設定のための新しいデータ拡張手法を提案する。 CIFAR-100とSTL-10の2つのベンチマークRGBデータセットを用いて実験を行い、提案手法が精度とロバスト性の観点から分類性能を向上させることを示す。
  論文  参考訳（メタデータ） (2022-09-16T21:23:19Z)
• Few-Shot Non-Parametric Learning with Deep Latent Variable Model [50.746273235463754]
  遅延変数を用いた圧縮による非パラメトリック学習(NPC-LV)を提案する。 NPC-LVは、ラベルなしデータが多いがラベル付きデータはほとんどないデータセットの学習フレームワークである。 我々は,NPC-LVが低データ構造における画像分類における3つのデータセットの教師あり手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-23T09:35:03Z)
• Generative Modeling Helps Weak Supervision (and Vice Versa) [87.62271390571837]
  本稿では,弱い監督と生成的敵ネットワークを融合したモデルを提案する。 弱い監督によるラベル推定と並行して、データの離散変数をキャプチャする。 これは、弱い教師付き合成画像と擬似ラベルによるデータ拡張を可能にする最初のアプローチである。
  論文  参考訳（メタデータ） (2022-03-22T20:24:21Z)
• PromDA: Prompt-based Data Augmentation for Low-Resource NLU Tasks [61.51515750218049]
  本稿では,低リソース自然言語理解(NLU)タスクのためのデータ拡張について述べる。 小型ソフト・プロンプトのみを訓練するPrompt-based Data Augmentation Model (PromDA)を提案する。 PromDAは2つの異なるビューを通して合成データを生成し、低品質データをNLUモデルを用いてフィルタリングする。
  論文  参考訳（メタデータ） (2022-02-25T05:09:27Z)
• DSEE: Dually Sparsity-embedded Efficient Tuning of Pre-trained Language Models [152.29364079385635]
  事前訓練されたモデルが大きくなればなるほど、微調整のプロセスは時間がかかり、計算コストがかかる可能性がある。 本稿では,重み更新と最終モデルの重み付けに先立って,疎度を活用することで,資源・パラメータ効率の微調整を行うフレームワークを提案する。 提案するフレームワークは,Dually Sparsity-Embeded Efficient Tuning (DSEE)と呼ばれ,パラメータ効率のよい微調整とリソース効率の推論という2つの重要な目標を達成することを目的としている。
  論文  参考訳（メタデータ） (2021-10-30T03:29:47Z)
• Improving Label Quality by Jointly Modeling Items and Annotators [68.8204255655161]
  雑音アノテータから基底真理ラベルを学習するための完全ベイズ的枠組みを提案する。 我々のフレームワークは、ラベル分布上の生成的ベイズソフトクラスタリングモデルを古典的なDavidとSkeneのジョイントアノテータデータモデルに分解することでスケーラビリティを保証する。
  論文  参考訳（メタデータ） (2021-06-20T02:15:20Z)
• Federated Traffic Synthesizing and Classification Using Generative Adversarial Networks [30.686118264562598]
  本稿では,FGAN-AC(Federated Generative Adversarial Networks and Automatic Classification)という新しいフレームワークを紹介する。 FGAN-ACは、大量の手動ラベル付きデータセットを必要とせず、データ漏洩を引き起こすことなく、分散型ローカルデータセットから複数のタイプのサービスデータトラフィックを合成および分類することができます。
  論文  参考訳（メタデータ） (2021-04-21T08:10:46Z)
• Neural Data-to-Text Generation with LM-based Text Augmentation [27.822282190362856]
  弱教師付きトレーニングパラダイムは10%未満のアノテーションで完全に教師付きセq2seqモデルより優れていることを示す。 すべての注釈付きデータを利用することで、標準のSeq2seqモデルの性能を5 BLEUポイント以上向上させることができる。
  論文  参考訳（メタデータ） (2021-02-06T10:21:48Z)
• DAGA: Data Augmentation with a Generation Approach for Low-resource Tagging Tasks [88.62288327934499]
  線形化ラベル付き文に基づいて訓練された言語モデルを用いた新しい拡張手法を提案する。 本手法は, 教師付き設定と半教師付き設定の両方に適用可能である。
  論文  参考訳（メタデータ） (2020-11-03T07:49:15Z)
• DQI: Measuring Data Quality in NLP [22.54066527822898]
  データ品質指標(DQI)の一般的な式を導入し、データセット作成者が望ましくないバイアスのないデータセットを作成するのを支援する。 SNLIデータセットを用いてトレーニングしたモデルが,分散タスクの外部に一般化できることが示される。
  論文  参考訳（メタデータ） (2020-05-02T12:34:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。