論文の概要: Jointly Improving Language Understanding and Generation with Quality-Weighted Weak Supervision of Automatic Labeling

• arxiv url: http://arxiv.org/abs/2102.03551v1
• Date: Sat, 6 Feb 2021 10:06:15 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-11 10:46:11.916352
• Title: Jointly Improving Language Understanding and Generation with Quality-Weighted Weak Supervision of Automatic Labeling
• Title（参考訳）: 自動ラベリングの品質重み付けによる言語理解と生成の協調的改善
• Authors: Ernie Chang, Vera Demberg, Alex Marin
• Abstract要約: 本稿では,GPT-2フレームワークを用いて,大規模弱ラベルデータを自動的に構築するフレームワークを提案する。 この弱教師付きトレーニングパラダイムは、低リソースシナリオ下での効果的なアプローチであり、両方のデータセット上でベンチマークシステムより優れていることを示す。
• 参考スコア（独自算出の注目度）: 8.520445415355585
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural natural language generation (NLG) and understanding (NLU) models are data-hungry and require massive amounts of annotated data to be competitive. Recent frameworks address this bottleneck with generative models that synthesize weak labels at scale, where a small amount of training labels are expert-curated and the rest of the data is automatically annotated. We follow that approach, by automatically constructing a large-scale weakly-labeled data with a fine-tuned GPT-2, and employ a semi-supervised framework to jointly train the NLG and NLU models. The proposed framework adapts the parameter updates to the models according to the estimated label-quality. On both the E2E and Weather benchmarks, we show that this weakly supervised training paradigm is an effective approach under low resource scenarios and outperforming benchmark systems on both datasets when 100% of training data is used.
• Abstract（参考訳）: ニューラル自然言語生成(NLG)と理解(NLU)モデルはデータハングリーであり、膨大な量の注釈付きデータを必要とする。 最近のフレームワークでは、少量のトレーニングラベルがエキスパートキュレーションされ、残りのデータが自動的にアノテートされる、大規模で弱いラベルを合成するジェネレーションモデルで、このボトルネックに対処する。 このアプローチに従い、微調整されたGPT-2で大規模弱ラベルデータを自動的に構築し、半監視フレームワークを使用してNLGとNLUモデルを共同トレーニングします。 提案フレームワークは,推定ラベル品質に応じてパラメータ更新をモデルに適応させる。 E2Eとウェザーベンチマークの両方において、この弱教師付きトレーニングパラダイムは、低リソースシナリオ下での効果的なアプローチであり、トレーニングデータの100%が使用される場合、両方のデータセット上でベンチマークシステムより優れていることを示す。

関連論文リスト

• Co-training for Low Resource Scientific Natural Language Inference [65.37685198688538]
  遠隔教師付きラベルに分類器のトレーニング力学に基づいて重みを割り当てる新しいコトレーニング手法を提案する。 予測された信頼度に対する任意のしきい値に基づいてサンプルをフィルタリングするのではなく、重要重みを割り当てることにより、自動ラベル付きデータの使用を最大化する。 提案手法は、遠隔監視ベースラインに対するマクロF1の1.5%の改善と、他の強力なSSLベースラインよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2024-06-20T18:35:47Z)
• An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
  フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。 従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。 我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T05:55:23Z)
• Federated Learning with Projected Trajectory Regularization [65.6266768678291]
  フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。 連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。 本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T02:12:08Z)
• A Benchmark Generative Probabilistic Model for Weak Supervised Learning [2.0257616108612373]
  アノテーションの負担を軽減するために、弱監視学習アプローチが開発されている。 遅延変数モデル(PLVM)が4つのデータセット間で最先端のパフォーマンスを実現することを示す。
  論文  参考訳（メタデータ） (2023-03-31T07:06:24Z)
• Confidence-Guided Data Augmentation for Deep Semi-Supervised Training [0.9968241071319184]
  特徴空間の最も困難な領域からの学習を強調する半教師付き学習設定のための新しいデータ拡張手法を提案する。 CIFAR-100とSTL-10の2つのベンチマークRGBデータセットを用いて実験を行い、提案手法が精度とロバスト性の観点から分類性能を向上させることを示す。
  論文  参考訳（メタデータ） (2022-09-16T21:23:19Z)
• PromDA: Prompt-based Data Augmentation for Low-Resource NLU Tasks [61.51515750218049]
  本稿では,低リソース自然言語理解(NLU)タスクのためのデータ拡張について述べる。 小型ソフト・プロンプトのみを訓練するPrompt-based Data Augmentation Model (PromDA)を提案する。 PromDAは2つの異なるビューを通して合成データを生成し、低品質データをNLUモデルを用いてフィルタリングする。
  論文  参考訳（メタデータ） (2022-02-25T05:09:27Z)
• Improving Label Quality by Jointly Modeling Items and Annotators [68.8204255655161]
  雑音アノテータから基底真理ラベルを学習するための完全ベイズ的枠組みを提案する。 我々のフレームワークは、ラベル分布上の生成的ベイズソフトクラスタリングモデルを古典的なDavidとSkeneのジョイントアノテータデータモデルに分解することでスケーラビリティを保証する。
  論文  参考訳（メタデータ） (2021-06-20T02:15:20Z)
• Federated Traffic Synthesizing and Classification Using Generative Adversarial Networks [30.686118264562598]
  本稿では,FGAN-AC(Federated Generative Adversarial Networks and Automatic Classification)という新しいフレームワークを紹介する。 FGAN-ACは、大量の手動ラベル付きデータセットを必要とせず、データ漏洩を引き起こすことなく、分散型ローカルデータセットから複数のタイプのサービスデータトラフィックを合成および分類することができます。
  論文  参考訳（メタデータ） (2021-04-21T08:10:46Z)
• Neural Data-to-Text Generation with LM-based Text Augmentation [27.822282190362856]
  弱教師付きトレーニングパラダイムは10%未満のアノテーションで完全に教師付きセq2seqモデルより優れていることを示す。 すべての注釈付きデータを利用することで、標準のSeq2seqモデルの性能を5 BLEUポイント以上向上させることができる。
  論文  参考訳（メタデータ） (2021-02-06T10:21:48Z)
• DAGA: Data Augmentation with a Generation Approach for Low-resource Tagging Tasks [88.62288327934499]
  線形化ラベル付き文に基づいて訓練された言語モデルを用いた新しい拡張手法を提案する。 本手法は, 教師付き設定と半教師付き設定の両方に適用可能である。
  論文  参考訳（メタデータ） (2020-11-03T07:49:15Z)
• DQI: Measuring Data Quality in NLP [22.54066527822898]
  データ品質指標(DQI)の一般的な式を導入し、データセット作成者が望ましくないバイアスのないデータセットを作成するのを支援する。 SNLIデータセットを用いてトレーニングしたモデルが,分散タスクの外部に一般化できることが示される。
  論文  参考訳（メタデータ） (2020-05-02T12:34:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。