論文の概要: Generative Adversarial Networks for Annotated Data Augmentation in Data
Sparse NLU
- arxiv url: http://arxiv.org/abs/2012.05302v1
- Date: Wed, 9 Dec 2020 20:38:17 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-16 05:11:32.785738
- Title: Generative Adversarial Networks for Annotated Data Augmentation in Data
Sparse NLU
- Title(参考訳): データスパースNLUにおけるアノテーション付きデータ拡張のための生成逆ネットワーク
- Authors: Olga Golovneva and Charith Peris
- Abstract要約: データスパーシティは、自然言語理解におけるモデル開発に関連する重要な課題の1つです。
GAN (Sequence Generative Adversarial Network) を用いたトレーニングデータ拡張によるNLUモデルの性能向上について報告する。
本実験により, 逐次生成逆数ネットワークを用いて生成した合成データにより, 複数の指標間で大きな性能向上が得られた。
- 参考スコア(独自算出の注目度): 0.76146285961466
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Data sparsity is one of the key challenges associated with model development
in Natural Language Understanding (NLU) for conversational agents. The
challenge is made more complex by the demand for high quality annotated
utterances commonly required for supervised learning, usually resulting in
weeks of manual labor and high cost. In this paper, we present our results on
boosting NLU model performance through training data augmentation using a
sequential generative adversarial network (GAN). We explore data generation in
the context of two tasks, the bootstrapping of a new language and the handling
of low resource features. For both tasks we explore three sequential GAN
architectures, one with a token-level reward function, another with our own
implementation of a token-level Monte Carlo rollout reward, and a third with
sentence-level reward. We evaluate the performance of these feedback models
across several sampling methodologies and compare our results to upsampling the
original data to the same scale. We further improve the GAN model performance
through the transfer learning of the pretrained embeddings. Our experiments
reveal synthetic data generated using the sequential generative adversarial
network provides significant performance boosts across multiple metrics and can
be a major benefit to the NLU tasks.
- Abstract(参考訳): データ空間は自然言語理解(NLU)における対話エージェントのモデル開発に関連する重要な課題の1つである。
この課題は、教師付き学習に一般的に必要とされる高品質な注釈付き発話の要求によってより複雑にされ、通常、数週間の手動労働と高いコストをもたらす。
本稿では,GAN(Sequential Generative Adversarial Network)を用いたトレーニングデータ拡張によるNLUモデルの性能向上について述べる。
我々は、新しい言語のブートストラップと低リソース機能の処理という2つのタスクのコンテキストでデータ生成を探求する。
両方のタスクに対して,トークンレベルの報酬関数を備えたアーキテクチャ,トークンレベルのモンテカルロロールアウト報酬を独自に実装したアーキテクチャ,文レベルの報酬を持つアーキテクチャの3つについて検討する。
我々は,これらのフィードバックモデルの性能を複数のサンプリング手法で評価し,その結果を比較して,元のデータを同じスケールにアップサンプリングする。
我々は,事前学習した組込みの転送学習により,ganモデルの性能をさらに向上させる。
本実験により, 逐次生成逆数ネットワークを用いて生成した合成データにより, 複数の指標間で大きな性能向上が達成され, NLUタスクにとって大きなメリットとなることがわかった。
関連論文リスト
- Diffusion-based Neural Network Weights Generation [85.6725307453325]
データセット条件付き事前学習重み抽出による効率よく適応的な伝達学習手法を提案する。
具体的には、ニューラルネットワークの重みを再構築できる変分オートエンコーダを備えた潜時拡散モデルを用いる。
論文 参考訳(メタデータ) (2024-02-28T08:34:23Z) - Contrastive Transformer Learning with Proximity Data Generation for
Text-Based Person Search [60.626459715780605]
記述的なテキストクエリーを与えられたテキストベースの人物検索は、画像ギャラリーからベストマッチした人物を検索することを目的としている。
このようなクロスモーダル検索タスクは、重要なモダリティギャップ、きめ細かい相違、注釈付きデータの不十分さのため、かなり難しい。
本稿では,テキストに基づく人物検索のための2つのトランスフォーマーモデルを提案する。
論文 参考訳(メタデータ) (2023-11-15T16:26:49Z) - Regularization Through Simultaneous Learning: A Case Study on Plant
Classification [0.0]
本稿では,トランスファーラーニングとマルチタスクラーニングの原則に基づく正規化アプローチである同時学習を紹介する。
我々は、ターゲットデータセットであるUFOP-HVDの補助データセットを活用し、カスタマイズされた損失関数でガイドされた同時分類を容易にする。
興味深いことに,本手法は正規化のないモデルよりも優れた性能を示す。
論文 参考訳(メタデータ) (2023-05-22T19:44:57Z) - CHALLENGER: Training with Attribution Maps [63.736435657236505]
ニューラルネットワークのトレーニングに属性マップを利用すると、モデルの正規化が向上し、性能が向上することを示す。
特に、我々の汎用的なドメインに依存しないアプローチは、ビジョン、自然言語処理、時系列タスクにおける最先端の結果をもたらすことを示す。
論文 参考訳(メタデータ) (2022-05-30T13:34:46Z) - A Generative Model for Relation Extraction and Classification [23.1277041729626]
関係抽出・分類のための新しい生成モデル(GREC)を提案する。
本稿では、ソースおよびターゲットシーケンスの様々なエンコーディング表現について検討し、3つのベンチマークREデータセット上でGRECが最先端のパフォーマンスを達成できる効果的なスキームを設計する。
我々のアプローチは1つのパスで文からすべての関係三重項を抽出するために拡張することができる。
論文 参考訳(メタデータ) (2022-02-26T21:17:18Z) - Towards Open-World Feature Extrapolation: An Inductive Graph Learning
Approach [80.8446673089281]
グラフ表現と学習を伴う新しい学習パラダイムを提案する。
本フレームワークは,1) 下位モデルとしてのバックボーンネットワーク(フィードフォワードニューラルネットなど)が,予測ラベルの入力および出力として機能を取り,2) 上位モデルとしてのグラフニューラルネットワークが,観測データから構築された特徴データグラフをメッセージパッシングすることで,新機能の埋め込みを外挿することを学ぶ。
論文 参考訳(メタデータ) (2021-10-09T09:02:45Z) - Regularizing Generative Adversarial Networks under Limited Data [88.57330330305535]
本研究は、限られたデータ上で堅牢なGANモデルをトレーニングするための正規化手法を提案する。
正規化損失とLeCam-divergenceと呼ばれるf-divergenceの関連性を示す。
論文 参考訳(メタデータ) (2021-04-07T17:59:06Z) - Two-Level Adversarial Visual-Semantic Coupling for Generalized Zero-shot
Learning [21.89909688056478]
トレーニング中に推論ネットワークを用いて生成ネットワークを増強する2段階のジョイントアイデアを提案する。
これにより、ビジュアルドメインとセマンティックドメイン間の効果的な知識伝達のための強力な相互モーダル相互作用が提供される。
提案手法は,4つのベンチマークデータセットに対して,いくつかの最先端手法に対して評価し,その性能を示す。
論文 参考訳(メタデータ) (2020-07-15T15:34:09Z) - DQI: Measuring Data Quality in NLP [22.54066527822898]
データ品質指標(DQI)の一般的な式を導入し、データセット作成者が望ましくないバイアスのないデータセットを作成するのを支援する。
SNLIデータセットを用いてトレーニングしたモデルが,分散タスクの外部に一般化できることが示される。
論文 参考訳(メタデータ) (2020-05-02T12:34:17Z) - Generative Data Augmentation for Commonsense Reasoning [75.26876609249197]
G-DAUGCは、低リソース環境でより正確で堅牢な学習を実現することを目的とした、新しい生成データ拡張手法である。
G-DAUGCは、バックトランスレーションに基づく既存のデータ拡張手法を一貫して上回っている。
分析の結果,G-DAUGCは多種多様な流線型学習例を産出し,その選択と学習アプローチが性能向上に重要であることが示された。
論文 参考訳(メタデータ) (2020-04-24T06:12:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。