論文の概要: CatVRNN: Generating Category Texts via Multi-task Learning

• arxiv url: http://arxiv.org/abs/2107.05219v1
• Date: Mon, 12 Jul 2021 06:42:37 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-13 22:25:29.619035
• Title: CatVRNN: Generating Category Texts via Multi-task Learning
• Title（参考訳）: CatVRNN: マルチタスク学習によるカテゴリテキストの生成
• Authors: Pengsen Cheng, Jiayong Liu, Jinqiao Dai
• Abstract要約: カテゴリー対応変動リカレントニューラルネットワーク(CatVRNN)はマルチタスク学習にインスパイアされている。 本モデルでは、異なるカテゴリのテキストを生成することを目的として、生成と分類を同時に訓練する。 本稿では,GANに基づく最新テキスト生成手法よりも,生成したテキストのカテゴリ精度と品質を向上できることを示す。
• 参考スコア（独自算出の注目度）: 0.36832029288386126
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Controlling the model to generate texts of different categories is a challenging task that is getting more and more attention. Recently, generative adversarial net (GAN) has shown promising results in category text generation. However, the texts generated by GANs usually suffer from the problems of mode collapse and training instability. To avoid the above problems, we propose a novel model named category-aware variational recurrent neural network (CatVRNN), which is inspired by multi-task learning. In our model, generation and classification are trained simultaneously, aiming at generating texts of different categories. Moreover, the use of multi-task learning can improve the quality of generated texts, when the classification task is appropriate. And we propose a function to initialize the hidden state of CatVRNN to force model to generate texts of a specific category. Experimental results on three datasets demonstrate that our model can do better than several state-of-the-art text generation methods based GAN in the category accuracy and quality of generated texts.
• Abstract（参考訳）: 異なるカテゴリのテキストを生成するためにモデルを制御することは、ますます注目を集めている課題である。 近年,generative adversarial net (gan) がカテゴリテキスト生成において有望な結果を示している。 しかし、GANが生成するテキストは、通常モード崩壊やトレーニング不安定といった問題に悩まされる。 上記の問題を回避するために,マルチタスク学習にインスパイアされたカテゴリ認識変動リカレントニューラルネットワーク(CatVRNN)を提案する。 本モデルでは、異なるカテゴリのテキストを生成することを目的として、生成と分類を同時に訓練する。 さらに、分類タスクが適切であれば、マルチタスク学習を用いることで、生成されたテキストの品質を向上させることができる。 そして,catvrnnの隠れた状態を初期化し,特定のカテゴリのテキストを生成するようモデルに強制する関数を提案する。 3つのデータセットによる実験結果から,本モデルでは,生成したテキストのカテゴリ精度と品質において,いくつかの最先端テキスト生成手法より優れていることが示された。

関連論文リスト

• Feature-aware conditional GAN for category text generation [6.609628372021442]
  カテゴリーテキスト生成は様々な自然言語処理タスクに有用である。 テキストGANには、離散性、トレーニング不安定性、モード崩壊、多様性の欠如、コントロール容易性など、いくつかの問題がある。 本稿では,制御可能なカテゴリテキスト生成のための新しいGANフレームワークであるFA-GANを提案する。
  論文  参考訳（メタデータ） (2023-08-02T04:43:54Z)
• MOCHA: A Multi-Task Training Approach for Coherent Text Generation from Cognitive Perspective [22.69509556890676]
  本稿では,文章の認知理論に基づくコヒーレントテキスト生成のための新しいマルチタスク学習戦略を提案する。 我々は,物語生成,ニュース記事作成,議論生成という3つのオープンエンド世代タスクに対して,我々のモデルを広範囲に評価する。
  論文  参考訳（メタデータ） (2022-10-26T11:55:41Z)
• Khmer Text Classification Using Word Embedding and Neural Networks [0.0]
  Khmerテキストの様々な分類手法について論じる。 Khmerワード埋め込みモデルは、ワードベクトル表現を構築するために、30万のKhmerワードコーパスで訓練される。 複数クラス・複数ラベルのテキスト分類タスクに対して,ニュース記事データセット上での異なるアプローチの性能を評価する。
  論文  参考訳（メタデータ） (2021-12-13T15:57:32Z)
• Guiding Generative Language Models for Data Augmentation in Few-Shot Text Classification [59.698811329287174]
  我々は、GPT-2を用いて、分類性能を向上させるために、人工訓練インスタンスを生成する。 実験の結果,少数のラベルインスタンスでGPT-2を微調整すると,一貫した分類精度が向上することがわかった。
  論文  参考訳（メタデータ） (2021-11-17T12:10:03Z)
• Be More with Less: Hypergraph Attention Networks for Inductive Text Classification [56.98218530073927]
  グラフニューラルネットワーク(GNN)は、研究コミュニティで注目され、この標準タスクで有望な結果を実証している。 成功にもかかわらず、それらのパフォーマンスは、単語間の高次相互作用をキャプチャできないため、実際は大部分が危険に晒される可能性がある。 本稿では,テキスト表現学習において,少ない計算量でより表現力の高いハイパーグラフアテンションネットワーク(HyperGAT)を提案する。
  論文  参考訳（メタデータ） (2020-11-01T00:21:59Z)
• CAT-Gen: Improving Robustness in NLP Models via Controlled Adversarial Text Generation [20.27052525082402]
  本稿では,制御可能な属性による逆テキストを生成する制御付き逆テキスト生成(CAT-Gen)モデルを提案する。 実世界のNLPデータセットを用いた実験により,本手法はより多種多様な逆数文を生成することができることが示された。
  論文  参考訳（メタデータ） (2020-10-05T21:07:45Z)
• KGPT: Knowledge-Grounded Pre-Training for Data-to-Text Generation [100.79870384880333]
  知識に富んだテキストを生成するための知識基盤事前学習(KGPT)を提案する。 我々は、その効果を評価するために、3つの設定、すなわち、完全教師付き、ゼロショット、少数ショットを採用します。 ゼロショット設定では、WebNLG上で30 ROUGE-L以上を達成するが、他の全てのベースラインは失敗する。
  論文  参考訳（メタデータ） (2020-10-05T19:59:05Z)
• Controllable Text Generation with Focused Variation [71.07811310799664]
  Focused-Variation Network (FVN) は言語生成を制御する新しいモデルである。 FVNは、コードブック内の各属性に対する非結合なラテント空間を学習し、制御性と多様性の両方を可能にする。 我々は、注釈付きコンテンツとスタイルを持つ2つのテキスト生成データセット上でFVNを評価し、自動評価と人的評価により、最先端のパフォーマンスを示す。
  論文  参考訳（メタデータ） (2020-09-25T06:31:06Z)
• Unsupervised Text Generation by Learning from Search [86.51619839836331]
  TGLSは、教師なしテキスト生成のための新しいフレームワークである。 実世界の自然言語生成タスクであるパラフレーズ生成とテキストの形式化におけるTGLSの有効性を示す。
  論文  参考訳（メタデータ） (2020-07-09T04:34:48Z)
• PALM: Pre-training an Autoencoding&Autoregressive Language Model for Context-conditioned Generation [92.7366819044397]
  自己指導型事前学習は、自然言語の理解と生成のための強力な技術として登場した。 本研究は,大規模未ラベルコーパス上で自己エンコーディングと自己回帰言語モデルを共同で事前学習する新しいスキームをPALMに提示する。 広範な実験により、PALMは様々な言語生成ベンチマークにおいて、新しい最先端の結果を達成することが示されている。
  論文  参考訳（メタデータ） (2020-04-14T06:25:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。