論文の概要: Variational Autoencoder with Disentanglement Priors for Low-Resource Task-Specific Natural Language Generation

• arxiv url: http://arxiv.org/abs/2202.13363v1
• Date: Sun, 27 Feb 2022 13:34:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-02 10:48:27.939536
• Title: Variational Autoencoder with Disentanglement Priors for Low-Resource Task-Specific Natural Language Generation
• Title（参考訳）: 低リソースタスク特化自然言語生成のためのアンタングル付き変分オートエンコーダ
• Authors: Zhuang Li, Lizhen Qu, Qiongkai Xu, Tongtong Wu, Tianyang Zhan, Gholamreza Haffari
• Abstract要約: 本研究では,条件付き自然言語生成のための乱れ前処理付き変分自動エンコーダ VAE-DPRIOR を提案する。 我々のモデルは、潜在コンテンツ空間の先行と潜在ラベル空間の先行を導入することで、非交叉表現学習を行う。
• 参考スコア（独自算出の注目度）: 48.09206838892326
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we propose a variational autoencoder with disentanglement priors, VAE-DPRIOR, for conditional natural language generation with none or a handful of task-specific labeled examples. In order to improve compositional generalization, our model performs disentangled representation learning by introducing a prior for the latent content space and another prior for the latent label space. We show both empirically and theoretically that the conditional priors can already disentangle representations even without specific regularizations as in the prior work. We can also sample diverse content representations from the content space without accessing data of the seen tasks, and fuse them with the representations of novel tasks for generating diverse texts in the low-resource settings. Our extensive experiments demonstrate the superior performance of our model over competitive baselines in terms of i) data augmentation in continuous zero/few-shot learning, and ii) text style transfer in both zero/few-shot settings.
• Abstract（参考訳）: 本稿では,タスク固有のラベル付き例をひとつもひとつも持たない条件付き自然言語生成のための,乱れ前処理付き変分自動エンコーダVAE-DPRIORを提案する。 合成一般化を改善するために,本モデルでは,潜時コンテンツ空間の先行と潜時ラベル空間の先行とを導入することで,非交叉表現学習を行う。 経験的および理論的には、条件付き前処理は、前処理のように特定の正規化なしに既に表現をアンタングルできることを示す。 また、見たタスクのデータにアクセスせずに、コンテンツ空間から多様なコンテンツ表現をサンプリングし、低リソース設定で多様なテキストを生成するための新しいタスクの表現と融合することもできる。 我々の大規模な実験は、競争ベースラインよりも優れたモデルの性能を示す。 一 連続ゼロ/フェーショット学習におけるデータ増強及び 二 ゼロ/フェーショット設定の両方におけるテキストの転送

関連論文リスト

• RegaVAE: A Retrieval-Augmented Gaussian Mixture Variational Auto-Encoder for Language Modeling [79.56442336234221]
  可変オートエンコーダ(VAE)に基づく検索拡張言語モデルであるRegaVAEを紹介する。 テキストコーパスを潜在空間にエンコードし、ソースとターゲットの両方のテキストから現在と将来の情報をキャプチャする。 各種データセットに対する実験結果から,テキスト生成品質と幻覚除去の大幅な改善が示された。
  論文  参考訳（メタデータ） (2023-10-16T16:42:01Z)
• Instruction Position Matters in Sequence Generation with Large Language Models [67.87516654892343]
  大規模言語モデル(LLM)は、翻訳や要約といった条件付きシーケンス生成タスクを実行することができる。 入力文の後にタスク命令の位置をシフトさせることにより,LLMの指示追従能力を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-08-23T12:36:57Z)
• Leveraging Natural Supervision for Language Representation Learning and Generation [8.083109555490475]
  自然発生型監視を用いて,ニューラルネットワークのトレーニングと評価を改善するための3行の作業について述べる。 まず,NLPタスクに対する事前学習言語モデルの性能向上を支援するために,自己指導型学習損失について検討する。 文表現における意味論と構文のアンタングル化にパラフレーズペアを用いるフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-21T17:26:03Z)
• Multimodal Knowledge Alignment with Reinforcement Learning [103.68816413817372]
  ESPERは言語のみのゼロショットモデルを拡張して、画像や音声のキャプションといったマルチモーダルタスクを未確認にする。 我々の重要な新規性は、強化学習を使用することで、直接監督することなく、多モーダル入力を言語モデル世代に整列させることである。 実験の結果、ESPERはベースラインと様々なゼロショットタスクの事前作業より優れていることが示された。
  論文  参考訳（メタデータ） (2022-05-25T10:12:17Z)
• Grad2Task: Improved Few-shot Text Classification Using Gradients for Task Representation [24.488427641442694]
  本稿では,数ショットのテキスト分類のための条件付きニューラルプロセスに基づく新しいアプローチを提案する。 私たちのキーとなるアイデアは、ベースモデルからの勾配情報を使って各タスクを表現することです。 我々のアプローチは、従来の微調整、シーケンシャルトランスファーラーニング、そして最先端のメタラーニングアプローチよりも優れています。
  論文  参考訳（メタデータ） (2022-01-27T15:29:30Z)
• DSGPT: Domain-Specific Generative Pre-Training of Transformers for Text Generation in E-commerce Title and Review Summarization [14.414693156937782]
  テキスト生成のための新しいドメイン固有生成事前学習法(DS-GPT)を提案する。 電子商取引モバイルディスプレイにおける製品タイトルと要約問題に応用する。
  論文  参考訳（メタデータ） (2021-12-15T19:02:49Z)
• Continual Learning for Text Classification with Information Disentanglement Based Regularization [18.258948837964724]
  テキスト分類に基づく連続学習のための情報分散に基づく正規化手法を提案する。 大規模ベンチマーク実験の結果,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2021-04-12T14:17:43Z)
• KGPT: Knowledge-Grounded Pre-Training for Data-to-Text Generation [100.79870384880333]
  知識に富んだテキストを生成するための知識基盤事前学習(KGPT)を提案する。 我々は、その効果を評価するために、3つの設定、すなわち、完全教師付き、ゼロショット、少数ショットを採用します。 ゼロショット設定では、WebNLG上で30 ROUGE-L以上を達成するが、他の全てのベースラインは失敗する。
  論文  参考訳（メタデータ） (2020-10-05T19:59:05Z)
• Pre-training via Paraphrasing [96.79972492585112]
  教師なし多言語パラフレージング目的を用いて学習した,事前学習されたシーケンス・ツー・シーケンスモデルであるMARGEを紹介する。 ランダムな初期化のみを前提として,検索と再構築を共同で行うことができることを示す。 例えば、追加のタスク固有のトレーニングがなければ、文書翻訳のBLEUスコアは最大35.8に達する。
  論文  参考訳（メタデータ） (2020-06-26T14:43:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。