論文の概要: DiscoDVT: Generating Long Text with Discourse-Aware Discrete Variational Transformer

• arxiv url: http://arxiv.org/abs/2110.05999v1
• Date: Tue, 12 Oct 2021 13:41:06 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-13 19:40:16.460841
• Title: DiscoDVT: Generating Long Text with Discourse-Aware Discrete Variational Transformer
• Title（参考訳）: DiscoDVT:Discourse-Aware Discrete Variational Transformerによる長文生成
• Authors: Haozhe Ji, Minlie Huang
• Abstract要約: 本稿では,不整合問題に対処する談話対応離散変分変換器DiscoDVTを提案する。 本研究では、2つのオープンなストーリー生成データセットについて広範な実験を行い、より長い範囲のコヒーレンスを持つ長文を生成するためにモデルを導く談話構造に対して有意義な対応を学習していることを示す。
• 参考スコア（独自算出の注目度）: 40.10695204278747
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite the recent advances in applying pre-trained language models to generate high-quality texts, generating long passages that maintain long-range coherence is yet challenging for these models. In this paper, we propose DiscoDVT, a discourse-aware discrete variational Transformer to tackle the incoherence issue. DiscoDVT learns a discrete variable sequence that summarizes the global structure of the text and then applies it to guide the generation process at each decoding step. To further embed discourse-aware information into the discrete latent representations, we introduce an auxiliary objective to model the discourse relations within the text. We conduct extensive experiments on two open story generation datasets and demonstrate that the latent codes learn meaningful correspondence to the discourse structures that guide the model to generate long texts with better long-range coherence.
• Abstract（参考訳）: 高品質テキストを生成するために、事前学習された言語モデルを適用する最近の進歩にもかかわらず、長距離コヒーレンスを維持する長いパスを生成することは、これらのモデルにとって依然として困難である。 本稿では,不整合問題に対処する談話対応離散変分変換器DiscoDVTを提案する。 discodvtは、テキストの全体構造を要約した離散変数列を学習し、各復号ステップで生成プロセスをガイドするためにそれを適用する。 さらに, 離散的潜在表現に談話認識情報を埋め込むため, テキスト内の談話関係をモデル化するための補助目的を提案する。 2つのオープンストーリー生成データセットに関する広範囲な実験を行い、より長距離のコヒーレンスを持つ長文を生成するモデルを導く談話構造に対して、潜在コードは有意義な対応を学習できることを実証する。

関連論文リスト

• Vector-Quantized Prompt Learning for Paraphrase Generation [18.40940464497253]
  本稿では、事前学習されたモデルにインスタンス依存のプロンプトを組み込むことにより、多種多様な高品質なパラフレーズを生成することを提案する。 大規模な実験により,提案手法は3つのベンチマークデータセットに対して新たな最先端結果が得られることを示した。
  論文  参考訳（メタデータ） (2023-11-25T07:13:06Z)
• Generating Coherent Narratives by Learning Dynamic and Discrete Entity States with a Contrastive Framework [68.1678127433077]
  我々はトランスフォーマーモデルを拡張して,物語生成のためのエンティティ状態更新と文実現を動的に行う。 2つのナラティブデータセットの実験により、我々のモデルは強いベースラインよりも一貫性があり多様なナラティブを生成できることが示された。
  論文  参考訳（メタデータ） (2022-08-08T09:02:19Z)
• PLANET: Dynamic Content Planning in Autoregressive Transformers for Long-form Text Generation [47.97523895218194]
  本稿では,自己回帰型自己認識機構を利用してコンテンツ計画と表面実現を動的に行う新しい生成フレームワークを提案する。 本フレームワークは,単語のバッグをベースとした文レベルのセマンティックプランを維持するために,トランスフォーマーデコーダを潜在表現で強化する。
  論文  参考訳（メタデータ） (2022-03-17T05:52:35Z)
• Data-to-text Generation with Variational Sequential Planning [74.3955521225497]
  非言語的な入力からテキスト出力を生成することを目的としたデータ・ツー・テキスト生成の課題について考察する。 協調的かつ有意義な方法で高レベルの情報を整理する責任を負う計画要素を付加したニューラルモデルを提案する。 我々は、計画と生成のステップをインターリーブしながら、構造化された変動モデルで逐次、潜在計画を推測する。
  論文  参考訳（メタデータ） (2022-02-28T13:17:59Z)
• Long Text Generation by Modeling Sentence-Level and Discourse-Level Coherence [59.51720326054546]
  本稿では,デコード処理における文レベルと談話レベルにおけるプレフィックス文を表現可能な長文生成モデルを提案する。 我々のモデルは最先端のベースラインよりも一貫性のあるテキストを生成することができる。
  論文  参考訳（メタデータ） (2021-05-19T07:29:08Z)
• Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
  変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。 よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-22T14:41:37Z)
• Syntax-driven Iterative Expansion Language Models for Controllable Text Generation [2.578242050187029]
  本稿では,ニューラルテキスト生成に構文的帰納バイアスを導入するための新しいパラダイムを提案する。 実験の結果,このパラダイムはテキスト生成に有効であり,LSTMとトランスフォーマーの質と同等の多様性を持つことがわかった。
  論文  参考訳（メタデータ） (2020-04-05T14:29:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。