論文の概要: Syntax-driven Iterative Expansion Language Models for Controllable Text Generation

• arxiv url: http://arxiv.org/abs/2004.02211v2
• Date: Fri, 30 Oct 2020 11:10:41 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-16 12:54:37.567556
• Title: Syntax-driven Iterative Expansion Language Models for Controllable Text Generation
• Title（参考訳）: テキスト生成のための構文駆動型反復拡張言語モデル
• Authors: Noe Casas, Jos\'e A. R. Fonollosa, Marta R. Costa-juss\`a
• Abstract要約: 本稿では,ニューラルテキスト生成に構文的帰納バイアスを導入するための新しいパラダイムを提案する。 実験の結果,このパラダイムはテキスト生成に有効であり,LSTMとトランスフォーマーの質と同等の多様性を持つことがわかった。
• 参考スコア（独自算出の注目度）: 2.578242050187029
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The dominant language modeling paradigm handles text as a sequence of discrete tokens. While that approach can capture the latent structure of the text, it is inherently constrained to sequential dynamics for text generation. We propose a new paradigm for introducing a syntactic inductive bias into neural text generation, where the dependency parse tree is used to drive the Transformer model to generate sentences iteratively. Our experiments show that this paradigm is effective at text generation, with quality between LSTMs and Transformers, and comparable diversity, requiring less than half their decoding steps, and its generation process allows direct control over the syntactic constructions of the generated text, enabling the induction of stylistic variations.
• Abstract（参考訳）: 支配的な言語モデリングパラダイムは、テキストを離散トークンのシーケンスとして扱う。 このアプローチはテキストの潜在構造をキャプチャするが、本質的にはテキスト生成のシーケンシャルなダイナミックスに制約される。 本稿では,ニューラルテキスト生成に構文的帰納バイアスを導入するための新しいパラダイムを提案する。そこでは,依存関係解析木を用いてトランスフォーマーモデルを駆動し,文を反復的に生成する。 提案手法はテキスト生成に有効であり, lstmとトランスフォーマー間の品質, 同等の多様性を有し, 復号化ステップの半分以下を要し, 生成プロセスによって生成したテキストの構文構成を直接制御し, スタイル的バリエーションの誘導を可能にする。

関連論文リスト

• Explicit Syntactic Guidance for Neural Text Generation [45.60838824233036]
  生成文法は、人間が言語文法を学習することで自然言語のテキストを生成することを示唆している。 本稿では,トップダウン方向の選挙区解析木に案内されたシーケンスを生成する構文誘導型生成スキーマを提案する。 パラフレーズ生成と機械翻訳の実験により,提案手法が自己回帰ベースラインより優れていることが示された。
  論文  参考訳（メタデータ） (2023-06-20T12:16:31Z)
• RSTGen: Imbuing Fine-Grained Interpretable Control into Long-FormText Generators [26.27412809287025]
  RSTGenは、生成されたテキストの談話構造、セマンティクス、トピックを制御するフレームワークである。 オープンジェネレーション評価において、生成したテキストの構造的言論と意味的特徴を制御できるモデルの能力を実証する。
  論文  参考訳（メタデータ） (2022-05-25T09:06:04Z)
• PLANET: Dynamic Content Planning in Autoregressive Transformers for Long-form Text Generation [47.97523895218194]
  本稿では,自己回帰型自己認識機構を利用してコンテンツ計画と表面実現を動的に行う新しい生成フレームワークを提案する。 本フレームワークは,単語のバッグをベースとした文レベルのセマンティックプランを維持するために,トランスフォーマーデコーダを潜在表現で強化する。
  論文  参考訳（メタデータ） (2022-03-17T05:52:35Z)
• HETFORMER: Heterogeneous Transformer with Sparse Attention for Long-Text Extractive Summarization [57.798070356553936]
  HETFORMERはトランスフォーマーをベースとした事前学習モデルであり、抽出要約のための多粒度スパースアテンションを持つ。 単一文書と複数文書の要約タスクの実験から,HETFORMERがルージュF1の最先端性能を達成することが示された。
  論文  参考訳（メタデータ） (2021-10-12T22:42:31Z)
• DiscoDVT: Generating Long Text with Discourse-Aware Discrete Variational Transformer [40.10695204278747]
  本稿では,不整合問題に対処する談話対応離散変分変換器DiscoDVTを提案する。 本研究では、2つのオープンなストーリー生成データセットについて広範な実験を行い、より長い範囲のコヒーレンスを持つ長文を生成するためにモデルを導く談話構造に対して有意義な対応を学習していることを示す。
  論文  参考訳（メタデータ） (2021-10-12T13:41:06Z)
• Topical Language Generation using Transformers [4.795530213347874]
  本稿では,事前学習したLMとトピックモデリング情報を組み合わせることで,トピック言語生成(TLG)の新しいアプローチを提案する。 我々は,新しいパラメータと関数を導入して,生成したテキストに提示される話題特徴量に影響を与えるモデルを拡張する。 実験結果から,復号化の高速化とともに,コヒーレンシー,多様性,流線型性の向上が得られた。
  論文  参考訳（メタデータ） (2021-03-11T03:45:24Z)
• Improving Text Generation with Student-Forcing Optimal Transport [122.11881937642401]
  トレーニングモードとテストモードで生成されたシーケンスに最適なトランスポート(OT)を提案する。 テキストシーケンスの構造的および文脈的情報に基づいて、OT学習を改善するための拡張も提案されている。 提案手法の有効性は,機械翻訳,テキスト要約,テキスト生成タスクにおいて検証される。
  論文  参考訳（メタデータ） (2020-10-12T19:42:25Z)
• Hierarchical Multi-Grained Generative Model for Expressive Speech Synthesis [19.386519810463003]
  本稿では,表現型音声を合成する多粒遅延変数を用いた階層的生成モデルを提案する。 提案するフレームワークは,全発話における発話スタイルの制御性も提供する。
  論文  参考訳（メタデータ） (2020-09-17T18:00:19Z)
• Improving Adversarial Text Generation by Modeling the Distant Future [155.83051741029732]
  テキスト計画手法を考察し、上記の問題を緩和するためのモデルに基づく模倣学習手法を提案する。 本稿では,より長い地平線上の生成過程に焦点をあてる新しいガイドネットワークを提案する。
  論文  参考訳（メタデータ） (2020-05-04T05:45:13Z)
• Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
  変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。 よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-22T14:41:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。