論文の概要: Generating Coherent Narratives by Learning Dynamic and Discrete Entity States with a Contrastive Framework

• arxiv url: http://arxiv.org/abs/2208.03985v1
• Date: Mon, 8 Aug 2022 09:02:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-09 13:09:52.103705
• Title: Generating Coherent Narratives by Learning Dynamic and Discrete Entity States with a Contrastive Framework
• Title（参考訳）: 対照的な枠組みによる動的・離散的実体状態の学習によるコヒーレントな物語の生成
• Authors: Jian Guan, Zhenyu Yang, Rongsheng Zhang, Zhipeng Hu, Minlie Huang
• Abstract要約: 我々はトランスフォーマーモデルを拡張して,物語生成のためのエンティティ状態更新と文実現を動的に行う。 2つのナラティブデータセットの実験により、我々のモデルは強いベースラインよりも一貫性があり多様なナラティブを生成できることが示された。
• 参考スコア（独自算出の注目度）: 68.1678127433077
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite advances in generating fluent texts, existing pretraining models tend to attach incoherent event sequences to involved entities when generating narratives such as stories and news. We conjecture that such issues result from representing entities as static embeddings of superficial words, while neglecting to model their ever-changing states, i.e., the information they carry, as the text unfolds. Therefore, we extend the Transformer model to dynamically conduct entity state updates and sentence realization for narrative generation. We propose a contrastive framework to learn the state representations in a discrete space, and insert additional attention layers into the decoder to better exploit these states. Experiments on two narrative datasets show that our model can generate more coherent and diverse narratives than strong baselines with the guidance of meaningful entity states.
• Abstract（参考訳）: 流麗なテキスト生成の進歩にもかかわらず、既存の事前学習モデルはストーリーやニュースなどの物語を生成する際に、関連するエンティティに一貫性のないイベントシーケンスをアタッチする傾向がある。 このような問題は、表面的な単語の静的埋め込みとして表現することで生じると推測し、テキストが展開するにつれて、その変化し続ける状態、すなわち、それらが持つ情報をモデル化することを無視している。 そこで我々はTransformerモデルを拡張して,物語生成のためのエンティティ状態更新と文実現を動的に行う。 離散空間における状態表現を学習し、これらの状態をよりうまく活用するためにデコーダに追加の注意層を挿入する、対照的なフレームワークを提案する。 2つの物語データセットの実験により、我々のモデルは有意義な実体状態のガイダンスによって強いベースラインよりも一貫性と多様な物語を生成できることが示されている。

関連論文リスト

• Model Criticism for Long-Form Text Generation [113.13900836015122]
  我々は,テキストの高レベル構造を評価するために,潜在空間におけるモデル批判という統計ツールを適用した。 我々は,コヒーレンス,コア,トピックスという,ハイレベルな談話の3つの代表的な側面について実験を行った。 トランスフォーマーベースの言語モデルでは、トピック構造をキャプチャできるが、構造コヒーレンスやモデリングコアスを維持するのが難しくなる。
  論文  参考訳（メタデータ） (2022-10-16T04:35:58Z)
• The Whole Truth and Nothing But the Truth: Faithful and Controllable Dialogue Response Generation with Dataflow Transduction and Constrained Decoding [65.34601470417967]
  本稿では,ニューラルネットワークモデリングとルールベース生成の強みを組み合わせた対話応答生成のためのハイブリッドアーキテクチャについて述べる。 本実験により, 本システムは, 流布性, 妥当性, 真理性の評価において, ルールベースおよび学習的アプローチの両方に優れることがわかった。
  論文  参考訳（メタデータ） (2022-09-16T09:00:49Z)
• Improve Discourse Dependency Parsing with Contextualized Representations [28.916249926065273]
  本稿では,異なるレベルの単位の文脈化表現を符号化するトランスフォーマーの活用を提案する。 記事間で共通に共有される記述パターンの観察に動機付けられ,談話関係の識別をシーケンスラベリングタスクとして扱う新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-05-04T14:35:38Z)
• DiscoDVT: Generating Long Text with Discourse-Aware Discrete Variational Transformer [40.10695204278747]
  本稿では,不整合問題に対処する談話対応離散変分変換器DiscoDVTを提案する。 本研究では、2つのオープンなストーリー生成データセットについて広範な実験を行い、より長い範囲のコヒーレンスを持つ長文を生成するためにモデルを導く談話構造に対して有意義な対応を学習していることを示す。
  論文  参考訳（メタデータ） (2021-10-12T13:41:06Z)
• Long Text Generation by Modeling Sentence-Level and Discourse-Level Coherence [59.51720326054546]
  本稿では,デコード処理における文レベルと談話レベルにおけるプレフィックス文を表現可能な長文生成モデルを提案する。 我々のモデルは最先端のベースラインよりも一貫性のあるテキストを生成することができる。
  論文  参考訳（メタデータ） (2021-05-19T07:29:08Z)
• PlotMachines: Outline-Conditioned Generation with Dynamic Plot State Tracking [128.76063992147016]
  PlotMachinesは、動的プロット状態を追跡することによってアウトラインをコヒーレントなストーリーに変換することを学習する、ニューラルな物語モデルである。 さらに,PlotMachinesを高レベルな談話構造で強化し,モデルが物語の異なる部分に対応する筆記スタイルを学習できるようにした。
  論文  参考訳（メタデータ） (2020-04-30T17:16:31Z)
• Generating Narrative Text in a Switching Dynamical System [20.583487756067022]
  スイッチング線形力学系(SLDS)としての物語モデリングの形式化 SLDSは、システムの潜在力学がトップレベルの離散スイッチング変数によって制御される力学系である。 切り替え変数によって導かれる、物語の任意の部分を埋めることのできるモデル用のギブスサンプルを導出する。
  論文  参考訳（メタデータ） (2020-04-08T01:05:19Z)
• Temporal Embeddings and Transformer Models for Narrative Text Understanding [72.88083067388155]
  キャラクタ関係モデリングのための物語テキスト理解のための2つのアプローチを提案する。 これらの関係の時間的進化は動的単語埋め込みによって説明され、時間とともに意味的変化を学ぶように設計されている。 最新の変換器モデルBERTに基づく教師付き学習手法を用いて文字間の静的な関係を検出する。
  論文  参考訳（メタデータ） (2020-03-19T14:23:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。