論文の概要: A Temporal Variational Model for Story Generation
- arxiv url: http://arxiv.org/abs/2109.06807v1
- Date: Tue, 14 Sep 2021 16:36:12 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-15 19:06:17.952564
- Title: A Temporal Variational Model for Story Generation
- Title（参考訳）: 物語生成のための時間変動モデル
- Authors: David Wilmot, Frank Keller
- Abstract要約: 最近の言語モデルは、物語生成において興味深く文法的に正しいテキストを生成することができるが、プロット開発や長期的一貫性を欠くことが多い。
本稿では,TD-VAE(Temporal Difference Variational Autoencoder)に基づく潜在ベクトル計画手法による実験を行う。
その結果,自動クローズおよびスワップ評価において高い性能を示した。
- 参考スコア（独自算出の注目度）: 21.99104738567138
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent language models can generate interesting and grammatically correct
text in story generation but often lack plot development and long-term
coherence. This paper experiments with a latent vector planning approach based
on a TD-VAE (Temporal Difference Variational Autoencoder), using the model for
conditioning and reranking for text generation. The results demonstrate strong
performance in automatic cloze and swapping evaluations. The human judgments
show stories generated with TD-VAE reranking improve on a GPT-2 medium baseline
and show comparable performance to a hierarchical LSTM reranking model.
Conditioning on the latent vectors proves disappointing and deteriorates
performance in human evaluation because it reduces the diversity of generation,
and the models don't learn to progress the narrative. This highlights an
important difference between technical task performance (e.g. cloze) and
generating interesting stories.
- Abstract（参考訳）: 最近の言語モデルは、ストーリー生成において興味深く、文法的に正しいテキストを生成するが、プロット開発や長期的な一貫性を欠くことが多い。
本稿では,TD-VAE(Temporal Difference Variational Autoencoder)に基づく潜在ベクトル計画手法を,テキスト生成のための条件付けと再ランク付けのためのモデルを用いて実験する。
その結果,自動クローズおよびスワップ評価において高い性能を示した。
人的判断は、GPT-2メディアベースラインにおけるTD-VAEの再ランク付けにより生成されたストーリーを示し、階層的LSTM再ランク付けモデルに匹敵する性能を示す。
潜在ベクトルの条件付けは、生成の多様性を減らし、モデルが物語を進めることを学ばないため、人間の評価に失望し、性能を低下させる。
これは、技術的タスクのパフォーマンス(例えば、クローゼ)と興味深いストーリーの生成の間に重要な違いを浮き彫りにする。
関連論文リスト
- Fluid: Scaling Autoregressive Text-to-image Generative Models with Continuous Tokens [53.99177152562075]
視覚における自己回帰モデルのスケールアップは、大きな言語モデルほど有益でないことが証明されている。
モデルが離散トークンを使用するか、連続トークンを使用するか、BERTやGPTのようなトランスフォーマーアーキテクチャを用いてランダムまたは固定順序でトークンを生成するか、という2つの重要な要素に焦点を当てる。
その結果,すべてのモデルが検証損失の点で効果的にスケールしているのに対して,評価性能はFID,GenEvalスコア,視覚的品質などによって異なる傾向を呈することがわかった。
論文 参考訳（メタデータ） (2024-10-17T17:59:59Z) - A Cross-Attention Augmented Model for Event-Triggered Context-Aware
Story Generation [28.046803293933213]
生成したストーリーの関連性とコヒーレンスを高める新しいニューラルジェネレーションモデルであるEtriCAを導入する。
我々は、大規模書籍コーパスに知識向上のためのポストトレーニングフレームワーク(KeEtriCA)を採用。
その結果、自動測定では約5%が改善され、人間の評価では10%以上が改善された。
論文 参考訳（メタデータ） (2023-11-19T08:54:47Z) - Extensive Evaluation of Transformer-based Architectures for Adverse Drug
Events Extraction [6.78974856327994]
逆イベント(ADE)抽出は、デジタル製薬における中核的なタスクの1つである。
我々は、非公式テキストを用いたADE抽出のための19のトランスフォーマーモデルを評価する。
分析の最後には、実験データから導出可能なテイクホームメッセージのリストを同定する。
論文 参考訳（メタデータ） (2023-06-08T15:25:24Z) - DeltaScore: Fine-Grained Story Evaluation with Perturbations [69.33536214124878]
DELTASCOREは,ニュアンスストーリーの側面の評価に摂動技術を用いた新しい手法である。
私たちの中心的な命題は、物語が特定の側面(例えば、流感)で興奮する程度は、特定の摂動に対するその感受性の大きさと相関している、と仮定している。
事前学習言語モデルを用いて,前摂動状態と後摂動状態の確率差を計算することにより,アスペクトの品質を測定する。
論文 参考訳（メタデータ） (2023-03-15T23:45:54Z) - The Next Chapter: A Study of Large Language Models in Storytelling [51.338324023617034]
大規模言語モデル(LLM)を用いたプロンプトベース学習の適用は,自然言語処理(NLP)タスクにおいて顕著な性能を示した。
本稿では,LLMのストーリー生成能力と最近のモデルを比較するために,自動評価と人的評価の両方を利用した総合的な調査を行う。
その結果、LLMは他のストーリー生成モデルと比較して、非常に高い品質のストーリーを生成することがわかった。
論文 参考訳（メタデータ） (2023-01-24T02:44:02Z) - Few-shot Text Classification with Dual Contrastive Consistency [31.141350717029358]
本稿では,事前学習した言語モデルを用いて,数ショットのテキスト分類を行う方法について検討する。
ラベル付きデータが少ない場合の教師付きコントラスト学習と、ラベルなしデータの一貫性と規則化を採用する。
論文 参考訳（メタデータ） (2022-09-29T19:26:23Z) - A Generative Language Model for Few-shot Aspect-Based Sentiment Analysis [90.24921443175514]
我々は、アスペクト項、カテゴリを抽出し、対応する極性を予測するアスペクトベースの感情分析に焦点を当てる。
本稿では,一方向の注意を伴う生成言語モデルを用いて,抽出タスクと予測タスクをシーケンス生成タスクに再構成することを提案する。
提案手法は,従来の最先端(BERTをベースとした)の性能を,数ショットとフルショットの設定において,大きなマージンで上回ります。
論文 参考訳（メタデータ） (2022-04-11T18:31:53Z) - Discrete Auto-regressive Variational Attention Models for Text Modeling [53.38382932162732]
変分オートエンコーダ(VAE)はテキストモデリングに広く応用されている。
情報不足と後部崩壊という2つの課題に悩まされている。
本稿では,自己回帰変動注意モデル(DAVAM)を提案する。
論文 参考訳（メタデータ） (2021-06-16T06:36:26Z) - Narrative Text Generation with a Latent Discrete Plan [39.71663365273463]
本稿では,その生成過程の一環として,物語中の文ごとに1つのアンカー語列を最初にサンプリングする潜時変数モデルを提案する。
トレーニング中は、アンカー語の列を潜在変数として扱い、アンカーの列を誘導し、教師なしの方法で生成を誘導する。
我々は,本モデルで作成したストーリーが,ストーリープランを考慮しないベースラインと比較して評価が優れていることを示す,人間による評価を行う。
論文 参考訳（メタデータ） (2020-10-07T08:45:37Z) - Topic Adaptation and Prototype Encoding for Few-Shot Visual Storytelling [81.33107307509718]
トピック間一般化の能力をモデル化するためのトピック適応型ストーリーテラを提案する。
また,アトピー内導出能力のモデル化を目的とした符号化手法の試作も提案する。
実験結果から,トピック適応とプロトタイプ符号化構造が相互に利益をもたらすことが明らかとなった。
論文 参考訳（メタデータ） (2020-08-11T03:55:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。