論文の概要: Exploring Story Generation with Multi-task Objectives in Variational Autoencoders

• arxiv url: http://arxiv.org/abs/2111.08133v1
• Date: Mon, 15 Nov 2021 23:07:19 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-18 05:54:03.101369
• Title: Exploring Story Generation with Multi-task Objectives in Variational Autoencoders
• Title（参考訳）: 変分オートエンコーダにおけるマルチタスク目標によるストーリー生成の検討
• Authors: Zhuohan Xie, Trevor Cohn, Jey Han Lau
• Abstract要約: GPT-2は一貫性のあるストーリーを生成できず、多様性に欠ける。 現在のストーリー生成モデルは、プロットやコモンセンスなどの追加情報をGPT-2に利用して生成プロセスを導く。 可変オートエンコーダ(VAE)構築のためのBERTとGPT-2の組み合わせについて検討する。 我々の評価は、改良されたVAEにより、より良い品質と多様性のトレードオフが得られ、反復的なストーリーコンテンツが生成されにくくなり、より情報に富んだ潜伏変数が学習できることを示している。
• 参考スコア（独自算出の注目度）: 41.89428478049741
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: GPT-2 has been frequently adapted in story generation models as it provides powerful generative capability. However, it still fails to generate consistent stories and lacks diversity. Current story generation models leverage additional information such as plots or commonsense into GPT-2 to guide the generation process. These approaches focus on improving generation quality of stories while our work look at both quality and diversity. We explore combining BERT and GPT-2 to build a variational autoencoder (VAE), and extend it by adding additional objectives to learn global features such as story topic and discourse relations. Our evaluations show our enhanced VAE can provide better quality and diversity trade off, generate less repetitive story content and learn a more informative latent variable.
• Abstract（参考訳）: GPT-2は、強力な生成能力を提供するため、ストーリー生成モデルに頻繁に採用されている。 しかし、一貫性のあるストーリーの生成に失敗し、多様性を欠いている。 現在のストーリー生成モデルは、プロットやコモンセンスなどの追加情報をGPT-2に利用して生成プロセスを導く。 これらのアプローチはストーリーの生成品質の改善に重点を置いていますが、作業は品質と多様性の両方に注目しています。 本稿では,BERT と GPT-2 を組み合わせて変分オートエンコーダ (VAE) を構築し,ストーリートピックや談話関係などのグローバルな特徴を学習するための追加目的を追加することで拡張する。 私たちの評価では、強化されたvaeはより良い品質と多様性のトレードオフを提供し、より反復的なストーリーコンテンツを生成し、より有益な潜在変数を学ぶことができます。

関連論文リスト

• Instruction Tuning for Story Understanding and Generation with Weak Supervision [0.5530212768657544]
  本稿では,ストーリー生成を改善するために,"Weak to Strong Instruction Tuning"という新しいアプローチを提案する。 本手法は物語の理解と生成における性能を著しく向上させることを示す。 本研究は, 複雑な物語タスクのための生成モデルを改良する上で, 適応的指導チューニングが強力なツールであることを示す。
  論文  参考訳（メタデータ） (2025-01-26T15:59:31Z)
• VOLTA: Improving Generative Diversity by Variational Mutual Information Maximizing Autoencoder [38.35049378875308]
  VOLTAは,VAEでトランスフォーマーをブリッジすることで,遺伝子多様性を高めるフレームワークである。 6つのデータセット上で2種類のトランスフォーマーを用いた総合的な実験を行い、生成品質を維持しながら生成の多様性を著しく向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-07-03T08:45:42Z)
• A Comprehensive Survey of AI-Generated Content (AIGC): A History of Generative AI from GAN to ChatGPT [63.58711128819828]
  ChatGPTおよびその他の生成AI(GAI)技術は、人工知能生成コンテンツ(AIGC)のカテゴリに属している。 AIGCの目標は、コンテンツ作成プロセスをより効率的かつアクセスしやすくし、高品質なコンテンツをより高速に生産できるようにすることである。
  論文  参考訳（メタデータ） (2023-03-07T20:36:13Z)
• The Next Chapter: A Study of Large Language Models in Storytelling [51.338324023617034]
  大規模言語モデル(LLM)を用いたプロンプトベース学習の適用は,自然言語処理(NLP)タスクにおいて顕著な性能を示した。 本稿では,LLMのストーリー生成能力と最近のモデルを比較するために,自動評価と人的評価の両方を利用した総合的な調査を行う。 その結果、LLMは他のストーリー生成モデルと比較して、非常に高い品質のストーリーを生成することがわかった。
  論文  参考訳（メタデータ） (2023-01-24T02:44:02Z)
• Learning to Diversify for Product Question Generation [68.69526529887607]
  本稿では,T5の事前学習型トランスフォーマー・デコーダモデルについて述べる。 本稿では,トランスフォーマーモデルによって学習された言語を豊かにするための,新たな学習・多様化(LTD)手法を提案する。
  論文  参考訳（メタデータ） (2022-07-06T09:26:41Z)
• TegTok: Augmenting Text Generation via Task-specific and Open-world Knowledge [83.55215993730326]
  本稿では,タスク固有およびオープンワールド知識(TegTok)によるTExt生成の統一化を提案する。 本モデルでは,2種類の知識ソースからの知識エントリを高密度検索により選択し,それぞれ入力エンコーディングと出力デコーディングの段階に注入する。
  論文  参考訳（メタデータ） (2022-03-16T10:37:59Z)
• Guiding Generative Language Models for Data Augmentation in Few-Shot Text Classification [59.698811329287174]
  我々は、GPT-2を用いて、分類性能を向上させるために、人工訓練インスタンスを生成する。 実験の結果,少数のラベルインスタンスでGPT-2を微調整すると,一貫した分類精度が向上することがわかった。
  論文  参考訳（メタデータ） (2021-11-17T12:10:03Z)
• A Temporal Variational Model for Story Generation [21.99104738567138]
  最近の言語モデルは、物語生成において興味深く文法的に正しいテキストを生成することができるが、プロット開発や長期的一貫性を欠くことが多い。 本稿では,TD-VAE(Temporal Difference Variational Autoencoder)に基づく潜在ベクトル計画手法による実験を行う。 その結果,自動クローズおよびスワップ評価において高い性能を示した。
  論文  参考訳（メタデータ） (2021-09-14T16:36:12Z)
• Consistency and Coherency Enhanced Story Generation [35.08911595854691]
  生成したストーリーの一貫性と一貫性を高めるための2段階生成フレームワークを提案する。 第1段は物語の筋書きや出来事を描いた物語の輪郭を整理し、第2段は完全な物語へと輪郭を広げることである。 さらに、コア参照監視信号は、コア参照エラーを低減し、コア参照一貫性を向上させるために組み込まれている。
  論文  参考訳（メタデータ） (2020-10-17T16:40:37Z)
• GenAug: Data Augmentation for Finetuning Text Generators [21.96895115572357]
  本稿では,Yelp Reviews のサブセット上で GPT-2 を微調整するための外部知識を含む様々な拡張手法を提案し,評価する。 実験により,文字レベルの合成ノイズの挿入とハイパーネムのキーワード置換が効果的な拡張法であることを実証した。
  論文  参考訳（メタデータ） (2020-10-05T05:46:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。