論文の概要: Can Very Large Pretrained Language Models Learn Storytelling With A Few Examples?

• arxiv url: http://arxiv.org/abs/2301.09790v1
• Date: Tue, 24 Jan 2023 02:44:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-25 14:40:27.593084
• Title: Can Very Large Pretrained Language Models Learn Storytelling With A Few Examples?
• Title（参考訳）: 大規模事前学習型言語モデルでストーリーテリングを学習できる例は少ないか?
• Authors: Zhuohan Xie, Trevor Cohn, Jey Han Lau
• Abstract要約: State-of-the-art(SOTA)ストーリー生成モデルは、プロットやコモンセンス知識のような高レベルな特徴を使って、生成されたストーリーの品質を改善する。 非常に大きな事前学習言語モデルを用いたプロンプトベースの学習は、様々なNLPタスクでさえ素晴らしい性能を示している。
• 参考スコア（独自算出の注目度）: 51.338324023617034
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While pre-trained language models can generate individually fluent sentences for automatic story generation, they struggle to generate stories that are coherent, sensible and interesting. Current state-of-the-art (SOTA) story generation models explore using higher-level features such as plots or commonsense knowledge to improve the quality of generated stories. Prompt-based learning using very large pre-trained language models (VLPLMs) such as GPT3 has demonstrated impressive performance even across various NLP tasks. In this paper, we present an extensive study using automatic and human evaluation to compare the story generation capability of VLPLMs to those SOTA models in three different datasets where stories differ in style, register and length. Our results show that VLPLMs generate much higher quality stories than other story generation models, and to a certain extent rival human authors, although preliminary investigation also reveals that they tend to ``plagiarise'' real stories in scenarios that involve world knowledge.
• Abstract（参考訳）: 事前学習された言語モデルは、ストーリーの自動生成のために個別に流れる文を生成することができるが、それらは一貫性があり、賢明で興味深いストーリーを生成するのに苦労している。 現在のSOTA(State-of-the-art)ストーリー生成モデルは、プロットやコモンセンス知識のような高レベルな特徴を使って、生成されたストーリーの品質を改善する。 GPT3のような非常に大きな事前学習言語モデル(VLPLM)を用いたプロンプトベースの学習は、様々なNLPタスクでさえ、印象的な性能を示した。 本稿では,vlplmのストーリー生成能力を,スタイル,レジスタ,長さの異なる3種類のデータセットにおけるsomaモデルと比較するために,vlplmの自動評価と人間評価を用いた広範囲な研究を行った。 その結果、vlplmは、他のストーリー生成モデルよりもずっと高品質なストーリーを創造し、ある程度のライバルの人間作家を輩出したが、予備的な調査により、世界の知識を伴うシナリオにおいて、実際のストーリーが'plagiarise''になる傾向があることが判明した。

関連論文リスト

• Learning a Grammar Inducer from Massive Uncurated Instructional Videos [118.7279072358029]
  映像支援文法帰納法は,映像情報を利用してより正確な構文文法を検索することを目的としている。 我々は手動で設計した機能なしでビデオスパン相関をよりよく学習できる新しいモデルを構築した。 我々のモデルは、ドメイン内のデータに基づいてトレーニングされた従来の最先端システムよりも高いF1スコアが得られる。
  論文  参考訳（メタデータ） (2022-10-22T00:22:55Z)
• Robust Preference Learning for Storytelling via Contrastive Reinforcement Learning [53.92465205531759]
  制御された自動ストーリ生成は、自然言語批判や嗜好から制約を満たす自然言語ストーリを生成することを目指している。 対照的なバイエンコーダモデルをトレーニングし、ストーリーを人間の批評と整合させ、汎用的な嗜好モデルを構築する。 我々はさらに、ストーリー生成の堅牢性を高めるために、プロンプトラーニング技術を用いて、対照的な報酬モデルを微調整する。
  論文  参考訳（メタデータ） (2022-10-14T13:21:33Z)
• Goal-Directed Story Generation: Augmenting Generative Language Models with Reinforcement Learning [7.514717103747824]
  本稿では,コンピュータ生成ストーリーのプロットを制御するために,深層強化学習と報酬形成を基礎とした2つの自動手法を提案する。 1つ目は、近似ポリシー最適化を利用して、既存のトランスフォーマーベースの言語モデルを微調整してテキスト継続を生成するが、目標探索も行う。 第2は、グラフを考慮したポリシーネットワークが使用する展開ストーリーから知識グラフを抽出し、言語モデルによって生成された候補継続を選択する。
  論文  参考訳（メタデータ） (2021-12-16T03:34:14Z)
• Inferring the Reader: Guiding Automated Story Generation with Commonsense Reasoning [8.407561989920548]
  生成プロセスに常識推論を導入するフレームワークであるCommonsense-inference Augmented neural StoryTelling(CAST)を紹介します。 提案手法は,プロットの妥当性やトピックの継続といった次元において,よりコヒーレントでオントピー的な2文字のストーリーを生成する。
  論文  参考訳（メタデータ） (2021-05-04T06:40:33Z)
• STORIUM: A Dataset and Evaluation Platform for Machine-in-the-Loop Story Generation [48.56586847883825]
  我々は、オンラインのコラボレーティブなストーリーテリングコミュニティであるSTORiumから構築されたデータセットと評価プラットフォームを紹介した。 データセットには6Kの長編記事と、各物語に散在する詳細な自然言語アノテーションが含まれています。 我々は、STORiumにそれらを統合することで、データセット上で微調整された言語モデルを評価し、実際の著者は提案されたストーリーの継続をモデルに問い合わせ、編集することができる。
  論文  参考訳（メタデータ） (2020-10-04T23:26:09Z)
• MEGATRON-CNTRL: Controllable Story Generation with External Knowledge Using Large-Scale Language Models [98.53511229517463]
  本稿では,大規模言語モデルを用いた新しいフレームワークを提案し,外部知識ベースを組み込んだテキスト生成制御を提案する。 本フレームワークは,キーワード予測器,知識検索器,文脈知識ランキング器,条件付きテキスト生成器から構成される。 実験の結果、我々のモデルは、ROCストーリーデータセットの以前の作業と比較して、反復性が低く、多様性が低い、より流動的で、一貫性があり、一貫性のあるストーリーを生成します。
  論文  参考訳（メタデータ） (2020-10-02T08:07:12Z)
• Topic Adaptation and Prototype Encoding for Few-Shot Visual Storytelling [81.33107307509718]
  トピック間一般化の能力をモデル化するためのトピック適応型ストーリーテラを提案する。 また,アトピー内導出能力のモデル化を目的とした符号化手法の試作も提案する。 実験結果から,トピック適応とプロトタイプ符号化構造が相互に利益をもたらすことが明らかとなった。
  論文  参考訳（メタデータ） (2020-08-11T03:55:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。