論文の概要: Plot Writing From Pre-Trained Language Models
- arxiv url: http://arxiv.org/abs/2206.03021v1
- Date: Tue, 7 Jun 2022 05:30:46 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-08 14:21:12.666222
- Title: Plot Writing From Pre-Trained Language Models
- Title(参考訳): 事前学習言語モデルからのプロット記述
- Authors: Yiping Jin, Vishakha Kadam, Dittaya Wanvarie
- Abstract要約: 事前訓練された言語モデル(PLM)は、グローバルな構造を考慮していないため、長文の物語テキストを生成することができない。
ストーリー生成における最近の研究は、プロンプト、キーワード、セマンティックフレームの形式で明示的なコンテンツ計画を再導入した。
密集的でコンテントフルなストーリーを生成するためのコンテンツプランニングの利点を維持しつつ,既成のPLMを用いてストーリープロットを生成することを提案する。
- 参考スコア(独自算出の注目度): 3.592350589927261
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Pre-trained language models (PLMs) fail to generate long-form narrative text
because they do not consider global structure. As a result, the generated texts
are often incohesive, repetitive, or lack content. Recent work in story
generation reintroduced explicit content planning in the form of prompts,
keywords, or semantic frames. Trained on large parallel corpora, these models
can generate more logical event sequences and thus more contentful stories.
However, these intermediate representations are often not in natural language
and cannot be utilized by PLMs without fine-tuning. We propose generating story
plots using off-the-shelf PLMs while maintaining the benefit of content
planning to generate cohesive and contentful stories. Our proposed method,
ScratchPlot, first prompts a PLM to compose a content plan. Then, we generate
the story's body and ending conditioned on the content plan. Furthermore, we
take a generate-and-rank approach by using additional PLMs to rank the
generated (story, ending) pairs. We benchmark our method with various baselines
and achieved superior results in both human and automatic evaluation.
- Abstract(参考訳): 事前学習された言語モデル(plm)は、グローバルな構造を考慮しないため、長文のナラティブテキストを生成することができない。
その結果、生成されたテキストは、しばしば密着性、反復性、あるいは内容の欠如である。
ストーリー生成における最近の研究は、プロンプト、キーワード、セマンティックフレームの形式で明示的なコンテンツ計画を再導入した。
大規模な並列コーパスでトレーニングされたこれらのモデルは、より論理的なイベントシーケンスを生成し、より満足なストーリーを生成することができる。
しかし、これらの中間表現は自然言語では使われず、微調整なしではPLMでは利用できない。
密集的でコンテントフルなストーリーを生成するためのコンテンツプランニングの利点を維持しつつ,既成のPLMを用いてストーリープロットを生成することを提案する。
提案手法であるScratchPlotは,まずPLMにコンテントプラン作成を促す。
そして、ストーリーの本体を生成し、コンテンツ計画に基づいて終了します。
さらに,生成した(ストーリー,エンディング)ペアをランク付けするために追加のplmを使用することで,生成・ランクのアプローチを取る。
本手法を様々なベースラインでベンチマークし,人間および自動評価において優れた結果を得た。
関連論文リスト
- Visual Storytelling with Question-Answer Plans [70.89011289754863]
本稿では、事前訓練された言語モデルと計画に視覚表現を統合する新しいフレームワークを提案する。
我々のモデルは、画像列を視覚的な接頭辞、つまり言語モデルで解釈できる連続的な埋め込みの列に変換する。
また、一連の質問と回答のペアを青写真プランとして利用して、健全な視覚概念を選択し、物語にどのように組み立てるべきかを決定する。
論文 参考訳(メタデータ) (2023-10-08T21:45:34Z) - Text-Blueprint: An Interactive Platform for Plan-based Conditional
Generation [84.95981645040281]
プランニングは条件付き生成を不透明にし、基礎を固める上で有用な中間ステップである。
本稿では,問合せ-問合せ-問合せ-問合せペアを用いて,問合せに焦点を絞った要約のためのWebブラウザによる実演を紹介する。
論文 参考訳(メタデータ) (2023-04-28T18:14:48Z) - Robust Preference Learning for Storytelling via Contrastive
Reinforcement Learning [53.92465205531759]
制御された自動ストーリ生成は、自然言語批判や嗜好から制約を満たす自然言語ストーリを生成することを目指している。
対照的なバイエンコーダモデルをトレーニングし、ストーリーを人間の批評と整合させ、汎用的な嗜好モデルを構築する。
我々はさらに、ストーリー生成の堅牢性を高めるために、プロンプトラーニング技術を用いて、対照的な報酬モデルを微調整する。
論文 参考訳(メタデータ) (2022-10-14T13:21:33Z) - Few-Shot Table-to-Text Generation with Prefix-Controlled Generator [11.891732582638227]
本稿では,PCG(Prefix-Controlled Generator)というプロンプトベースの手法を提案する。
PLMのタスク固有のプレフィックスをプリペイドし、テーブル構造を事前訓練された入力に適合させる。
さらに、入力固有の接頭辞を生成し、生成したテキストの事実内容と語順を制御する。
論文 参考訳(メタデータ) (2022-08-23T03:23:26Z) - Context-Tuning: Learning Contextualized Prompts for Natural Language
Generation [52.835877179365525]
自然言語生成のための微調整PLMに対して,Context-Tuningと呼ばれる新しい連続的プロンプト手法を提案する。
まず、入力テキストに基づいてプロンプトを導出し、PLMから有用な知識を抽出して生成する。
第二に、生成したテキストの入力に対する関連性をさらに高めるために、連続的な逆プロンプトを用いて自然言語生成のプロセスを洗練する。
論文 参考訳(メタデータ) (2022-01-21T12:35:28Z) - A Survey of Pretrained Language Models Based Text Generation [97.64625999380425]
テキスト生成は、入力データから人間の言語で可読で読みやすいテキストを生成することを目的としている。
ディープラーニングは、ニューラルジェネレーションモデル、特に事前学習言語モデル(PLM)のパラダイムにより、この分野を大幅に進歩させた。
PLM上でのテキスト生成は、学術と産業の両方において有望な方向と見なされている。
論文 参考訳(メタデータ) (2022-01-14T01:44:58Z) - Goal-Directed Story Generation: Augmenting Generative Language Models
with Reinforcement Learning [7.514717103747824]
本稿では,コンピュータ生成ストーリーのプロットを制御するために,深層強化学習と報酬形成を基礎とした2つの自動手法を提案する。
1つ目は、近似ポリシー最適化を利用して、既存のトランスフォーマーベースの言語モデルを微調整してテキスト継続を生成するが、目標探索も行う。
第2は、グラフを考慮したポリシーネットワークが使用する展開ストーリーから知識グラフを抽出し、言語モデルによって生成された候補継続を選択する。
論文 参考訳(メタデータ) (2021-12-16T03:34:14Z) - Facts2Story: Controlling Text Generation by Key Facts [0.0]
自然言語で表現された一連の事実を、より長い物語に展開し、制御された生成タスクを提案する。
我々は、GPT2のような自動回帰型一方向言語モデルは、より良い流動性を生み出すが、彼らは要求された事実に従うのに苦労することを示した。
本稿では,要求されるコンテンツに固執しながら,競争的フラッテンシーを生み出すプラン・アンド・クローズモデル(微調整xlnet)を提案する。
論文 参考訳(メタデータ) (2020-12-08T10:14:29Z) - Plan ahead: Self-Supervised Text Planning for Paragraph Completion Task [14.483791451578007]
まず最初に何を言おうかを予測する自己教師型テキストプランナSSPlannerを提案する。
その後、予測された内容を用いて事前訓練された言語モデル(表面実現)を導出する。
また,名詞型と動詞型の組み合わせが,コンテンツ選択に最も有効であることも確認した。
論文 参考訳(メタデータ) (2020-10-11T02:38:21Z) - Content Planning for Neural Story Generation with Aristotelian Rescoring [39.07607377794395]
長文の物語テキストは、人間の文章の流動的な偽造を管理するが、局所的な文レベルでのみ行われ、構造や大域的な結束が欠如している。
本稿では,高品質なコンテンツプランニングによってストーリー生成の問題の多くに対処できると仮定し,ストーリー生成をガイドする優れたプロット構造を学習する方法に焦点を当てたシステムを提案する。
論文 参考訳(メタデータ) (2020-09-21T13:41:32Z) - PALM: Pre-training an Autoencoding&Autoregressive Language Model for
Context-conditioned Generation [92.7366819044397]
自己指導型事前学習は、自然言語の理解と生成のための強力な技術として登場した。
本研究は,大規模未ラベルコーパス上で自己エンコーディングと自己回帰言語モデルを共同で事前学習する新しいスキームをPALMに提示する。
広範な実験により、PALMは様々な言語生成ベンチマークにおいて、新しい最先端の結果を達成することが示されている。
論文 参考訳(メタデータ) (2020-04-14T06:25:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。