論文の概要: Goal-Directed Story Generation: Augmenting Generative Language Models
with Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2112.08593v1
- Date: Thu, 16 Dec 2021 03:34:14 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-17 13:42:11.249591
- Title: Goal-Directed Story Generation: Augmenting Generative Language Models
with Reinforcement Learning
- Title（参考訳）: ゴール指向ストーリー生成:強化学習による生成言語モデルの拡張
- Authors: Amal Alabdulkarim, Winston Li, Lara J. Martin, Mark O. Riedl
- Abstract要約: 本稿では,コンピュータ生成ストーリーのプロットを制御するために,深層強化学習と報酬形成を基礎とした2つの自動手法を提案する。
1つ目は、近似ポリシー最適化を利用して、既存のトランスフォーマーベースの言語モデルを微調整してテキスト継続を生成するが、目標探索も行う。
第2は、グラフを考慮したポリシーネットワークが使用する展開ストーリーから知識グラフを抽出し、言語モデルによって生成された候補継続を選択する。
- 参考スコア（独自算出の注目度）: 7.514717103747824
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The advent of large pre-trained generative language models has provided a
common framework for AI story generation via sampling the model to create
sequences that continue the story. However, sampling alone is insufficient for
story generation. In particular, it is hard to direct a language model to
create stories to reach a specific goal event. We present two automated
techniques grounded in deep reinforcement learning and reward shaping to
control the plot of computer-generated stories. The first utilizes proximal
policy optimization to fine-tune an existing transformer-based language model
to generate text continuations but also be goal-seeking. The second extracts a
knowledge graph from the unfolding story, which is used by a policy network
with graph attention to select a candidate continuation generated by a language
model. We report on automated metrics pertaining to how often stories achieve a
given goal event as well as human participant rankings of coherence and overall
story quality compared to baselines and ablations.
- Abstract（参考訳）: 大規模な事前学習された生成言語モデルの出現により、aiストーリー生成のための共通のフレームワークが提供され、モデルをサンプリングしてストーリーを継続するシーケンスを作成する。
しかし、サンプリングだけではストーリー生成には不十分です。
特に、特定のゴールイベントに到達するためにストーリーを作成するために言語モデルを指示することは困難です。
本稿では,コンピュータ生成ストーリーのプロットを制御するために,深層強化学習と報酬形成を基礎とした2つの自動手法を提案する。
1つ目は、近似ポリシー最適化を利用して、既存のトランスフォーマーベースの言語モデルを微調整してテキスト継続を生成するが、目標探索も行う。
第2は、グラフを考慮したポリシーネットワークが使用する展開ストーリーから知識グラフを抽出し、言語モデルによって生成された候補継続を選択する。
我々は,与えられた目標イベントの達成頻度や,ベースラインやアブレーションと比較して,コヒーレンスや全体のストーリー品質の人間的ランキングに関する自動メトリクスについて報告する。
関連論文リスト
- TARN-VIST: Topic Aware Reinforcement Network for Visual Storytelling [14.15543866199545]
クロスモーダルなタスクとして、視覚的なストーリーテリングは、順序付けられた画像シーケンスのためのストーリーを自動的に生成することを目的としている。
視覚的ストーリーテリングのための新しい手法,Topic Aware Reinforcement Network(TARN-VIST)を提案する。
特に,視覚的,言語的両面から,物語の話題情報を事前に抽出した。
論文 参考訳（メタデータ） (2024-03-18T08:01:23Z) - Visual Storytelling with Question-Answer Plans [70.89011289754863]
本稿では、事前訓練された言語モデルと計画に視覚表現を統合する新しいフレームワークを提案する。
我々のモデルは、画像列を視覚的な接頭辞、つまり言語モデルで解釈できる連続的な埋め込みの列に変換する。
また、一連の質問と回答のペアを青写真プランとして利用して、健全な視覚概念を選択し、物語にどのように組み立てるべきかを決定する。
論文 参考訳（メタデータ） (2023-10-08T21:45:34Z) - Robust Preference Learning for Storytelling via Contrastive
Reinforcement Learning [53.92465205531759]
制御された自動ストーリ生成は、自然言語批判や嗜好から制約を満たす自然言語ストーリを生成することを目指している。
対照的なバイエンコーダモデルをトレーニングし、ストーリーを人間の批評と整合させ、汎用的な嗜好モデルを構築する。
我々はさらに、ストーリー生成の堅牢性を高めるために、プロンプトラーニング技術を用いて、対照的な報酬モデルを微調整する。
論文 参考訳（メタデータ） (2022-10-14T13:21:33Z) - On Advances in Text Generation from Images Beyond Captioning: A Case
Study in Self-Rationalization [89.94078728495423]
近年のモダリティ,CLIP画像表現,言語モデルの拡張は,マルチモーダル入力によるタスクのマルチモーダル自己調整を一貫して改善していないことを示す。
画像キャプションを超えて画像やテキストからテキストを生成するために構築可能なバックボーンモデリング手法が提案されている。
論文 参考訳（メタデータ） (2022-05-24T00:52:40Z) - Summarize and Generate to Back-translate: Unsupervised Translation of
Programming Languages [86.08359401867577]
バックトランスレーションは、並列データがほとんど、あるいは全く利用できない場合のニューラルマシン翻訳の有効性で広く知られている。
コード要約と生成による逆翻訳を提案する。
提案手法は最先端の手法と競合することを示す。
論文 参考訳（メタデータ） (2022-05-23T08:20:41Z) - Inferring the Reader: Guiding Automated Story Generation with
Commonsense Reasoning [12.264880519328353]
生成プロセスにコモンセンス推論を導入するフレームワークであるCommonsense-inference Augmented Neural StoryTelling (CAST)を紹介する。
我々のCAST手法は,既存のモデルよりも,一文字と二文字の両方で,一貫性があり,オントピー的,楽しむことができる。
論文 参考訳（メタデータ） (2021-05-04T06:40:33Z) - Outline to Story: Fine-grained Controllable Story Generation from
Cascaded Events [39.577220559911055]
長文のきめ細かい制御が可能な生成のためのテストベッドとして,"Outline to Story" (O2S) という新しいタスクを提案する。
次に、最新のキーワード抽出技術で構築された将来のベンチマーク用のデータセットを作成します。
論文 参考訳（メタデータ） (2021-01-04T08:16:21Z) - Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。
提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。
提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
論文 参考訳（メタデータ） (2020-10-24T11:55:28Z) - Cue Me In: Content-Inducing Approaches to Interactive Story Generation [74.09575609958743]
本研究では,対話型物語生成の課題に焦点をあてる。
本稿では、この追加情報を効果的に活用するための2つのコンテンツ誘導手法を提案する。
自動評価と人的評価の両方による実験結果から,これらの手法がよりトポロジ的な一貫性とパーソナライズされたストーリーを生み出すことが示された。
論文 参考訳（メタデータ） (2020-10-20T00:36:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。