論文の概要: Future Sight: Dynamic Story Generation with Large Pretrained Language Models

• arxiv url: http://arxiv.org/abs/2212.09947v1
• Date: Tue, 20 Dec 2022 01:53:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-21 13:36:05.135984
• Title: Future Sight: Dynamic Story Generation with Large Pretrained Language Models
• Title（参考訳）: Future Sight: 大きな事前学習言語モデルによる動的ストーリー生成
• Authors: Brian D. Zimmerman, Gaurav Sahu, Olga Vechtomova
• Abstract要約: トランスフォーマーデコーダは、以前に生成されたテキストに対してのみ新しいテキストを生成することができる。 Future Sightはデコーダが符号化された将来のプロットイベントに参加することを可能にする。 推論中、将来のプロットイベントは人間の著者によって書かれ、ある方向に生成された物語を操縦することができる。
• 参考スコア（独自算出の注目度）: 11.23192733149335
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in deep learning research, such as transformers, have bolstered the ability for automated agents to generate creative texts similar to those that a human would write. By default, transformer decoders can only generate new text with respect to previously generated text. The output distribution of candidate tokens at any position is conditioned on previously selected tokens using a self-attention mechanism to emulate the property of autoregression. This is inherently limiting for tasks such as controllable story generation where it may be necessary to condition on future plot events when writing a story. In this work, we propose Future Sight, a method for finetuning a pretrained generative transformer on the task of future conditioning. Transformer decoders are typically pretrained on the task of completing a context, one token at a time, by means of self-attention. Future Sight additionally enables a decoder to attend to an encoded future plot event. This motivates the decoder to expand on the context in a way that logically concludes with the provided future. During inference, the future plot event can be written by a human author to steer the narrative being generated in a certain direction. We evaluate the efficacy of our approach on a story generation task with human evaluators.
• Abstract（参考訳）: トランスフォーマーなどのディープラーニング研究の最近の進歩は、自動エージェントが人間が書くものに似た創造的なテキストを生成する能力を強化している。 デフォルトでは、トランスフォーマーデコーダは以前に生成されたテキストに対してのみ新しいテキストを生成することができる。 任意の位置における候補トークンの出力分布は、自己回帰特性をエミュレートするセルフアテンション機構を用いて、予め選択されたトークンに条件付けされる。 これは本質的に、ストーリーを書く際に将来のプロットイベントを条件付ける必要のある制御可能なストーリー生成のようなタスクに制限される。 本研究では,前訓練された生成変圧器を将来のコンディショニングタスクで微調整する手法であるfuture sightを提案する。 トランスフォーマーデコーダは通常、自己注意によって、1回に1つのトークンであるコンテキストを完了させるタスクで事前訓練される。 Future Sightはまた、デコーダが符号化された将来のプロットイベントに参加することを可能にする。 これはデコーダが与えられた未来を論理的に結論づける方法でコンテキストを拡大する動機付けとなる。 推論中、将来のプロットイベントは人間の著者によって書かれ、ある方向に生成された物語を操縦することができる。 人的評価器を用いたストーリー生成作業におけるアプローチの有効性を評価する。

関連論文リスト

• Humanoid Locomotion as Next Token Prediction [84.21335675130021]
  我々のモデルは感覚運動軌道の自己回帰予測によって訓練された因果変換器である。 われわれのモデルでは、フルサイズのヒューマノイドがサンフランシスコでゼロショットで歩けることが示されている。 われわれのモデルは、わずか27時間の歩行データで訓練された場合でも現実世界に移行でき、後方歩行のような訓練中に見えないコマンドを一般化することができる。
  論文  参考訳（メタデータ） (2024-02-29T18:57:37Z)
• Can you text what is happening? Integrating pre-trained language encoders into trajectory prediction models for autonomous driving [14.45922081268057]
  自動運転タスクでは、周囲の交通参加者の将来の行動を予測するための最初のステップがシーン理解である。 トラフィックシーンをテキストベースで表現し,言語エンコーダで処理する。
  論文  参考訳（メタデータ） (2023-09-11T07:37:10Z)
• Look-back Decoding for Open-Ended Text Generation [62.53302138266465]
  本研究では,現在の復号化過程と過去の復号化過程の分布距離を追跡する改良された復号化アルゴリズムであるLook-backを提案する。 ルックバックは、潜在的反復句とトピックドリフトを自動的に予測し、障害モードを引き起こす可能性のあるトークンを削除することができる。 文書の継続とストーリー生成に関する復号実験を行い、Look-backがより流動的で一貫性のあるテキストを生成することを実証する。
  論文  参考訳（メタデータ） (2023-05-22T20:42:37Z)
• Real or Fake Text?: Investigating Human Ability to Detect Boundaries Between Human-Written and Machine-Generated Text [23.622347443796183]
  我々は、テキストが人間の書き起こしから始まり、最先端のニューラルネットワークモデルによって生成されるようになる、より現実的な状況について研究する。 この課題でアノテータはしばしば苦労するが、アノテータのスキルにはかなりのばらつきがあり、適切なインセンティブが与えられると、アノテータは時間とともに改善できることを示す。
  論文  参考訳（メタデータ） (2022-12-24T06:40:25Z)
• Event Transition Planning for Open-ended Text Generation [55.729259805477376]
  オープンエンドテキスト生成タスクは、事前コンテキストに制限されたコヒーレントな継続を生成するためにモデルを必要とする。 オープンエンドテキスト生成におけるイベントを明示的にアレンジする新しい2段階手法を提案する。 我々のアプローチは、特別に訓練された粗大なアルゴリズムとして理解することができる。
  論文  参考訳（メタデータ） (2022-04-20T13:37:51Z)
• Back to the Future: Unsupervised Backprop-based Decoding for Counterfactual and Abductive Commonsense Reasoning [79.48769764508006]
  ジェネレーティブ言語モデル(LM)は、過去の文脈のみを条件にするか、狭い範囲のテキスト入力を実行するよう訓練することができる。 我々は過去と将来の両方の文脈を柔軟に組み込むことができる新しい教師なし復号アルゴリズムであるDeLoreanを提案する。 提案手法は, 帰納的テキスト生成と反事実的ストーリーリビジョンの2つの非単調推論タスクに適用可能であることを示す。
  論文  参考訳（メタデータ） (2020-10-12T17:58:43Z)
• Cross-Thought for Sentence Encoder Pre-training [89.32270059777025]
  Cross-Thoughtは、事前トレーニングシーケンスエンコーダに対する新しいアプローチである。 我々は、Transformerベースのシーケンスエンコーダを、多数の短いシーケンスに対してトレーニングする。 質問応答とテキストのエンコーダタスクの実験は、事前学習したエンコーダが最先端のエンコーダより優れていることを示す。
  論文  参考訳（メタデータ） (2020-10-07T21:02:41Z)
• PALM: Pre-training an Autoencoding&Autoregressive Language Model for Context-conditioned Generation [92.7366819044397]
  自己指導型事前学習は、自然言語の理解と生成のための強力な技術として登場した。 本研究は,大規模未ラベルコーパス上で自己エンコーディングと自己回帰言語モデルを共同で事前学習する新しいスキームをPALMに提示する。 広範な実験により、PALMは様々な言語生成ベンチマークにおいて、新しい最先端の結果を達成することが示されている。
  論文  参考訳（メタデータ） (2020-04-14T06:25:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。