論文の概要: A Knowledge-Enhanced Pretraining Model for Commonsense Story Generation

• arxiv url: http://arxiv.org/abs/2001.05139v1
• Date: Wed, 15 Jan 2020 05:42:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-11 06:22:41.019365
• Title: A Knowledge-Enhanced Pretraining Model for Commonsense Story Generation
• Title（参考訳）: 常識物語生成のための知識強化事前学習モデル
• Authors: Jian Guan, Fei Huang, Zhihao Zhao, Xiaoyan Zhu, Minlie Huang
• Abstract要約: 本稿では,外部知識ベースからのコモンセンス知識を利用して,合理的なストーリーを生成することを提案する。 我々は,真と偽のストーリーを識別するための差別的目的を組み合わせたマルチタスク学習を採用している。 我々のモデルは、特に論理学とグローバルコヒーレンスの観点から、最先端のベースラインよりも合理的なストーリーを生成することができる。
• 参考スコア（独自算出の注目度）: 98.25464306634758
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Story generation, namely generating a reasonable story from a leading context, is an important but challenging task. In spite of the success in modeling fluency and local coherence, existing neural language generation models (e.g., GPT-2) still suffer from repetition, logic conflicts, and lack of long-range coherence in generated stories. We conjecture that this is because of the difficulty of associating relevant commonsense knowledge, understanding the causal relationships, and planning entities and events with proper temporal order. In this paper, we devise a knowledge-enhanced pretraining model for commonsense story generation. We propose to utilize commonsense knowledge from external knowledge bases to generate reasonable stories. To further capture the causal and temporal dependencies between the sentences in a reasonable story, we employ multi-task learning which combines a discriminative objective to distinguish true and fake stories during fine-tuning. Automatic and manual evaluation shows that our model can generate more reasonable stories than state-of-the-art baselines, particularly in terms of logic and global coherence.
• Abstract（参考訳）: ストーリー生成、すなわち、リードコンテキストから合理的なストーリーを生成することは、重要だが挑戦的なタスクである。 フラエンシのモデリングと局所コヒーレンスの成功にもかかわらず、既存のニューラルネットワーク生成モデル(例えば、GPT-2)は繰り返し、論理的矛盾、生成したストーリーにおける長距離コヒーレンスの欠如に悩まされている。 これは、関連するコモンセンス知識の関連付け、因果関係の理解、適切な時間順によるエンティティやイベントの計画が困難であったためと推測する。 本稿では,コモンセンスストーリー生成のための知識エンハンスド事前学習モデルを考案する。 本稿では,外部知識ベースからの常識知識を活用し,合理的なストーリーを生み出すことを提案する。 合理的なストーリーにおける文間の因果関係と時間的依存性をさらに把握するために,実話と偽話とを微調整時に区別するための判別目的を組み合わせるマルチタスク学習を用いる。 自動的および手動的な評価は、我々のモデルが最先端のベースライン、特に論理とグローバルコヒーレンスの観点からより合理的なストーリーを生成できることを示している。

関連論文リスト

• Commonsense Knowledge Transfer for Pre-trained Language Models [83.01121484432801]
  ニューラルコモンセンス知識モデルに格納されたコモンセンス知識を汎用的な事前学習言語モデルに転送するフレームワークであるコモンセンス知識伝達を導入する。 まず、一般的なテキストを利用して、ニューラルコモンセンス知識モデルからコモンセンス知識を抽出するクエリを形成する。 次に、コモンセンスマスクの埋め込みとコモンセンスの関係予測という2つの自己教師対象で言語モデルを洗練する。
  論文  参考訳（メタデータ） (2023-06-04T15:44:51Z)
• Neural Story Planning [8.600049807193413]
  本稿では,ニューラル言語モデルと因果計画を統合したストーリープロット生成手法を提案する。 我々のシステムは、物語における出来事の前提条件を推測し、その条件が真実になるイベントを推定する。 その結果,提案手法は複数の強基線よりもコヒーレントなプロットラインを生成することがわかった。
  論文  参考訳（メタデータ） (2022-12-16T21:29:41Z)
• Robust Preference Learning for Storytelling via Contrastive Reinforcement Learning [53.92465205531759]
  制御された自動ストーリ生成は、自然言語批判や嗜好から制約を満たす自然言語ストーリを生成することを目指している。 対照的なバイエンコーダモデルをトレーニングし、ストーリーを人間の批評と整合させ、汎用的な嗜好モデルを構築する。 我々はさらに、ストーリー生成の堅牢性を高めるために、プロンプトラーニング技術を用いて、対照的な報酬モデルを微調整する。
  論文  参考訳（メタデータ） (2022-10-14T13:21:33Z)
• Incorporating Commonsense Knowledge into Story Ending Generation via Heterogeneous Graph Networks [16.360265861788253]
  本研究では,異なるレベルにおけるストーリーコンテキストの情報と,それら間の多義的な対話性の両方を明示的にモデル化するために,ストーリー異種グラフネットワーク(SHGN)を提案する。 より詳しくは、常識知識、単語、文を3種類のノードとみなす。 感情傾向を暗黙的に捉えるための2つの補助タスクを設計し、重要なイベントをコンテキストに配置する。
  論文  参考訳（メタデータ） (2022-01-29T09:33:11Z)
• Guiding Neural Story Generation with Reader Models [5.935317028008691]
  本稿では、読者モデルを用いてストーリーを推論するフレームワークであるReader Models(StoRM)によるストーリー生成について紹介する。 実験により、我々のモデルは、プロットの可視性やトピックの継続など、次元のベースラインをはるかに上回り、コヒーレントでオントピー的なストーリーを生み出すことが示された。
  論文  参考訳（メタデータ） (2021-12-16T03:44:01Z)
• iReason: Multimodal Commonsense Reasoning using Videos and Natural Language with Interpretability [0.0]
  因果的知識は、堅牢なAIシステムを構築する上で不可欠である。 iReasonは、ビデオと自然言語のキャプションの両方を用いて、視覚意味のコモンセンス知識を推論するフレームワークである。
  論文  参考訳（メタデータ） (2021-06-25T02:56:34Z)
• Fact-driven Logical Reasoning for Machine Reading Comprehension [82.58857437343974]
  私たちは、常識と一時的な知識のヒントの両方を階層的にカバーする動機があります。 具体的には,文の背骨成分を抽出し,知識単位の一般的な定式化を提案する。 次に、事実単位の上にスーパーグラフを構築し、文レベル(事実群間の関係)と実体レベルの相互作用の利点を享受する。
  論文  参考訳（メタデータ） (2021-05-21T13:11:13Z)
• Language Generation with Multi-Hop Reasoning on Commonsense Knowledge Graph [124.45799297285083]
  知識グラフの構造的情報と意味的情報の両方を活用することで、コモンセンスを意識したテキスト生成が促進されると主張している。 本稿では,外部コモンセンス知識グラフから抽出したマルチリレーショナルパスに基づいて,動的マルチホップ推論を用いた事前学習モデルを実現するマルチホップ推論フロー(GRF)の生成を提案する。
  論文  参考訳（メタデータ） (2020-09-24T13:55:32Z)
• Knowledge Injection into Dialogue Generation via Language Models [85.65843021510521]
  InjKは対話生成モデルに知識を注入するための2段階のアプローチである。 まず、大規模言語モデルをトレーニングし、テキスト知識としてクエリする。 次に、対話生成モデルを作成し、テキスト知識と対応する応答を逐次生成する。
  論文  参考訳（メタデータ） (2020-04-30T07:31:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。