論文の概要: CLSEG: Contrastive Learning of Story Ending Generation

• arxiv url: http://arxiv.org/abs/2202.09049v1
• Date: Fri, 18 Feb 2022 07:11:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-21 14:31:56.413699
• Title: CLSEG: Contrastive Learning of Story Ending Generation
• Title（参考訳）: CLSEG:ストーリーエンドジェネレーションの対照的な学習
• Authors: Yuqiang Xie, Yue Hu, Luxi Xing, Yunpeng Li, Wei Peng, Ping Guo
• Abstract要約: 終末生成(SEG)は自然言語生成において難しい課題である。 事前学習型言語モデル(PLM)は非常に繁栄しており、流動的で一貫性のある物語の結末を生み出すことができる。 本稿では,物語の文脈とより整合した結末を生成するために,コントラスト学習を採用することを目的とする。
• 参考スコア（独自算出の注目度）: 21.235334611386598
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Story Ending Generation (SEG) is a challenging task in natural language generation. Recently, methods based on Pre-trained Language Models (PLM) have achieved great prosperity, which can produce fluent and coherent story endings. However, the pre-training objective of PLM-based methods is unable to model the consistency between story context and ending. The goal of this paper is to adopt contrastive learning to generate endings more consistent with story context, while there are two main challenges in contrastive learning of SEG. First is the negative sampling of wrong endings inconsistent with story contexts. The second challenge is the adaptation of contrastive learning for SEG. To address these two issues, we propose a novel Contrastive Learning framework for Story Ending Generation (CLSEG), which has two steps: multi-aspect sampling and story-specific contrastive learning. Particularly, for the first issue, we utilize novel multi-aspect sampling mechanisms to obtain wrong endings considering the consistency of order, causality, and sentiment. To solve the second issue, we well-design a story-specific contrastive training strategy that is adapted for SEG. Experiments show that CLSEG outperforms baselines and can produce story endings with stronger consistency and rationality.
• Abstract（参考訳）: ストーリー終末生成(SEG)は自然言語生成における課題である。 近年,事前学習型言語モデル(plm)に基づく手法が盛んに発展し,流動的でコヒーレントな物語の結末が生み出されている。 しかし, PLM手法の事前学習目的は, ストーリーコンテキストとエンディングの一貫性をモデル化できない。 本研究の目的は,SEGのコントラッシブラーニングにおいて2つの大きな課題がある一方で,ストーリーコンテキストとの整合性を高めるためにコントラッシブラーニングを採用することである。 まず、間違った結末の否定的なサンプリングはストーリーコンテキストと矛盾します。 第2の課題は、SEGに対するコントラスト学習の適応である。 これら2つの課題に対処するために,多視点サンプリングとストーリー固有のコントラスト学習という2つのステップを持つ,新しいCLSEG(Contrastive Learning framework for Story Ending Generation)を提案する。 特に,第1号では,順序の整合性,因果性,感情の整合性を考慮して,新しいマルチアスペクトサンプリング機構を用いて間違った結末を得る。 第2の問題を解決するために,SEGに適合するストーリー特化コントラストトレーニング戦略を適切に設計する。 実験の結果、CLSEGはベースラインを上回り、より一貫性と合理性を持った物語の結末を生み出すことができた。

関連論文リスト

• DeltaScore: Fine-Grained Story Evaluation with Perturbations [69.33536214124878]
  DELTASCOREは,ニュアンスストーリーの側面の評価に摂動技術を用いた新しい手法である。 私たちの中心的な命題は、物語が特定の側面(例えば、流感)で興奮する程度は、特定の摂動に対するその感受性の大きさと相関している、と仮定している。 事前学習言語モデルを用いて,前摂動状態と後摂動状態の確率差を計算することにより,アスペクトの品質を測定する。
  論文  参考訳（メタデータ） (2023-03-15T23:45:54Z)
• Robust Preference Learning for Storytelling via Contrastive Reinforcement Learning [53.92465205531759]
  制御された自動ストーリ生成は、自然言語批判や嗜好から制約を満たす自然言語ストーリを生成することを目指している。 対照的なバイエンコーダモデルをトレーニングし、ストーリーを人間の批評と整合させ、汎用的な嗜好モデルを構築する。 我々はさらに、ストーリー生成の堅牢性を高めるために、プロンプトラーニング技術を用いて、対照的な報酬モデルを微調整する。
  論文  参考訳（メタデータ） (2022-10-14T13:21:33Z)
• Event Transition Planning for Open-ended Text Generation [55.729259805477376]
  オープンエンドテキスト生成タスクは、事前コンテキストに制限されたコヒーレントな継続を生成するためにモデルを必要とする。 オープンエンドテキスト生成におけるイベントを明示的にアレンジする新しい2段階手法を提案する。 我々のアプローチは、特別に訓練された粗大なアルゴリズムとして理解することができる。
  論文  参考訳（メタデータ） (2022-04-20T13:37:51Z)
• Incorporating Commonsense Knowledge into Story Ending Generation via Heterogeneous Graph Networks [16.360265861788253]
  本研究では,異なるレベルにおけるストーリーコンテキストの情報と,それら間の多義的な対話性の両方を明示的にモデル化するために,ストーリー異種グラフネットワーク(SHGN)を提案する。 より詳しくは、常識知識、単語、文を3種類のノードとみなす。 感情傾向を暗黙的に捉えるための2つの補助タスクを設計し、重要なイベントをコンテキストに配置する。
  論文  参考訳（メタデータ） (2022-01-29T09:33:11Z)
• Goal-Directed Story Generation: Augmenting Generative Language Models with Reinforcement Learning [7.514717103747824]
  本稿では,コンピュータ生成ストーリーのプロットを制御するために,深層強化学習と報酬形成を基礎とした2つの自動手法を提案する。 1つ目は、近似ポリシー最適化を利用して、既存のトランスフォーマーベースの言語モデルを微調整してテキスト継続を生成するが、目標探索も行う。 第2は、グラフを考慮したポリシーネットワークが使用する展開ストーリーから知識グラフを抽出し、言語モデルによって生成された候補継続を選択する。
  論文  参考訳（メタデータ） (2021-12-16T03:34:14Z)
• Sketch and Customize: A Counterfactual Story Generator [71.34131541754674]
  条件と終了に関係のある因果関係を導いたスケッチ・アンド・カスタマイズ生成モデルを提案する。 実験結果から,従来のシーケンス・ツー・シーケンスモデルと比較して,提案モデルの方がより優れたエンディングを生成することがわかった。
  論文  参考訳（メタデータ） (2021-04-02T08:14:22Z)
• Consistency and Coherency Enhanced Story Generation [35.08911595854691]
  生成したストーリーの一貫性と一貫性を高めるための2段階生成フレームワークを提案する。 第1段は物語の筋書きや出来事を描いた物語の輪郭を整理し、第2段は完全な物語へと輪郭を広げることである。 さらに、コア参照監視信号は、コア参照エラーを低減し、コア参照一貫性を向上させるために組み込まれている。
  論文  参考訳（メタデータ） (2020-10-17T16:40:37Z)
• Improving Language Generation with Sentence Coherence Objective [4.997730662279843]
  既存のモデルは、与えられたプロンプトから徐々に分岐するテキストの段落を出力する傾向がある。 このプロジェクトの目的は、言語生成モデルにおける文間の一貫性と一貫性を改善することである。
  論文  参考訳（メタデータ） (2020-09-07T06:10:03Z)
• Narrative Interpolation for Generating and Understanding Stories [52.463747140762145]
  そこで本研究では,ユーザが特定した目的語を含むコヒーレントな物語を生成するために,モデルをガイドできる物語・物語生成制御手法を提案する。 本手法の中核はGPT-2に基づく漸進的モデルであり,前文と次文を物語の中で条件付けし,そのギャップを埋める。 終末誘導世代は、与えられた終末ガイドに忠実で忠実であり、過去のアプローチよりも手作業の少ない物語を生み出すことを示す。
  論文  参考訳（メタデータ） (2020-08-17T16:45:50Z)
• A Knowledge-Enhanced Pretraining Model for Commonsense Story Generation [98.25464306634758]
  本稿では,外部知識ベースからのコモンセンス知識を利用して,合理的なストーリーを生成することを提案する。 我々は,真と偽のストーリーを識別するための差別的目的を組み合わせたマルチタスク学習を採用している。 我々のモデルは、特に論理学とグローバルコヒーレンスの観点から、最先端のベースラインよりも合理的なストーリーを生成することができる。
  論文  参考訳（メタデータ） (2020-01-15T05:42:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。