論文の概要: A Generative Approach for Script Event Prediction via Contrastive Fine-tuning

• arxiv url: http://arxiv.org/abs/2212.03496v1
• Date: Wed, 7 Dec 2022 07:32:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-08 15:48:06.792430
• Title: A Generative Approach for Script Event Prediction via Contrastive Fine-tuning
• Title（参考訳）: コントラスト微調整によるスクリプトイベント予測のための生成手法
• Authors: Fangqi Zhu, Jun Gao, Changlong Yu, Wei Wang, Chen Xu, Xin Mu, Min Yang, Ruifeng Xu
• Abstract要約: Scriptイベント予測は、コンテキストが与えられた後続のイベントを予測することを目的としている。 近年の研究では,事前学習言語モデルと外部知識の導入により,事象相関推論の改善が試みられている。 本稿では,事前学習した言語モデルをイベント中心の事前学習目的で微調整する,新しい生成手法を提案する。
• 参考スコア（独自算出の注目度）: 35.87615178251874
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Script event prediction aims to predict the subsequent event given the context. This requires the capability to infer the correlations between events. Recent works have attempted to improve event correlation reasoning by using pretrained language models and incorporating external knowledge~(e.g., discourse relations). Though promising results have been achieved, some challenges still remain. First, the pretrained language models adopted by current works ignore event-level knowledge, resulting in an inability to capture the correlations between events well. Second, modeling correlations between events with discourse relations is limited because it can only capture explicit correlations between events with discourse markers, and cannot capture many implicit correlations. To this end, we propose a novel generative approach for this task, in which a pretrained language model is fine-tuned with an event-centric pretraining objective and predicts the next event within a generative paradigm. Specifically, we first introduce a novel event-level blank infilling strategy as the learning objective to inject event-level knowledge into the pretrained language model, and then design a likelihood-based contrastive loss for fine-tuning the generative model. Instead of using an additional prediction layer, we perform prediction by using sequence likelihoods generated by the generative model. Our approach models correlations between events in a soft way without any external knowledge. The likelihood-based prediction eliminates the need to use additional networks to make predictions and is somewhat interpretable since it scores each word in the event. Experimental results on the multi-choice narrative cloze~(MCNC) task demonstrate that our approach achieves better results than other state-of-the-art baselines. Our code will be available at \url{https://github.com/zhufq00/mcnc}.
• Abstract（参考訳）: スクリプトイベント予測は、コンテキストによって次のイベントを予測することを目的としている。 これはイベント間の相関を推測する能力を必要とする。 近年の研究では、事前訓練された言語モデルを用いて、外部知識~(談話関係など)を組み込むことにより、事象相関推論の改善が試みられている。 有望な結果が得られたが、いくつかの課題はまだ残っている。 まず、現在の作業で採用されている事前学習された言語モデルは、イベントレベルの知識を無視し、イベント間の相関をうまく捉えることができない。 第二に、談話マーカーを持つイベント間の明示的な相関のみを捉えることができ、多くの暗黙の相関を捉えることができないため、談話関係とイベント間の相関のモデル化は制限される。 そこで本研究では,事前学習された言語モデルにイベント中心の事前学習目標を微調整し,生成パラダイム内で次の事象を予測する新しい生成手法を提案する。 具体的には,まず,事前学習した言語モデルにイベントレベルの知識を注入する学習目的として,新たなイベントレベルの空白インフィルング戦略を導入し,生成モデルの微調整のための確率に基づくコントラスト損失を設計する。 追加の予測層を使う代わりに、生成モデルによって生成されたシーケンスの確率を用いて予測を行う。 われわれのアプローチは、外部の知識を使わずに、ソフトな方法でイベント間の相関関係をモデル化する。 確率に基づく予測は、予測を行うために追加のネットワークを使用する必要をなくし、イベント内の各単語をスコア付けするため、幾分解釈可能である。 MCNC(Multi-choice narrative cloze)タスクの実験結果から,本手法は他の最先端のベースラインよりも優れた結果が得られることが示された。 私たちのコードは \url{https://github.com/zhufq00/mcnc} で利用可能です。

関連論文リスト

• Semantic Pivoting Model for Effective Event Detection [19.205550116466604]
  Event Detectionは、構造化されていない記事からイベントインスタンスの参照を識別し、分類することを目的としている。 イベント検出の既存のテクニックは、イベントタイプクラスを表現するために、均質な1ホットベクトルのみを使用しており、型の意味がタスクにとって重要であるという事実を無視している。 本稿では,学習中の事前情報を明示的に組み込んで,入力とイベント間の意味的に意味のある相関関係を捉えるセマンティック・ピロリング・モデル(SPEED)を提案する。
  論文  参考訳（メタデータ） (2022-11-01T19:20:34Z)
• Towards Out-of-Distribution Sequential Event Prediction: A Causal Treatment [72.50906475214457]
  シーケンシャルなイベント予測の目標は、一連の歴史的なイベントに基づいて次のイベントを見積もることである。 実際には、次のイベント予測モデルは、一度に収集されたシーケンシャルなデータで訓練される。 文脈固有の表現を学習するための階層的な分岐構造を持つフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-24T07:54:13Z)
• Unifying Event Detection and Captioning as Sequence Generation via Pre-Training [53.613265415703815]
  本稿では,イベント検出とキャプションのタスク間関連性を高めるための,事前学習と微調整の統合フレームワークを提案する。 我々のモデルは最先端の手法よりも優れており、大規模ビデオテキストデータによる事前学習ではさらに向上できる。
  論文  参考訳（メタデータ） (2022-07-18T14:18:13Z)
• A Graph Enhanced BERT Model for Event Prediction [35.02248467245135]
  BERTモデルを用いたイベントグラフの自動構築について検討する。 我々は、トレーニングプロセスにおけるイベント接続を予測するために、追加の構造化変数をBERTに組み込んだ。 シナリオイベント予測とストーリー終了予測という2つのイベント予測タスクの結果は,我々のアプローチが最先端のベースライン手法より優れていることを示している。
  論文  参考訳（メタデータ） (2022-05-22T13:37:38Z)
• A Generative Language Model for Few-shot Aspect-Based Sentiment Analysis [90.24921443175514]
  我々は、アスペクト項、カテゴリを抽出し、対応する極性を予測するアスペクトベースの感情分析に焦点を当てる。 本稿では,一方向の注意を伴う生成言語モデルを用いて,抽出タスクと予測タスクをシーケンス生成タスクに再構成することを提案する。 提案手法は,従来の最先端(BERTをベースとした)の性能を,数ショットとフルショットの設定において,大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2022-04-11T18:31:53Z)
• ClarET: Pre-training a Correlation-Aware Context-To-Event Transformer for Event-Centric Generation and Classification [74.6318379374801]
  本稿では,イベント中心推論のための一般相関対応コンテキスト・イベント変換器(ClarET)の事前学習を提案する。 提案されたClarETは、幅広いイベント中心の推論シナリオに適用できる。
  論文  参考訳（メタデータ） (2022-03-04T10:11:15Z)
• An Explanation of In-context Learning as Implicit Bayesian Inference [117.19809377740188]
  In-context Learning の出現における事前学習分布の役割について検討した。 本研究では,潜在概念のベイズ的推論を通じて,文脈内学習が暗黙的に起こることを証明した。 我々は,事前学習損失が同じであっても,スケーリングモデルのサイズがコンテキスト内精度を向上させることを実証的に見出した。
  論文  参考訳（メタデータ） (2021-11-03T09:12:33Z)
• Modeling Preconditions in Text with a Crowd-sourced Dataset [17.828175478279654]
  本稿では,ニュースワイヤにおけるイベントペア間の事前条件のクラウドソースアノテーションであるPeKoを紹介する。 前提条件のモデル化を目的とした2つの課題タスクも導入する。 両方のタスクの評価は、今日の大規模言語モデルでさえ、事前条件のモデリングが困難であることを示している。
  論文  参考訳（メタデータ） (2020-10-06T01:52:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。