論文の概要: EventBERT: A Pre-Trained Model for Event Correlation Reasoning

• arxiv url: http://arxiv.org/abs/2110.06533v1
• Date: Wed, 13 Oct 2021 06:57:47 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-14 14:31:46.508521
• Title: EventBERT: A Pre-Trained Model for Event Correlation Reasoning
• Title（参考訳）: EventBERT: イベント相関推論のための事前トレーニングモデル
• Authors: Yucheng Zhou, Xiubo Geng, Tao Shen, Guodong Long, Daxin Jiang
• Abstract要約: 事象相関推論は、複数の事象を含む自然言語節が人間の常識に合致するかどうかを推測する。 本研究では,未ラベルテキストから結果整合性知識をカプセル化するための事前学習モデルであるEventBERTを提案する。
• 参考スコア（独自算出の注目度）: 34.5354483623551
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Event correlation reasoning infers whether a natural language paragraph containing multiple events conforms to human common sense. For example, "Andrew was very drowsy, so he took a long nap, and now he is very alert" is sound and reasonable. In contrast, "Andrew was very drowsy, so he stayed up a long time, now he is very alert" does not comply with human common sense. Such reasoning capability is essential for many downstream tasks, such as script reasoning, abductive reasoning, narrative incoherence, story cloze test, etc. However, conducting event correlation reasoning is challenging due to a lack of large amounts of diverse event-based knowledge and difficulty in capturing correlation among multiple events. In this paper, we propose EventBERT, a pre-trained model to encapsulate eventuality knowledge from unlabeled text. Specifically, we collect a large volume of training examples by identifying natural language paragraphs that describe multiple correlated events and further extracting event spans in an unsupervised manner. We then propose three novel event- and correlation-based learning objectives to pre-train an event correlation model on our created training corpus. Empirical results show EventBERT outperforms strong baselines on four downstream tasks, and achieves SoTA results on most of them. Besides, it outperforms existing pre-trained models by a large margin, e.g., 6.5~23%, in zero-shot learning of these tasks.
• Abstract（参考訳）: 事象相関推論は、複数の事象を含む自然言語段落が人間の常識に合致するかどうかを推論する。 例えば、「アンドリューはとても眠かったので、長い昼寝をしていて、今はとても警戒している」というのは健全で合理的である。 対照的に「アンドリューは非常に眠かったので、彼は長い間そこにいたが、今ではとても警戒している」と人間の常識に従わなかった。 このような推論機能は、スクリプト推論、帰納的推論、物語の不整合、ストーリークローゼテストなど、多くの下流タスクに必須である。 しかし、多種多様なイベントベース知識の不足や複数のイベント間の相関を捉えることが困難であることから、イベント相関推論を行うことは困難である。 本稿では,未ラベルテキストから結果整合性知識をカプセル化するための事前学習モデルであるEventBERTを提案する。 具体的には,複数の関連した事象を記述した自然言語段落を同定し,さらに教師なしの方法でイベントスパンを抽出することで,多数のトレーニング例を収集する。 次に,新たに作成した学習コーパス上で,イベント相関モデルを事前学習するための3つの学習目標を提案する。 実証的な結果から、EventBERTは4つの下流タスクで強いベースラインを上回り、ほとんどのタスクでSoTA結果を達成する。 さらに、既存の事前学習モデル(例えば6.5～23%)よりも、これらのタスクをゼロショットで学習できる。

関連論文リスト

• EVIT: Event-Oriented Instruction Tuning for Event Reasoning [18.012724531672813]
  イベント推論は、特定の関係に従ってイベントを推論し、将来のイベントを予測することを目的としている。 大規模言語モデル(LLM)は、その豊富な知識と推論能力のために、イベント推論において大きな進歩を遂げている。 しかし、現在使われている命令調整モデルでは、これらのタスクを管理するのに例外的な習熟度が一貫して示されていない。
  論文  参考訳（メタデータ） (2024-04-18T08:14:53Z)
• Improving Event Definition Following For Zero-Shot Event Detection [66.27883872707523]
  ゼロショットイベント検出に対する既存のアプローチは通常、既知のイベントタイプをアノテートしたデータセット上でモデルをトレーニングする。 イベント定義に従うためのトレーニングモデルによるゼロショットイベント検出の改善を目指しています。
  論文  参考訳（メタデータ） (2024-03-05T01:46:50Z)
• Continual Event Extraction with Semantic Confusion Rectification [50.59450741139265]
  本研究では, 連続イベント抽出法について検討し, 忘れることを避けつつ, 間欠的に出現するイベント情報を抽出することを目的とした。 イベントタイプに関するセマンティックな混乱は、時間とともに更新される同じテキストのアノテーションに由来することを観察する。 本稿では,意味的混乱を是正した新しい連続イベント抽出モデルを提案する。
  論文  参考訳（メタデータ） (2023-10-24T02:48:50Z)
• A Generative Approach for Script Event Prediction via Contrastive Fine-tuning [35.87615178251874]
  Scriptイベント予測は、コンテキストが与えられた後続のイベントを予測することを目的としている。 近年の研究では,事前学習言語モデルと外部知識の導入により,事象相関推論の改善が試みられている。 本稿では,事前学習した言語モデルをイベント中心の事前学習目的で微調整する,新しい生成手法を提案する。
  論文  参考訳（メタデータ） (2022-12-07T07:32:47Z)
• ClarET: Pre-training a Correlation-Aware Context-To-Event Transformer for Event-Centric Generation and Classification [74.6318379374801]
  本稿では,イベント中心推論のための一般相関対応コンテキスト・イベント変換器(ClarET)の事前学習を提案する。 提案されたClarETは、幅広いイベント中心の推論シナリオに適用できる。
  論文  参考訳（メタデータ） (2022-03-04T10:11:15Z)
• OntoED: Low-resource Event Detection with Ontology Embedding [19.126410765996077]
  イベント検出(ED)は、所定のテキストからイベントトリガーワードを特定し、イベントタイプに分類することを目的としている。 EDへの現在のメソッドのほとんどは、トレーニングインスタンスに大きく依存しており、イベントタイプの相関をほとんど無視しています。
  論文  参考訳（メタデータ） (2021-05-23T12:00:22Z)
• ESTER: A Machine Reading Comprehension Dataset for Event Semantic Relation Reasoning [49.795767003586235]
  イベントセマンティックリレーション推論のための包括的な機械学習理解データセットESTERを紹介します。 もっともよく使われるイベント意味関係を5つ検討し、質問応答タスクとして定式化します。 実験の結果、現在のSOTAシステムは、イベントベースF1、トークンベースF1、HIT@1スコアそれぞれ60.5%、57.8%、76.3%を達成した。
  論文  参考訳（メタデータ） (2021-04-16T19:59:26Z)
• Temporal Reasoning on Implicit Events from Distant Supervision [91.20159064951487]
  本稿では,暗黙的事象の理解度を評価する新しい時間的推論データセットを提案する。 我々は、暗黙の出来事と明示的な出来事の間の時間的関係を予測する際に、最先端のモデルが苦労していることを発見した。 本稿では,大規模テキストからの遠隔監視信号を利用して終末時刻を推定する,ニューロシンボリックな時間的推論モデルSYMTIMEを提案する。
  論文  参考訳（メタデータ） (2020-10-24T03:12:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。