論文の概要: CLEVE: Contrastive Pre-training for Event Extraction
- arxiv url: http://arxiv.org/abs/2105.14485v1
- Date: Sun, 30 May 2021 09:50:17 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-01 17:23:25.289939
- Title: CLEVE: Contrastive Pre-training for Event Extraction
- Title(参考訳): CLEVE: イベント抽出のための対照的な事前トレーニング
- Authors: Ziqi Wang, Xiaozhi Wang, Xu Han, Yankai Lin, Lei Hou, Zhiyuan Liu,
Peng Li, Juanzi Li, Jie Zhou
- Abstract要約: CLEVEはイベント抽出のための対照的な事前トレーニングフレームワークである。
大規模な教師なしデータとセマンティック構造からイベント知識を学ぶ。
ACE 2005とMAVENデータセットの実験では、CLEVEが大幅に改善されている。
- 参考スコア(独自算出の注目度): 44.11464475981792
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Event extraction (EE) has considerably benefited from pre-trained language
models (PLMs) by fine-tuning. However, existing pre-training methods have not
involved modeling event characteristics, resulting in the developed EE models
cannot take full advantage of large-scale unsupervised data. To this end, we
propose CLEVE, a contrastive pre-training framework for EE to better learn
event knowledge from large unsupervised data and their semantic structures
(e.g. AMR) obtained with automatic parsers. CLEVE contains a text encoder to
learn event semantics and a graph encoder to learn event structures
respectively. Specifically, the text encoder learns event semantic
representations by self-supervised contrastive learning to represent the words
of the same events closer than those unrelated words; the graph encoder learns
event structure representations by graph contrastive pre-training on parsed
event-related semantic structures. The two complementary representations then
work together to improve both the conventional supervised EE and the
unsupervised "liberal" EE, which requires jointly extracting events and
discovering event schemata without any annotated data. Experiments on ACE 2005
and MAVEN datasets show that CLEVE achieves significant improvements,
especially in the challenging unsupervised setting. The source code and
pre-trained checkpoints can be obtained from https://github.com/THU-KEG/CLEVE.
- Abstract(参考訳): イベント抽出(EE)は、微調整によって事前訓練された言語モデル(PLM)からかなり恩恵を受けている。
しかし、既存の事前学習手法ではイベント特性のモデル化は行っていないため、開発済みのEEモデルは大規模な教師なしデータを完全に活用することはできない。
この目的のために、我々は、大規模な教師なしデータとその意味構造からイベント知識を学習するための、EEのための対照的な事前学習フレームワークであるCLEVEを提案する。
amr) 自動解析器で得られた。
cleveには、イベントセマンティクスを学ぶテキストエンコーダと、イベント構造を学ぶグラフエンコーダが含まれている。
具体的には、テキストエンコーダは、自己教師付きコントラスト学習によってイベント意味表現を学習し、関連しない単語よりも同じイベントの単語を表現し、グラフエンコーダは、解析されたイベント関連意味構造上でグラフコントラストプリトレーニングによりイベント構造表現を学習する。
この2つの補完的な表現は、従来の教師付きeeと教師なしの"リベラル"eeの両方を改善するために協力して働き、アノテートされたデータなしでイベントを抽出し、イベントスキーマを発見する必要がある。
ACE 2005とMAVENデータセットの実験では、CLEVEは特に教師なしの困難な環境で、大幅な改善を達成している。
ソースコードと事前訓練されたチェックポイントはhttps://github.com/THU-KEG/CLEVEから取得できる。
関連論文リスト
- Open-Domain Hierarchical Event Schema Induction by Incremental Prompting
and Verification [81.17473088621209]
イベントスキーマを,大規模言語モデル(LLM)から導出可能なコモンセンス知識の一形態として扱う。
複雑なイベントグラフの構築を3段階に分割するインクリメンタルなプロンプトおよび検証手法を設計する。
線形化グラフを生成するのにLLMを直接使用するのに比べ、時間関係が7.2%F1、階層関係が31.0%F1の大規模かつ複雑なスキーマを生成することができる。
論文 参考訳(メタデータ) (2023-07-05T01:00:44Z) - Semantic Structure Enhanced Event Causality Identification [57.26259734944247]
事象因果同定(ECI)は、非構造化テキスト中の事象間の因果関係を特定することを目的としている。
既存の方法は、イベント中心構造とイベント関連構造という、ECIタスクに不可欠な2種類の意味構造を過小評価する。
論文 参考訳(メタデータ) (2023-05-22T07:42:35Z) - SignBERT+: Hand-model-aware Self-supervised Pre-training for Sign
Language Understanding [132.78015553111234]
手の動きは手話の表現において重要な役割を担っている。
現在,手話理解(SLU)の深層学習手法は,手話データ資源の不足により過度に適合する傾向にある。
モデル認識ハンドを組み込んだ初の自己教師型事前学習型SignBERT+フレームワークを提案する。
論文 参考訳(メタデータ) (2023-05-08T17:16:38Z) - Structure-CLIP: Towards Scene Graph Knowledge to Enhance Multi-modal
Structured Representations [70.41385310930846]
マルチモーダルな構造表現を強化するためのエンドツーエンドフレームワークであるStructure-CLIPを提案する。
シーングラフを用いてセマンティックなネガティブな例の構築をガイドし、その結果、構造化された表現の学習に重点を置いている。
知識エンハンス(KEE)は、SGKを入力として活用し、構造化表現をさらに強化するために提案される。
論文 参考訳(メタデータ) (2023-05-06T03:57:05Z) - OneEE: A One-Stage Framework for Fast Overlapping and Nested Event
Extraction [40.353446897312196]
イベント抽出(EE)は、構造化されていないテキストから構造化されたイベント情報を抽出することを目的とした、情報抽出の重要なタスクである。
We design a simple yet effective tagging scheme and model to formulate EE as word-word relation recognition, called OneEE。
重なり合った3つのEEベンチマーク、すなわちFewFC、Genia11、Genia13の実験は、OneEEが最先端(SOTA)の結果を達成することを示している。
論文 参考訳(メタデータ) (2022-09-06T17:59:55Z) - Improve Event Extraction via Self-Training with Gradient Guidance [10.618929821822892]
本稿では、イベント抽出の進行を妨げる主な要因を克服するために、フィードバックによる自己評価(STF)フレームワークを提案する。
STFは,(1)既存のイベントアノテーションに基づいてトレーニングされたベースイベント抽出モデルと,(2)新しいイベント参照を擬似トレーニングサンプルとして予測するための大規模未ラベルコーパスと,(2)新しいイベントトリガ,引数,引数ロール,およびAMRグラフ内のそれらのパスを用いて互換性スコアを推定する新たなスコアリングモデルから構成される。
ACE05-E、ACE05-E+、EREを含む3つのベンチマークデータセットの実験結果
論文 参考訳(メタデータ) (2022-05-25T04:40:17Z) - A Graph Enhanced BERT Model for Event Prediction [35.02248467245135]
BERTモデルを用いたイベントグラフの自動構築について検討する。
我々は、トレーニングプロセスにおけるイベント接続を予測するために、追加の構造化変数をBERTに組み込んだ。
シナリオイベント予測とストーリー終了予測という2つのイベント予測タスクの結果は,我々のアプローチが最先端のベースライン手法より優れていることを示している。
論文 参考訳(メタデータ) (2022-05-22T13:37:38Z) - CLIP-Event: Connecting Text and Images with Event Structures [123.31452120399827]
視覚言語事前学習モデルを適用したコントラスト学習フレームワークを提案する。
我々は、イベント構造知識を得るために、テキスト情報抽出技術を利用する。
実験により、ゼロショットCLIP-Eventは引数抽出において最先端の教師付きモデルよりも優れていることが示された。
論文 参考訳(メタデータ) (2022-01-13T17:03:57Z) - Text2Event: Controllable Sequence-to-Structure Generation for End-to-end
Event Extraction [35.39643772926177]
イベントの抽出は、イベントレコードの複雑な構造と、テキストとイベント間のセマンティックなギャップのために難しい。
従来の方法では、複雑な構造予測タスクを複数のサブタスクに分解することでイベントレコードを抽出する。
エンドツーエンドでテキストからイベントを直接抽出できるシーケンス・ツー・構造生成パラダイムであるText2Eventを提案する。
論文 参考訳(メタデータ) (2021-06-17T04:00:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。