論文の概要: CLEVE: Contrastive Pre-training for Event Extraction

• arxiv url: http://arxiv.org/abs/2105.14485v1
• Date: Sun, 30 May 2021 09:50:17 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-01 17:23:25.289939
• Title: CLEVE: Contrastive Pre-training for Event Extraction
• Title（参考訳）: CLEVE: イベント抽出のための対照的な事前トレーニング
• Authors: Ziqi Wang, Xiaozhi Wang, Xu Han, Yankai Lin, Lei Hou, Zhiyuan Liu, Peng Li, Juanzi Li, Jie Zhou
• Abstract要約: CLEVEはイベント抽出のための対照的な事前トレーニングフレームワークである。 大規模な教師なしデータとセマンティック構造からイベント知識を学ぶ。 ACE 2005とMAVENデータセットの実験では、CLEVEが大幅に改善されている。
• 参考スコア（独自算出の注目度）: 44.11464475981792
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Event extraction (EE) has considerably benefited from pre-trained language models (PLMs) by fine-tuning. However, existing pre-training methods have not involved modeling event characteristics, resulting in the developed EE models cannot take full advantage of large-scale unsupervised data. To this end, we propose CLEVE, a contrastive pre-training framework for EE to better learn event knowledge from large unsupervised data and their semantic structures (e.g. AMR) obtained with automatic parsers. CLEVE contains a text encoder to learn event semantics and a graph encoder to learn event structures respectively. Specifically, the text encoder learns event semantic representations by self-supervised contrastive learning to represent the words of the same events closer than those unrelated words; the graph encoder learns event structure representations by graph contrastive pre-training on parsed event-related semantic structures. The two complementary representations then work together to improve both the conventional supervised EE and the unsupervised "liberal" EE, which requires jointly extracting events and discovering event schemata without any annotated data. Experiments on ACE 2005 and MAVEN datasets show that CLEVE achieves significant improvements, especially in the challenging unsupervised setting. The source code and pre-trained checkpoints can be obtained from https://github.com/THU-KEG/CLEVE.
• Abstract（参考訳）: イベント抽出(EE)は、微調整によって事前訓練された言語モデル(PLM)からかなり恩恵を受けている。 しかし、既存の事前学習手法ではイベント特性のモデル化は行っていないため、開発済みのEEモデルは大規模な教師なしデータを完全に活用することはできない。 この目的のために、我々は、大規模な教師なしデータとその意味構造からイベント知識を学習するための、EEのための対照的な事前学習フレームワークであるCLEVEを提案する。 amr) 自動解析器で得られた。 cleveには、イベントセマンティクスを学ぶテキストエンコーダと、イベント構造を学ぶグラフエンコーダが含まれている。 具体的には、テキストエンコーダは、自己教師付きコントラスト学習によってイベント意味表現を学習し、関連しない単語よりも同じイベントの単語を表現し、グラフエンコーダは、解析されたイベント関連意味構造上でグラフコントラストプリトレーニングによりイベント構造表現を学習する。 この2つの補完的な表現は、従来の教師付きeeと教師なしの"リベラル"eeの両方を改善するために協力して働き、アノテートされたデータなしでイベントを抽出し、イベントスキーマを発見する必要がある。 ACE 2005とMAVENデータセットの実験では、CLEVEは特に教師なしの困難な環境で、大幅な改善を達成している。 ソースコードと事前訓練されたチェックポイントはhttps://github.com/THU-KEG/CLEVEから取得できる。

関連論文リスト

• What Would Happen Next? Predicting Consequences from An Event Causality Graph [23.92119748794742]
  既存のスクリプトイベント予測タスクは、イベントスクリプトチェーンに基づいて、その後のイベントを転送する。 本稿では,事象因果グラフ(ECG)に基づく連続事象を予測する因果グラフイベント予測タスクを提案する。
  論文  参考訳（メタデータ） (2024-09-26T02:34:08Z)
• DEGAP: Dual Event-Guided Adaptive Prefixes for Templated-Based Event Argument Extraction with Slot Querying [32.115904077731386]
  イベント引数抽出(EAE)の最近の進歩は、トレーニングや推論中に有用な補助情報をモデルに組み込むことである。 これらの手法は,(1)検索結果が無関係である場合があり,(2)テンプレートは関連性を考慮せずに,各イベントごとに独立して開発される場合の2つの課題に直面する。 本稿では,2つのプレフィックス,すなわち学習可能なプロンプトベクトル,イベント誘導型適応ゲーティング機構を用いて,これらの課題に対処するDEGAPを提案する。
  論文  参考訳（メタデータ） (2024-05-22T03:56:55Z)
• GenEARL: A Training-Free Generative Framework for Multimodal Event Argument Role Labeling [89.07386210297373]
  GenEARLは、イベントタスク記述を理解するために近代的な生成モデルの力を利用する、トレーニング不要な生成フレームワークである。 GenEARLは、M2E2データセットとSwiGデータセット上のゼロショットEARLに対して、CLIPベースラインを9.4%、精度14.2%で上回っている。
  論文  参考訳（メタデータ） (2024-04-07T00:28:13Z)
• Prompt-based Graph Model for Joint Liberal Event Extraction and Event Schema Induction [1.3154296174423619]
  イベントは、エンティティの状態の変化を記述する、スピーチとテキストの不可欠なコンポーネントである。 イベント抽出タスクは、イベントを特定して分類し、イベントスキーマに従って参加者を見つけることを目的としている。 研究者らは、イベント抽出とイベントスキーマの同時発見を目的とした、リベラルイベント抽出(LEE)を提案する。
  論文  参考訳（メタデータ） (2024-03-19T07:56:42Z)
• Semantic Structure Enhanced Event Causality Identification [57.26259734944247]
  事象因果同定(ECI)は、非構造化テキスト中の事象間の因果関係を特定することを目的としている。 既存の方法は、イベント中心構造とイベント関連構造という、ECIタスクに不可欠な2種類の意味構造を過小評価する。
  論文  参考訳（メタデータ） (2023-05-22T07:42:35Z)
• SignBERT+: Hand-model-aware Self-supervised Pre-training for Sign Language Understanding [132.78015553111234]
  手の動きは手話の表現において重要な役割を担っている。 現在,手話理解(SLU)の深層学習手法は,手話データ資源の不足により過度に適合する傾向にある。 モデル認識ハンドを組み込んだ初の自己教師型事前学習型SignBERT+フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-08T17:16:38Z)
• Structure-CLIP: Towards Scene Graph Knowledge to Enhance Multi-modal Structured Representations [70.41385310930846]
  マルチモーダルな構造表現を強化するためのエンドツーエンドフレームワークであるStructure-CLIPを提案する。 シーングラフを用いてセマンティックなネガティブな例の構築をガイドし、その結果、構造化された表現の学習に重点を置いている。 知識エンハンス(KEE)は、SGKを入力として活用し、構造化表現をさらに強化するために提案される。
  論文  参考訳（メタデータ） (2023-05-06T03:57:05Z)
• CLIP-Event: Connecting Text and Images with Event Structures [123.31452120399827]
  視覚言語事前学習モデルを適用したコントラスト学習フレームワークを提案する。 我々は、イベント構造知識を得るために、テキスト情報抽出技術を利用する。 実験により、ゼロショットCLIP-Eventは引数抽出において最先端の教師付きモデルよりも優れていることが示された。
  論文  参考訳（メタデータ） (2022-01-13T17:03:57Z)
• Text2Event: Controllable Sequence-to-Structure Generation for End-to-end Event Extraction [35.39643772926177]
  イベントの抽出は、イベントレコードの複雑な構造と、テキストとイベント間のセマンティックなギャップのために難しい。 従来の方法では、複雑な構造予測タスクを複数のサブタスクに分解することでイベントレコードを抽出する。 エンドツーエンドでテキストからイベントを直接抽出できるシーケンス・ツー・構造生成パラダイムであるText2Eventを提案する。
  論文  参考訳（メタデータ） (2021-06-17T04:00:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。