論文の概要: Multi-Scale Contrastive Co-Training for Event Temporal Relation
Extraction
- arxiv url: http://arxiv.org/abs/2209.00568v1
- Date: Thu, 1 Sep 2022 16:19:22 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-02 13:15:13.614282
- Title: Multi-Scale Contrastive Co-Training for Event Temporal Relation
Extraction
- Title(参考訳): イベント時間関係抽出のためのマルチスケールコントラストコトレーニング
- Authors: Hao-Ren Yao, Luke Breitfeller, Aakanksha Naik, Chunxiao Zhou, Carolyn
Rose
- Abstract要約: MulCo: マルチスケールコントラスト・コレーニング(MulCo: Multi-Scale Contrastive Co-Training)は、局所的およびグローバルな文脈的特徴の融合を改善する技術である。
我々のモデルは、ローカルコンテキストを符号化するBERTベースの言語モデルと、グローバルな文書レベルの構文と時間特性を表現するグラフニューラルネットワーク(GNN)を用いている。
実験の結果,MulCoは複数の時間的関係抽出データセットに対して,新たな最先端結果が得られることがわかった。
- 参考スコア(独自算出の注目度): 4.061599591590912
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Extracting temporal relationships between pairs of events in texts is a
crucial yet challenging problem for natural language understanding. Depending
on the distance between the events, models must learn to differently balance
information from local and global contexts surrounding the event pair for
temporal relation prediction. Learning how to fuse this information has proved
challenging for transformer-based language models. Therefore, we present MulCo:
Multi-Scale Contrastive Co-Training, a technique for the better fusion of local
and global contextualized features. Our model uses a BERT-based language model
to encode local context and a Graph Neural Network (GNN) to represent global
document-level syntactic and temporal characteristics. Unlike previous
state-of-the-art methods, which use simple concatenation on multi-view features
or select optimal sentences using sophisticated reinforcement learning
approaches, our model co-trains GNN and BERT modules using a multi-scale
contrastive learning objective. The GNN and BERT modules learn a synergistic
parameterization by contrasting GNN multi-layer multi-hop subgraphs (i.e.,
global context embeddings) and BERT outputs (i.e., local context embeddings)
through end-to-end back-propagation. We empirically demonstrate that MulCo
provides improved ability to fuse local and global contexts encoded using BERT
and GNN compared to the current state-of-the-art. Our experimental results show
that MulCo achieves new state-of-the-art results on several temporal relation
extraction datasets.
- Abstract(参考訳): テキスト中のイベントのペア間の時間的関係を抽出することは、自然言語理解にとって非常に難しい問題である。
イベント間の距離によっては、モデルが時間関係予測のためにイベントペアを取り巻くローカルコンテキストとグローバルコンテキストの異なるバランス情報を学ぶ必要がある。
この情報を融合する方法を学ぶことは、トランスフォーマーベースの言語モデルでは難しいことが証明されている。
そこで本稿では,mulco: multi-scale contrastive co-training (mulco: multi-scale contrastive co-training)を提案する。
我々のモデルは、ローカルコンテキストを符号化するBERTベースの言語モデルと、グローバルな文書レベルの構文と時間特性を表現するグラフニューラルネットワーク(GNN)を用いている。
高度な強化学習手法を用いて,多視点特徴の単純な連結や最適な文の選択を用いた従来の最先端手法とは異なり,多スケールのコントラスト学習目的を用いてgnnとbertモジュールを共同学習する。
GNNとBERTモジュールは、GNNマルチレイヤのマルチホップサブグラフ(グローバルコンテキスト埋め込み)とBERT出力(ローカルコンテキスト埋め込み)をエンドツーエンドのバックプロパゲーションを通じて対比することにより、相乗的パラメータ化を学ぶ。
mulco は bert と gnn を使ってエンコードされたローカルコンテキストとグローバルコンテキストを融合する能力が,現在の最先端と比較して改善されていることを実証的に示す。
実験の結果,mulcoは複数の時間関係抽出データセットで新たな最先端結果を得ることができた。
関連論文リスト
- Only One Relation Possible? Modeling the Ambiguity in Event Temporal Relation Extraction [30.319025749352246]
イベント時間関係抽出(ETRE)は、2つのイベント間の時間的関係を特定することを目的としている。
本稿では, ETRE (METRE) の多ラベル分類法を提案する。
本手法は,textitVagueインスタンスを有効利用して,特定の時間関係の認識を改善する。
論文 参考訳(メタデータ) (2024-08-14T07:57:51Z) - Double Mixture: Towards Continual Event Detection from Speech [60.33088725100812]
音声イベント検出は、セマンティックイベントと音響イベントの両方のタグ付けを含むマルチメディア検索に不可欠である。
本稿では, 音声イベント検出における主な課題として, 過去の出来事を忘れることなく新たな事象を連続的に統合すること, 音響イベントからの意味のゆがみについて述べる。
本稿では,適応性を向上し,忘れることを防止するために,音声の専門知識と堅牢な記憶機構を融合する新しい手法「ダブルミキチャー」を提案する。
論文 参考訳(メタデータ) (2024-04-20T06:32:00Z) - More than Classification: A Unified Framework for Event Temporal
Relation Extraction [61.44799147458621]
イベント時間関係抽出(ETRE)は通常、マルチラベル分類タスクとして定式化される。
イベントの開始点と終了点を使ってすべての関係を解釈できることを観察する。
本稿では,時間関係を時間点の論理的表現に変換するイベント時間関係抽出フレームワークを提案する。
論文 参考訳(メタデータ) (2023-05-28T02:09:08Z) - MAVEN-ERE: A Unified Large-scale Dataset for Event Coreference,
Temporal, Causal, and Subevent Relation Extraction [78.61546292830081]
アノテーションを改良した大規模EREデータセットMAVEN-EREを構築した。
103,193個のイベント・コア・チェイン、1,216,217個の時間関係、57,992個の因果関係、15,841個の部分関係を含む。
実験の結果,MAVEN-ERE上でのEREは極めて困難であり,共同学習との相互関係を考慮すれば性能が向上することが示された。
論文 参考訳(メタデータ) (2022-11-14T13:34:49Z) - Beyond Grounding: Extracting Fine-Grained Event Hierarchies Across
Modalities [43.048896440009784]
マルチモーダル(ビデオとテキスト)データからイベント階層を抽出するタスクを提案する。
これはイベントの構造を明らかにし、それらを理解するのに不可欠である。
我々は,この課題に対して,最先端のユニモーダルベースラインとマルチモーダルベースラインの限界を示す。
論文 参考訳(メタデータ) (2022-06-14T23:24:15Z) - Learning Temporal Rules from Noisy Timeseries Data [72.93572292157593]
我々は、ノイズのある時間的データ設定内で複合イベントにつながる基礎となる原子イベントとその関係を明らかにすることに注力する。
本稿では、まず原子イベント間の暗黙的な時間的関係を学習し、その後、制御のための論理規則を引き上げるニューラル時間論理プログラミング(Neural Temporal Logic Programming:Neural TLP)を提案する。
論文 参考訳(メタデータ) (2022-02-11T01:29:02Z) - Extracting Event Temporal Relations via Hyperbolic Geometry [18.068466562913923]
双曲空間における事象とその時間的関係をエンコードする2つのアプローチを導入する。
あるアプローチでは、双曲的埋め込みを利用して、単純な幾何学的操作を通じて事象関係を直接推論する。
第2に、時間的関係抽出作業に適した双曲型ニューラルネットワークユニットからなるエンドツーエンドアーキテクチャを考案する。
論文 参考訳(メタデータ) (2021-09-12T14:40:13Z) - Joint Constrained Learning for Event-Event Relation Extraction [94.3499255880101]
本稿では,イベント・イベント関係をモデル化するための制約付き協調学習フレームワークを提案する。
具体的には、このフレームワークは、複数の時間的および部分的関係内の論理的制約を強制する。
我々は,共同学習手法が,共同ラベル付きデータの欠如を効果的に補うことを示す。
論文 参考訳(メタデータ) (2020-10-13T22:45:28Z) - Predicting Event Time by Classifying Sub-Level Temporal Relations
Induced from a Unified Representation of Time Anchors [10.67457147373144]
本稿では,複雑な時間関係をサブレベル関係に分解する効果的な方法を提案する。
我々のアプローチは最先端の意思決定ツリーモデルより優れている。
論文 参考訳(メタデータ) (2020-08-14T16:30:07Z) - FineGym: A Hierarchical Video Dataset for Fine-grained Action
Understanding [118.32912239230272]
FineGymは体操ビデオの上に構築された新しいアクション認識データセットだ。
アクションレベルとサブアクションレベルの両方で3レベルのセマンティック階層を持つテンポラリアノテーションを提供する。
この新たな粒度レベルは、行動認識に重大な課題をもたらす。
論文 参考訳(メタデータ) (2020-04-14T17:55:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。