論文の概要: Multi-Scale Contrastive Co-Training for Event Temporal Relation
Extraction
- arxiv url: http://arxiv.org/abs/2209.00568v1
- Date: Thu, 1 Sep 2022 16:19:22 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-02 13:15:13.614282
- Title: Multi-Scale Contrastive Co-Training for Event Temporal Relation
Extraction
- Title(参考訳): イベント時間関係抽出のためのマルチスケールコントラストコトレーニング
- Authors: Hao-Ren Yao, Luke Breitfeller, Aakanksha Naik, Chunxiao Zhou, Carolyn
Rose
- Abstract要約: MulCo: マルチスケールコントラスト・コレーニング(MulCo: Multi-Scale Contrastive Co-Training)は、局所的およびグローバルな文脈的特徴の融合を改善する技術である。
我々のモデルは、ローカルコンテキストを符号化するBERTベースの言語モデルと、グローバルな文書レベルの構文と時間特性を表現するグラフニューラルネットワーク(GNN)を用いている。
実験の結果,MulCoは複数の時間的関係抽出データセットに対して,新たな最先端結果が得られることがわかった。
- 参考スコア(独自算出の注目度): 4.061599591590912
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Extracting temporal relationships between pairs of events in texts is a
crucial yet challenging problem for natural language understanding. Depending
on the distance between the events, models must learn to differently balance
information from local and global contexts surrounding the event pair for
temporal relation prediction. Learning how to fuse this information has proved
challenging for transformer-based language models. Therefore, we present MulCo:
Multi-Scale Contrastive Co-Training, a technique for the better fusion of local
and global contextualized features. Our model uses a BERT-based language model
to encode local context and a Graph Neural Network (GNN) to represent global
document-level syntactic and temporal characteristics. Unlike previous
state-of-the-art methods, which use simple concatenation on multi-view features
or select optimal sentences using sophisticated reinforcement learning
approaches, our model co-trains GNN and BERT modules using a multi-scale
contrastive learning objective. The GNN and BERT modules learn a synergistic
parameterization by contrasting GNN multi-layer multi-hop subgraphs (i.e.,
global context embeddings) and BERT outputs (i.e., local context embeddings)
through end-to-end back-propagation. We empirically demonstrate that MulCo
provides improved ability to fuse local and global contexts encoded using BERT
and GNN compared to the current state-of-the-art. Our experimental results show
that MulCo achieves new state-of-the-art results on several temporal relation
extraction datasets.
- Abstract(参考訳): テキスト中のイベントのペア間の時間的関係を抽出することは、自然言語理解にとって非常に難しい問題である。
イベント間の距離によっては、モデルが時間関係予測のためにイベントペアを取り巻くローカルコンテキストとグローバルコンテキストの異なるバランス情報を学ぶ必要がある。
この情報を融合する方法を学ぶことは、トランスフォーマーベースの言語モデルでは難しいことが証明されている。
そこで本稿では,mulco: multi-scale contrastive co-training (mulco: multi-scale contrastive co-training)を提案する。
我々のモデルは、ローカルコンテキストを符号化するBERTベースの言語モデルと、グローバルな文書レベルの構文と時間特性を表現するグラフニューラルネットワーク(GNN)を用いている。
高度な強化学習手法を用いて,多視点特徴の単純な連結や最適な文の選択を用いた従来の最先端手法とは異なり,多スケールのコントラスト学習目的を用いてgnnとbertモジュールを共同学習する。
GNNとBERTモジュールは、GNNマルチレイヤのマルチホップサブグラフ(グローバルコンテキスト埋め込み)とBERT出力(ローカルコンテキスト埋め込み)をエンドツーエンドのバックプロパゲーションを通じて対比することにより、相乗的パラメータ化を学ぶ。
mulco は bert と gnn を使ってエンコードされたローカルコンテキストとグローバルコンテキストを融合する能力が,現在の最先端と比較して改善されていることを実証的に示す。
実験の結果,mulcoは複数の時間関係抽出データセットで新たな最先端結果を得ることができた。
関連論文リスト
- BERT4CTR: An Efficient Framework to Combine Pre-trained Language Model
with Non-textual Features for CTR Prediction [12.850529317775198]
本稿では,非テキスト特徴とテキスト特徴の相互作用の恩恵を受けることができるUni-Attention機構を備えた新しいフレームワークBERT4CTRを提案する。
BERT4CTRは、マルチモーダル入力を処理する最先端フレームワークを大幅に上回り、Click-Through-Rate (CTR)予測に適用できる。
論文 参考訳(メタデータ) (2023-08-17T08:25:54Z) - Unified Model Learning for Various Neural Machine Translation [63.320005222549646]
既存の機械翻訳(NMT)研究は主にデータセット固有のモデルの開発に焦点を当てている。
我々は,NMT(UMLNMT)のための統一モデル学習モデル(Unified Model Learning for NMT)を提案する。
OurNMTは、データセット固有のモデルよりも大幅に改善され、モデルデプロイメントコストが大幅に削減される。
論文 参考訳(メタデータ) (2023-05-04T12:21:52Z) - Adapted Multimodal BERT with Layer-wise Fusion for Sentiment Analysis [84.12658971655253]
本稿では,マルチモーダルタスクのためのBERTベースのアーキテクチャであるAdapted Multimodal BERTを提案する。
アダプタはタスクの事前訓練された言語モデルを手動で調整し、融合層はタスク固有の層ワイドな音声視覚情報とテキストBERT表現を融合させる。
われわれは、このアプローチがより効率的なモデルにつながり、微調整されたモデルよりも優れ、ノイズの入力に堅牢であることを示した。
論文 参考訳(メタデータ) (2022-12-01T17:31:42Z) - Hierarchical Local-Global Transformer for Temporal Sentence Grounding [58.247592985849124]
本稿では,時間文グラウンドリングのマルチメディア問題について検討する。
与えられた文問合せに従って、トリミングされていないビデオ内の特定のビデオセグメントを正確に決定することを目的としている。
論文 参考訳(メタデータ) (2022-08-31T14:16:56Z) - Learning to Generalize to More: Continuous Semantic Augmentation for
Neural Machine Translation [50.54059385277964]
CsaNMT(Continuous Semantic Augmentation)と呼ばれる新しいデータ拡張パラダイムを提案する。
CsaNMTは各トレーニングインスタンスを、同じ意味の下で適切なリテラル式をカバーできる隣接領域で拡張する。
論文 参考訳(メタデータ) (2022-04-14T08:16:28Z) - GNN-LM: Language Modeling based on Global Contexts via GNN [32.52117529283929]
GNN-LMは、トレーニングコーパス全体において、同様のコンテキストを参照できるようにすることで、バニラニューラル言語モデル(LM)を拡張します。
GNN-LMはWikiText-103で14.8の最先端のパープレクシリティを実現している。
論文 参考訳(メタデータ) (2021-10-17T07:18:21Z) - Divide and Rule: Training Context-Aware Multi-Encoder Translation Models
with Little Resources [20.057692375546356]
マルチエンコーダモデルは、文書レベルのコンテキスト情報を現在の文と共にエンコードすることで、翻訳品質の向上を目指しています。
これらのパラメータのトレーニングは、コンテキストのトレーニング信号がスパースしているため、大量のデータを必要とする。
本稿では,並列文集合の訓練信号を豊かにするための,分割文対に基づく効率的な代替手法を提案する。
論文 参考訳(メタデータ) (2021-03-31T15:15:32Z) - GATE: Graph Attention Transformer Encoder for Cross-lingual Relation and
Event Extraction [107.8262586956778]
言語に依存しない文表現を学習するために、普遍的な依存解析を伴うグラフ畳み込みネットワーク(GCN)を導入する。
GCNは、長い範囲の依存関係を持つ単語をモデル化するのに苦労する。
そこで本研究では,構文的距離の異なる単語間の依存関係を学習するための自己認識機構を提案する。
論文 参考訳(メタデータ) (2020-10-06T20:30:35Z) - InfoBERT: Improving Robustness of Language Models from An Information
Theoretic Perspective [84.78604733927887]
BERTのような大規模言語モデルは、幅広いNLPタスクで最先端のパフォーマンスを実現している。
近年の研究では、このようなBERTベースのモデルが、テキストの敵対的攻撃の脅威に直面していることが示されている。
本稿では,事前学習した言語モデルの堅牢な微調整のための新しい学習フレームワークであるInfoBERTを提案する。
論文 参考訳(メタデータ) (2020-10-05T20:49:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。