論文の概要: Entity-Aware Self-Attention and Contextualized GCN for Enhanced Relation Extraction in Long Sentences
- arxiv url: http://arxiv.org/abs/2409.13755v2
- Date: Tue, 12 Nov 2024 02:01:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-13 13:19:00.378317
- Title: Entity-Aware Self-Attention and Contextualized GCN for Enhanced Relation Extraction in Long Sentences
- Title（参考訳）: 長文関係抽出のためのエンティティ対応自己認識と文脈化GCN
- Authors: Xin Wang, Xinyi Bai,
- Abstract要約: 本稿では,入力文の構文構造とシーケンスの意味的文脈を効率的に組み込んだ,エンティティを意識した自己意図型GCN(ESC-GCN)を提案する。
本モデルでは,既存の依存性ベースモデルやシーケンスベースモデルと比較して,パフォーマンスの向上を実現している。
- 参考スコア（独自算出の注目度）: 5.453850739960517
- License:
- Abstract: Relation extraction as an important natural Language processing (NLP) task is to identify relations between named entities in text. Recently, graph convolutional networks over dependency trees have been widely used to capture syntactic features and achieved attractive performance. However, most existing dependency-based approaches ignore the positive influence of the words outside the dependency trees, sometimes conveying rich and useful information on relation extraction. In this paper, we propose a novel model, Entity-aware Self-attention Contextualized GCN (ESC-GCN), which efficiently incorporates syntactic structure of input sentences and semantic context of sequences. To be specific, relative position self-attention obtains the overall semantic pairwise correlation related to word position, and contextualized graph convolutional networks capture rich intra-sentence dependencies between words by adequately pruning operations. Furthermore, entity-aware attention layer dynamically selects which token is more decisive to make final relation prediction. In this way, our proposed model not only reduces the noisy impact from dependency trees, but also obtains easily-ignored entity-related semantic representation. Extensive experiments on various tasks demonstrate that our model achieves encouraging performance as compared to existing dependency-based and sequence-based models. Specially, our model excels in extracting relations between entities of long sentences.
- Abstract（参考訳）: 重要な自然言語処理(NLP)タスクとしての関係抽出は、テキスト内の名前付きエンティティ間の関係を特定することである。
近年, 依存木上のグラフ畳み込みネットワークは, 構文的特徴を捉えるために広く利用されており, 魅力的な性能を実現している。
しかし、既存の依存性ベースのアプローチのほとんどは、依存関係ツリーの外にある単語のポジティブな影響を無視し、時には関係抽出に関するリッチで有用な情報を伝達する。
本稿では,入力文の構文構造とシーケンスの意味的文脈を効率的に組み込んだ,エンティティ対応型自己意図型GCN(ESC-GCN)を提案する。
具体的には、相対的な位置自己注意は、単語位置に関連する全体的な意味的対関係を求め、文脈化されたグラフ畳み込みネットワークは、適切な操作をすることで、単語間のリッチな文内依存関係をキャプチャする。
さらに、エンティティ対応注意層は、最終的な関係予測を行うためにどのトークンが決定的かを動的に選択する。
このようにして,本提案モデルは依存性木からのノイズの影響を低減させるだけでなく,容易に無視できるエンティティ関連セマンティック表現も得る。
各種タスクに対する大規模な実験により,既存の依存性ベースモデルやシーケンスベースモデルと比較して,我々のモデルが性能の向上を図っている。
特に,長文の実体間の関係を抽出する上で,本モデルが優れている。
関連論文リスト
- HiURE: Hierarchical Exemplar Contrastive Learning for Unsupervised
Relation Extraction [60.80849503639896]
非教師なし関係抽出は、関係範囲や分布に関する事前情報のない自然言語文からエンティティ間の関係を抽出することを目的としている。
本稿では,階層間注目を用いた階層的特徴空間から階層的信号を導出する機能を持つ,HiUREという新しいコントラスト学習フレームワークを提案する。
2つの公開データセットの実験結果は、最先端モデルと比較した場合の教師なし関係抽出におけるHiUREの有効性とロバスト性を示す。
論文 参考訳（メタデータ） (2022-05-04T17:56:48Z) - Imposing Relation Structure in Language-Model Embeddings Using
Contrastive Learning [30.00047118880045]
グラフ構造における関係をエンコードするために文埋め込みを訓練する新しいコントラスト学習フレームワークを提案する。
結果として得られた関係認識文の埋め込みは、関係抽出タスクにおける最先端の結果を得る。
論文 参考訳（メタデータ） (2021-09-02T10:58:27Z) - Distantly Supervised Relation Extraction via Recursive
Hierarchy-Interactive Attention and Entity-Order Perception [3.8651116146455533]
文中では、2つの実体の出現順序は、その意味論の理解に寄与する。
文エンコーダがよりエンティティの外観情報を保持できるように,Entity-Order Perception (EOP) と呼ばれる新たな訓練目標を導入する。
提案手法は,P-R曲線,AUC,Top-N精度などの評価指標を用いて,最先端性能を実現する。
論文 参考訳（メタデータ） (2021-05-18T00:45:25Z) - MrGCN: Mirror Graph Convolution Network for Relation Extraction with
Long-Term Dependencies [32.27755470353054]
関係抽出では、豊富な構文的手がかりを含む依存木がテキストの長期依存を捉えるのに広く使われている。
関係抽出に適したプールアンプール構造を持つGNNモデルであるミラーグラフ畳み込みネットワーク(MrGCN)を提案する。
2つのデータセットを用いた実験により,提案手法の有効性が示された。
論文 参考訳（メタデータ） (2021-01-01T00:52:53Z) - High-order Semantic Role Labeling [86.29371274587146]
本稿では,ニューラルセマンティックロールラベリングモデルのための高階グラフ構造を提案する。
これにより、モデルは孤立述語-引数対だけでなく、述語-引数対間の相互作用も明示的に考慮することができる。
CoNLL-2009ベンチマークの7つの言語に対する実験結果から、高次構造学習技術は強力なSRLモデルに有益であることが示された。
論文 参考訳（メタデータ） (2020-10-09T15:33:54Z) - Multidirectional Associative Optimization of Function-Specific Word
Representations [86.87082468226387]
本稿では,関係する単語群間の関連を学習するためのニューラルネットワークフレームワークを提案する。
我々のモデルは結合関数固有の単語ベクトル空間を誘導し、例えば可塑性SVO合成のベクトルが近接して配置される。
このモデルは、共同空間においても単語群のメンバーシップに関する情報を保持し、SVO構造を前提とした複数のタスクに効果的に適用することができる。
論文 参考訳（メタデータ） (2020-05-11T17:07:20Z) - Probing Linguistic Features of Sentence-Level Representations in Neural
Relation Extraction [80.38130122127882]
ニューラルリレーション抽出(RE)に関連する言語特性を対象とした14の探索タスクを導入する。
私たちは、40以上の異なるエンコーダアーキテクチャと2つのデータセットでトレーニングされた言語的特徴の組み合わせによって学習された表現を研究するためにそれらを使用します。
アーキテクチャによって引き起こされるバイアスと言語的特徴の含意は、探索タスクのパフォーマンスにおいて明らかに表現されている。
論文 参考訳（メタデータ） (2020-04-17T09:17:40Z) - SelfORE: Self-supervised Relational Feature Learning for Open Relation
Extraction [60.08464995629325]
オープンドメイン関係抽出は、自然言語文からオープンドメイン関係事実を抽出するタスクである。
弱い自己教師型信号を利用する自己教師型フレームワークであるSelfOREを提案する。
3つのデータセットの実験結果は、SelfOREの有効性とロバスト性を示している。
論文 参考訳（メタデータ） (2020-04-06T07:23:17Z) - A Dependency Syntactic Knowledge Augmented Interactive Architecture for
End-to-End Aspect-based Sentiment Analysis [73.74885246830611]
エンドツーエンドABSAのためのマルチタスク学習を用いた対話型アーキテクチャを新たに提案する。
このモデルは、よく設計された依存性関係埋め込みグラフ畳み込みネットワーク(DreGcn)を活用することで、構文知識(依存性関係と型)を完全に活用することができる。
3つのベンチマークデータセットの大規模な実験結果から,本手法の有効性が示された。
論文 参考訳（メタデータ） (2020-04-04T14:59:32Z) - Discontinuous Constituent Parsing with Pointer Networks [0.34376560669160383]
不連続な構成木は、ドイツ語のような言語の文法的な現象を表現するのに不可欠である。
係り受け解析の最近の進歩は、ポインタネットワークが文中の単語間の構文関係を効率的に解析することに優れていることを示している。
本稿では,最も正確な不連続な構成表現を生成するニューラルネットワークアーキテクチャを提案する。
論文 参考訳（メタデータ） (2020-02-05T15:12:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。