論文の概要: RGAT: A Deeper Look into Syntactic Dependency Information for
Coreference Resolution
- arxiv url: http://arxiv.org/abs/2309.04977v1
- Date: Sun, 10 Sep 2023 09:46:38 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-12 15:18:34.429839
- Title: RGAT: A Deeper Look into Syntactic Dependency Information for
Coreference Resolution
- Title（参考訳）: rgat:コリファレンス解決のための構文依存情報についてより深く検討する
- Authors: Yuan Meng, Xuhao Pan, Jun Chang and Yue Wang
- Abstract要約: 我々は、事前学習されたBERTと構文関係グラフ注意ネットワーク(RGAT)を組み合わせたエンドツーエンドの解決法を提案する。
特に、RGATモデルが最初に提案され、次に、構文依存グラフを理解し、より優れたタスク固有の構文埋め込みを学ぶために使用される。
BERT埋め込みと構文埋め込みを組み合わせた統合アーキテクチャを構築し、下流タスクのブレンディング表現を生成する。
- 参考スコア（独自算出の注目度）: 8.017036537163008
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Although syntactic information is beneficial for many NLP tasks, combining it
with contextual information between words to solve the coreference resolution
problem needs to be further explored. In this paper, we propose an end-to-end
parser that combines pre-trained BERT with a Syntactic Relation Graph Attention
Network (RGAT) to take a deeper look into the role of syntactic dependency
information for the coreference resolution task. In particular, the RGAT model
is first proposed, then used to understand the syntactic dependency graph and
learn better task-specific syntactic embeddings. An integrated architecture
incorporating BERT embeddings and syntactic embeddings is constructed to
generate blending representations for the downstream task. Our experiments on a
public Gendered Ambiguous Pronouns (GAP) dataset show that with the supervision
learning of the syntactic dependency graph and without fine-tuning the entire
BERT, we increased the F1-score of the previous best model (RGCN-with-BERT)
from 80.3% to 82.5%, compared to the F1-score by single BERT embeddings from
78.5% to 82.5%. Experimental results on another public dataset - OntoNotes 5.0
demonstrate that the performance of the model is also improved by incorporating
syntactic dependency information learned from RGAT.
- Abstract（参考訳）: 多くのnlpタスクでは構文情報は有益であるが、コリファレンス解決問題を解決するために単語間の文脈情報と組み合わせる必要がある。
本稿では,事前学習したBERTとSyntactic Relation Graph Attention Network(RGAT)を組み合わせたエンドツーエンドパーサを提案する。
特に、RGATモデルが最初に提案され、次に、構文依存グラフを理解し、より優れたタスク固有の構文埋め込みを学ぶために使用される。
BERT埋め込みと構文埋め込みを組み合わせた統合アーキテクチャを構築し、下流タスクのブレンディング表現を生成する。
gap(public gendered ambiguous pronouns)データセットを用いた実験では、構文依存グラフの監督学習とbert全体を微調整することなく、以前のベストモデル(rgcn-with-bert)のf1-scoreを80.3%から82.5%に増加させ、単一のbert埋め込みによるf1-scoreを78.5%から82.5%に増加させた。
別のパブリックデータセットでの実験的結果 - ontonotes 5.0は、rgatから学習した構文依存情報を組み込むことで、モデルのパフォーマンスも改善されていることを証明している。
関連論文リスト
- Syntactic Knowledge via Graph Attention with BERT in Machine Translation [0.0]
本稿では,機械翻訳(MT)シナリオにおけるBERT(SGB)を用いたグラフアテンションによる構文知識を提案する。
本実験では,ゴールド構文アノテーション文と品質推定(QE)モデルを用いて翻訳品質改善の解釈可能性を得る。
実験の結果,提案するSGBエンジンはBLEUスコアを犠牲にすることなく,MTタスクの翻訳品質を向上させることがわかった。
論文 参考訳（メタデータ） (2023-05-22T18:56:14Z) - Sentence-Level Relation Extraction via Contrastive Learning with
Descriptive Relation Prompts [1.5736899098702974]
本稿では、エンティティ情報、関係知識、エンティティタイプ制約を協調的に考慮する新しいパラダイムであるContrastive Learning with Descriptive Relation Prompts(CTL-)を提案する。
CTL-はTACREDで76.7%のF1スコアを獲得している。
新しい提案パラダイムは、最先端のパフォーマンスであるTACREVとRe-TACREDでそれぞれ85.8%と91.6%のF1スコアを達成する。
論文 参考訳（メタデータ） (2023-04-11T02:15:13Z) - Enriching Relation Extraction with OpenIE [70.52564277675056]
関係抽出(RE)は情報抽出(IE)のサブ分野である
本稿では,オープン情報抽出(OpenIE)の最近の取り組みがREの課題の改善にどのように役立つかを検討する。
本稿では,2つの注釈付きコーパスであるKnowledgeNetとFewRelを用いた実験により,拡張モデルの精度向上を実証した。
論文 参考訳（メタデータ） (2022-12-19T11:26:23Z) - SAIS: Supervising and Augmenting Intermediate Steps for Document-Level
Relation Extraction [51.27558374091491]
本稿では,関係抽出のための中間ステップ(SAIS)を監督し,拡張することにより,関連コンテキストやエンティティタイプをキャプチャするモデルを明示的に教えることを提案する。
そこで本提案手法は,より効果的な管理を行うため,より優れた品質の関係を抽出するだけでなく,それに対応する証拠をより正確に抽出する。
論文 参考訳（メタデータ） (2021-09-24T17:37:35Z) - Exploiting Global Contextual Information for Document-level Named Entity
Recognition [46.99922251839363]
我々は、GCDoc(Global Context enhanced Document-level NER)と呼ばれるモデルを提案する。
単語レベルでは、文書グラフは単語間のより広範な依存関係をモデル化するために構築される。
文レベルでは、単一文を超えてより広い文脈を適切にモデル化するために、横断文モジュールを用いる。
我々のモデルは、CoNLL 2003データセットで92.22(BERTで93.40)、Ontonotes 5.0データセットで88.32(BERTで90.49)のスコアに達した。
論文 参考訳（メタデータ） (2021-06-02T01:52:07Z) - A Frustratingly Easy Approach for Entity and Relation Extraction [25.797992240847833]
本稿では,エンティティと関係抽出のための簡単なパイプライン化手法を提案する。
標準ベンチマーク(ACE04、ACE05、SciERC)における新しい最先端技術を確立する。
このアプローチは基本的に2つの独立したエンコーダ上に構築され、単にエンティティモデルを使用して関係モデルの入力を構築します。
論文 参考訳（メタデータ） (2020-10-24T07:14:01Z) - Syntactic Structure Distillation Pretraining For Bidirectional Encoders [49.483357228441434]
本稿では,BERTプレトレーニングに構文バイアスを注入するための知識蒸留手法を提案する。
我々は,構文的 LM から単語の周辺分布を抽出する。
本研究は,大量のデータを利用する表現学習者においても,構文バイアスの利点を示すものである。
論文 参考訳（メタデータ） (2020-05-27T16:44:01Z) - Coreferential Reasoning Learning for Language Representation [88.14248323659267]
本稿では,コンテキスト内でコアファーデンシャル関係をキャプチャ可能な新しい言語表現モデルCorefBERTを提案する。
実験の結果,既存のベースラインモデルと比較して,CorefBERTは下流のNLPタスクにおいて一貫した大幅な改善を達成できることがわかった。
論文 参考訳（メタデータ） (2020-04-15T03:57:45Z) - AMR Parsing via Graph-Sequence Iterative Inference [62.85003739964878]
本稿では,AMR解析を入力シーケンスとインクリメンタルに構築されたグラフ上での2つの決定の連続として扱うエンド・ツー・エンドのモデルを提案する。
これら2つの質問に対する回答は相互因果関係であることを示す。
我々は、両方の視点でより良い回答を得るのに役立つ反復推論に基づくモデルを設計し、解析精度を大幅に改善する。
論文 参考訳（メタデータ） (2020-04-12T09:15:21Z) - A Dependency Syntactic Knowledge Augmented Interactive Architecture for
End-to-End Aspect-based Sentiment Analysis [73.74885246830611]
エンドツーエンドABSAのためのマルチタスク学習を用いた対話型アーキテクチャを新たに提案する。
このモデルは、よく設計された依存性関係埋め込みグラフ畳み込みネットワーク(DreGcn)を活用することで、構文知識(依存性関係と型)を完全に活用することができる。
3つのベンチマークデータセットの大規模な実験結果から,本手法の有効性が示された。
論文 参考訳（メタデータ） (2020-04-04T14:59:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。