論文の概要: Exploiting Global Contextual Information for Document-level Named Entity Recognition

• arxiv url: http://arxiv.org/abs/2106.00887v1
• Date: Wed, 2 Jun 2021 01:52:07 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-03 14:48:22.511256
• Title: Exploiting Global Contextual Information for Document-level Named Entity Recognition
• Title（参考訳）: 文書レベルの名前付きエンティティ認識におけるグローバルコンテキスト情報の利用
• Authors: Zanbo Wang, Wei Wei, Xianling Mao, Shanshan Feng, Pan Zhou, Zhiyong He and Sheng Jiang
• Abstract要約: 我々は、GCDoc(Global Context enhanced Document-level NER)と呼ばれるモデルを提案する。 単語レベルでは、文書グラフは単語間のより広範な依存関係をモデル化するために構築される。 文レベルでは、単一文を超えてより広い文脈を適切にモデル化するために、横断文モジュールを用いる。 我々のモデルは、CoNLL 2003データセットで92.22(BERTで93.40)、Ontonotes 5.0データセットで88.32(BERTで90.49)のスコアに達した。
• 参考スコア（独自算出の注目度）: 46.99922251839363
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Most existing named entity recognition (NER) approaches are based on sequence labeling models, which focus on capturing the local context dependencies. However, the way of taking one sentence as input prevents the modeling of non-sequential global context, which is useful especially when local context information is limited or ambiguous. To this end, we propose a model called Global Context enhanced Document-level NER (GCDoc) to leverage global contextual information from two levels, i.e., both word and sentence. At word-level, a document graph is constructed to model a wider range of dependencies between words, then obtain an enriched contextual representation for each word via graph neural networks (GNN). To avoid the interference of noise information, we further propose two strategies. First we apply the epistemic uncertainty theory to find out tokens whose representations are less reliable, thereby helping prune the document graph. Then a selective auxiliary classifier is proposed to effectively learn the weight of edges in document graph and reduce the importance of noisy neighbour nodes. At sentence-level, for appropriately modeling wider context beyond single sentence, we employ a cross-sentence module which encodes adjacent sentences and fuses it with the current sentence representation via attention and gating mechanisms. Extensive experiments on two benchmark NER datasets (CoNLL 2003 and Ontonotes 5.0 English dataset) demonstrate the effectiveness of our proposed model. Our model reaches F1 score of 92.22 (93.40 with BERT) on CoNLL 2003 dataset and 88.32 (90.49 with BERT) on Ontonotes 5.0 dataset, achieving new state-of-the-art performance.
• Abstract（参考訳）: 既存の名前付きエンティティ認識(NER)アプローチのほとんどは、ローカルコンテキストの依存関係をキャプチャするシーケンスラベリングモデルに基づいている。 しかし、入力として1つの文を取る方法は、特に局所的文脈情報が限定的または曖昧である場合に有用である、連続的でないグローバルコンテキストのモデリングを妨げている。 そこで本稿では,グローバルコンテキスト拡張ドキュメントレベルner(gcdoc)と呼ばれるモデルを提案する。 単語レベルでは、文書グラフは単語間のより広範な依存関係をモデル化し、グラフニューラルネットワーク(GNN)を介して各単語の豊富な文脈表現を得る。 ノイズ情報の干渉を避けるため,我々はさらに2つの戦略を提案する。 まず,認識的不確実性理論を応用して,表現が信頼性の低いトークンを見つけ出すことにより,文書グラフのプルネリングを支援する。 次に、文書グラフのエッジの重みを効果的に学習し、雑音の隣ノードの重要性を低減するために、選択的補助分類器を提案する。 文レベルでは、単一文以外の広い文脈を適切にモデル化するために、隣接文をエンコードし、注意とゲーティング機構を介して現在の文表現と融合するクロスセンスモジュールを用いる。 2つのベンチマークNERデータセット(CoNLL 2003 と Ontonotes 5.0 の英語データセット)の大規模な実験により,提案モデルの有効性が示された。 我々のモデルは,CoNLL 2003データセットで92.22(BERTで93.40),Ontonotes 5.0データセットで88.32(BERTで90.49)に達し,新たな最先端パフォーマンスを実現する。

関連論文リスト

• Graph-tree Fusion Model with Bidirectional Information Propagation for Long Document Classification [20.434941308959786]
  長い文書分類は、その広範な内容と複雑な構造のために困難を呈する。 既存のメソッドはトークン制限に苦しむことが多く、ドキュメント内の階層的関係を適切にモデル化することができない。 本手法は,文エンコーディングのための構文木と文書エンコーディングのための文書グラフを統合し,より詳細な構文関係とより広い文書コンテキストを抽出する。
  論文  参考訳（メタデータ） (2024-10-03T19:25:01Z)
• Hierarchical Attention Graph for Scientific Document Summarization in Global and Local Level [3.7651378994837104]
  ロングインプットは、文間の大域的高次関係と局所的文内関係を同時にモデル化することを妨げる。 本稿では,階層的談話構造に基づく文書のモデル化にグラフニューラルネットワークを用いた新しい手法であるHAESumを提案する。 提案手法を2つのベンチマークデータセットで検証し,実験結果からHAESumの有効性を実証した。
  論文  参考訳（メタデータ） (2024-05-16T15:46:30Z)
• Enriching Relation Extraction with OpenIE [70.52564277675056]
  関係抽出(RE)は情報抽出(IE)のサブ分野である 本稿では,オープン情報抽出(OpenIE)の最近の取り組みがREの課題の改善にどのように役立つかを検討する。 本稿では,2つの注釈付きコーパスであるKnowledgeNetとFewRelを用いた実験により,拡張モデルの精度向上を実証した。
  論文  参考訳（メタデータ） (2022-12-19T11:26:23Z)
• Long Document Summarization with Top-down and Bottom-up Inference [113.29319668246407]
  本稿では、2つの側面の要約モデルを改善するための原則的推論フレームワークを提案する。 我々のフレームワークは、トップレベルが長距離依存性をキャプチャするドキュメントの階層的な潜在構造を前提としています。 本稿では,様々な要約データセットに対して提案手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-03-15T01:24:51Z)
• SMDT: Selective Memory-Augmented Neural Document Translation [53.4627288890316]
  本稿では,文脈の広い仮説空間を含む文書を扱うために,選択的メモリ拡張型ニューラル文書翻訳モデルを提案する。 トレーニングコーパスから類似のバイリンガル文ペアを抽出し,グローバルな文脈を拡大する。 ローカルなコンテキストと多様なグローバルなコンテキストをキャプチャする選択的なメカニズムで、2ストリームのアテンションモデルを拡張する。
  論文  参考訳（メタデータ） (2022-01-05T14:23:30Z)
• Sparse Structure Learning via Graph Neural Networks for Inductive Document Classification [2.064612766965483]
  帰納的文書分類のための新しいGNNに基づくスパース構造学習モデルを提案する。 本モデルでは,文間の不連続な単語を接続する訓練可能なエッジの集合を収集し,動的文脈依存性を持つエッジを疎結合に選択するために構造学習を用いる。 いくつかの実世界のデータセットの実験では、提案されたモデルがほとんどの最先端の結果より優れていることが示されている。
  論文  参考訳（メタデータ） (2021-12-13T02:36:04Z)
• Unsupervised Keyphrase Extraction by Jointly Modeling Local and Global Context [25.3472693740778]
  埋め込みベースの手法は、教師なしキーフレーズ抽出(UKE)タスクに広く用いられている。 本稿では,地域とグローバルのコンテキストを共同でモデル化するUKEの新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-09-15T13:41:10Z)
• InsertGNN: Can Graph Neural Networks Outperform Humans in TOEFL Sentence Insertion Problem? [66.70154236519186]
  センテンス挿入は繊細だが基本的なNLP問題である。 文順序付け、テキストコヒーレンス、質問応答(QA)の現在のアプローチは、その解決には適さない。 本稿では,この問題をグラフとして表現し,グラフニューラルネットワーク(GNN)を用いて文間の関係を学習するモデルであるInsertGNNを提案する。
  論文  参考訳（メタデータ） (2021-03-28T06:50:31Z)
• Fine-Grained Named Entity Typing over Distantly Supervised Data Based on Refined Representations [16.30478830298353]
  Fine-Grained Named Entity Typing (FG-NET) は自然言語処理(NLP)の鍵となるコンポーネントである 本稿では,コーパスレベルの文脈的手がかりをエンド分類に先立ち,ノイズの多い参照表現を洗練させるエッジ重み付き注意グラフ畳み込みネットワークを提案する。 実験により,提案モデルではマクロf1とマイクロf1の相対スコアが10.2%,マクロf1が8.3%であった。
  論文  参考訳（メタデータ） (2020-04-07T17:26:36Z)
• Towards Making the Most of Context in Neural Machine Translation [112.9845226123306]
  我々は、これまでの研究がグローバルな文脈をはっきりと利用しなかったと論じている。 本研究では,各文の局所的文脈を意図的にモデル化する文書レベルNMTフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-02-19T03:30:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。