論文の概要: Learning from Context or Names? An Empirical Study on Neural Relation Extraction

• arxiv url: http://arxiv.org/abs/2010.01923v2
• Date: Tue, 1 Dec 2020 04:10:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-10 21:32:46.638402
• Title: Learning from Context or Names? An Empirical Study on Neural Relation Extraction
• Title（参考訳）: コンテキストや名前から学ぶか? 神経関係抽出に関する経験的研究
• Authors: Hao Peng, Tianyu Gao, Xu Han, Yankai Lin, Peng Li, Zhiyuan Liu, Maosong Sun, Jie Zhou
• Abstract要約: テキストにおける2つの主要な情報ソースの効果について検討する:テキストコンテキストとエンティティ参照(名前) 本稿では,関係抽出のための実体型コントラスト事前学習フレームワーク(RE)を提案する。 我々のフレームワークは、異なるREシナリオにおけるニューラルモデルの有効性と堅牢性を改善することができる。
• 参考スコア（独自算出の注目度）: 112.06614505580501
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural models have achieved remarkable success on relation extraction (RE) benchmarks. However, there is no clear understanding which type of information affects existing RE models to make decisions and how to further improve the performance of these models. To this end, we empirically study the effect of two main information sources in text: textual context and entity mentions (names). We find that (i) while context is the main source to support the predictions, RE models also heavily rely on the information from entity mentions, most of which is type information, and (ii) existing datasets may leak shallow heuristics via entity mentions and thus contribute to the high performance on RE benchmarks. Based on the analyses, we propose an entity-masked contrastive pre-training framework for RE to gain a deeper understanding on both textual context and type information while avoiding rote memorization of entities or use of superficial cues in mentions. We carry out extensive experiments to support our views, and show that our framework can improve the effectiveness and robustness of neural models in different RE scenarios. All the code and datasets are released at https://github.com/thunlp/RE-Context-or-Names.
• Abstract（参考訳）: ニューラルモデルは関係抽出(RE)ベンチマークで顕著な成功を収めた。 しかし、決定を下すために既存のREモデルにどのような情報が影響を及ぼすのか、そしてこれらのモデルの性能をさらに改善する方法については、明確な理解がない。 この目的のために、テキスト中の2つの主要な情報ソース(テキストコンテキストとエンティティ参照(名前))の効果を実証的に研究する。 私たちはそれを見つけ i) コンテキストが予測をサポートする主要なソースである一方で、REモデルはエンティティ参照の情報にも大きく依存しており、そのほとんどが型情報である。 (ii)既存のデータセットはエンティティ参照を通じて浅いヒューリスティックスをリークし、REベンチマークのパフォーマンス向上に寄与する可能性がある。 そこで本研究では,エンティティの暗記化や表層的手がかりの使用を回避しつつ,テキスト的文脈と型情報の両方についてより深く理解するための,エンティティマストによるコントラスト事前学習フレームワークを提案する。 我々は、視点をサポートするために広範な実験を行い、様々なreシナリオにおける神経モデルの有効性と堅牢性を改善することができることを示す。 すべてのコードとデータセットはhttps://github.com/thunlp/RE-Context-or-Namesでリリースされる。

関連論文リスト

• Enriching Relation Extraction with OpenIE [70.52564277675056]
  関係抽出(RE)は情報抽出(IE)のサブ分野である 本稿では,オープン情報抽出(OpenIE)の最近の取り組みがREの課題の改善にどのように役立つかを検討する。 本稿では,2つの注釈付きコーパスであるKnowledgeNetとFewRelを用いた実験により,拡張モデルの精度向上を実証した。
  論文  参考訳（メタデータ） (2022-12-19T11:26:23Z)
• An Empirical Investigation of Commonsense Self-Supervision with Knowledge Graphs [67.23285413610243]
  大規模知識グラフから抽出した情報に基づく自己監督は、言語モデルの一般化を改善することが示されている。 本研究では,言語モデルに適用可能な合成データを生成するための知識サンプリング戦略とサイズの影響について検討する。
  論文  参考訳（メタデータ） (2022-05-21T19:49:04Z)
• Should We Rely on Entity Mentions for Relation Extraction? Debiasing Relation Extraction with Counterfactual Analysis [60.83756368501083]
  文レベルの関係抽出のためのCORE(Counterfactual Analysis based Relation extract)デバイアス法を提案する。 我々のCORE法は,トレーニングプロセスを変更することなく,推論中に既存のREシステムを劣化させるモデルに依存しない。
  論文  参考訳（メタデータ） (2022-05-08T05:13:54Z)
• Automatically Generating Counterfactuals for Relation Exaction [18.740447044960796]
  関係抽出(RE)は自然言語処理の基本課題である。 現在のディープニューラルモデルは高い精度を達成しているが、スプリアス相関の影響を受けやすい。 我々は、エンティティの文脈的反事実を導出するための新しいアプローチを開発する。
  論文  参考訳（メタデータ） (2022-02-22T04:46:10Z)
• Relation-Guided Representation Learning [53.60351496449232]
  本稿では,サンプル関係を明示的にモデル化し,活用する表現学習手法を提案する。 私たちのフレームワークは、サンプル間の関係をよく保存します。 サンプルをサブスペースに埋め込むことにより,本手法が大規模なサンプル外問題に対処可能であることを示す。
  論文  参考訳（メタデータ） (2020-07-11T10:57:45Z)
• Probing Linguistic Features of Sentence-Level Representations in Neural Relation Extraction [80.38130122127882]
  ニューラルリレーション抽出(RE)に関連する言語特性を対象とした14の探索タスクを導入する。 私たちは、40以上の異なるエンコーダアーキテクチャと2つのデータセットでトレーニングされた言語的特徴の組み合わせによって学習された表現を研究するためにそれらを使用します。 アーキテクチャによって引き起こされるバイアスと言語的特徴の含意は、探索タスクのパフォーマンスにおいて明らかに表現されている。
  論文  参考訳（メタデータ） (2020-04-17T09:17:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。