論文の概要: How Fragile is Relation Extraction under Entity Replacements?

• arxiv url: http://arxiv.org/abs/2305.13551v3
• Date: Tue, 7 May 2024 16:22:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-08 20:33:08.038198
• Title: How Fragile is Relation Extraction under Entity Replacements?
• Title（参考訳）: エンティティ・リプレースにおける関係抽出はいかに脆弱か?
• Authors: Yiwei Wang, Bryan Hooi, Fei Wang, Yujun Cai, Yuxuan Liang, Wenxuan Zhou, Jing Tang, Manjuan Duan, Muhao Chen,
• Abstract要約: 関係抽出(RE)は、テキストコンテキストからエンティティ名間の関係を抽出することを目的としている。 既存の研究によると、REはエンティティ名パターンをモデル化し、テキストコンテキストを無視しながらRE予測を行う。 これは、REモデルはエンティティの置換に対して堅牢か?」という疑問を提起する動機になります。
• 参考スコア（独自算出の注目度）: 70.34001923252711
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Relation extraction (RE) aims to extract the relations between entity names from the textual context. In principle, textual context determines the ground-truth relation and the RE models should be able to correctly identify the relations reflected by the textual context. However, existing work has found that the RE models memorize the entity name patterns to make RE predictions while ignoring the textual context. This motivates us to raise the question: ``are RE models robust to the entity replacements?'' In this work, we operate the random and type-constrained entity replacements over the RE instances in TACRED and evaluate the state-of-the-art RE models under the entity replacements. We observe the 30\% - 50\% F1 score drops on the state-of-the-art RE models under entity replacements. These results suggest that we need more efforts to develop effective RE models robust to entity replacements. We release the source code at https://github.com/wangywUST/RobustRE.
• Abstract（参考訳）: 関係抽出(RE)は、テキストコンテキストからエンティティ名間の関係を抽出することを目的としている。 原則として、テキストコンテキストは基幹構造関係を決定し、REモデルはテキストコンテキストによって反映される関係を正しく識別できるべきである。 しかし、既存の研究によると、REモデルはエンティティ名パターンを記憶し、テキストコンテキストを無視しながらRE予測を行う。 この作業では、TACREDのREインスタンス上でランダムで制約されたエンティティ置換を運用し、エンティティ置換の下で最先端のREモデルを評価します。 我々は、エンティティ置換の下で最先端のREモデルにおいて、30 %から50 %のF1スコアの低下を観察する。 これらの結果から,エンティティ置換に対して堅牢な効果的なREモデルを開発するには,さらなる努力が必要であることが示唆された。 ソースコードはhttps://github.com/wangywUST/RobustREで公開しています。

関連論文リスト

• Grasping the Essentials: Tailoring Large Language Models for Zero-Shot Relation Extraction [33.528688487954454]
  関係抽出(RE)は、テキスト内のエンティティ間の意味的関係を識別することを目的としている。 アノテーションの要求を減らすことを目的とした、ほとんどショットの学習は、通常、ターゲット関係に対する不完全で偏見のある監視を提供する。 1)大言語モデル(LLM)を利用して,関係定義とラベルなしコーパスから初期シードインスタンスを生成する。
  論文  参考訳（メタデータ） (2024-02-17T00:20:06Z)
• Think Rationally about What You See: Continuous Rationale Extraction for Relation Extraction [86.90265683679469]
  関係抽出は、2つの実体の文脈に応じてポテンシャル関係を抽出することを目的としている。 本稿では2つの連続性と疎性係数を利用するRE2という新しい論理抽出フレームワークを提案する。 4つのデータセットの実験は、RE2がベースラインを超えたことを示している。
  論文  参考訳（メタデータ） (2023-05-02T03:52:34Z)
• An Overview of Distant Supervision for Relation Extraction with a Focus on Denoising and Pre-training Methods [0.0]
  関係抽出は自然言語処理の基本課題である。 RE法の歴史は、パターンベースRE、統計ベースRE、ニューラルベースRE、大規模言語モデルベースREの4つのフェーズに大別できる。
  論文  参考訳（メタデータ） (2022-07-17T21:02:04Z)
• Should We Rely on Entity Mentions for Relation Extraction? Debiasing Relation Extraction with Counterfactual Analysis [60.83756368501083]
  文レベルの関係抽出のためのCORE(Counterfactual Analysis based Relation extract)デバイアス法を提案する。 我々のCORE法は,トレーニングプロセスを変更することなく,推論中に既存のREシステムを劣化させるモデルに依存しない。
  論文  参考訳（メタデータ） (2022-05-08T05:13:54Z)
• Does Recommend-Revise Produce Reliable Annotations? An Analysis on Missing Instances in DocRED [60.39125850987604]
  テキスト修正方式は, 偽陰性サンプルと, 人気エンティティや関係性に対する明らかな偏見をもたらすことを示す。 より信頼性の高いドキュメントREモデルのテストセットとして機能するように、relabeledデータセットがリリースされている。
  論文  参考訳（メタデータ） (2022-04-17T11:29:01Z)
• Automatically Generating Counterfactuals for Relation Exaction [18.740447044960796]
  関係抽出(RE)は自然言語処理の基本課題である。 現在のディープニューラルモデルは高い精度を達成しているが、スプリアス相関の影響を受けやすい。 我々は、エンティティの文脈的反事実を導出するための新しいアプローチを開発する。
  論文  参考訳（メタデータ） (2022-02-22T04:46:10Z)
• Learning from Context or Names? An Empirical Study on Neural Relation Extraction [112.06614505580501]
  テキストにおける2つの主要な情報ソースの効果について検討する:テキストコンテキストとエンティティ参照(名前) 本稿では,関係抽出のための実体型コントラスト事前学習フレームワーク(RE)を提案する。 我々のフレームワークは、異なるREシナリオにおけるニューラルモデルの有効性と堅牢性を改善することができる。
  論文  参考訳（メタデータ） (2020-10-05T11:21:59Z)
• Relation of the Relations: A New Paradigm of the Relation Extraction Problem [52.21210549224131]
  我々は,関係抽出(RE)の新たなパラダイムを提案し,同じ文脈におけるすべての関係の予測を総合的に検討する。 我々は、手作りのルールを必要としないデータ駆動型アプローチを開発し、グラフニューラルネットワークと関係行列変換器を用いた関係関係(RoR)をそれ自体で学習する。 実験の結果、私たちのモデルはACE05データセットでは+1.12%、SemEval 2018 Task 7.2では2.55%で最先端のアプローチよりも優れています。
  論文  参考訳（メタデータ） (2020-06-05T22:25:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。