論文の概要: EntRED: Benchmarking Relation Extraction with Fewer Shortcuts

• arxiv url: http://arxiv.org/abs/2305.13551v1
• Date: Mon, 22 May 2023 23:53:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-24 20:13:27.546473
• Title: EntRED: Benchmarking Relation Extraction with Fewer Shortcuts
• Title（参考訳）: entred: ショートカットの少ないベンチマーク関係抽出
• Authors: Yiwei Wang, Bryan Hooi, Fei Wang, Yujun Cai, Yuxuan Liang, Wenxuan Zhou, Jing Tang, Manjuan Duan, Muhao Chen
• Abstract要約: 本稿では,ショートカットを削減し,エンティティの多様性を高めるREベンチマークであるEntREDを紹介する。 因果推論(CI: ERIC)に基づくエンドツーエンドのエンティティ置換パイプラインを提案する。 私たちのEntREDは、REモデルがエンティティバイアスに頼るのではなく、テキストから正しい関係を抽出できるかどうかを評価します。
• 参考スコア（独自算出の注目度）: 49.646203966689
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Entity names play an effective role in relation extraction (RE) and often influence model performance. As a result, the entity names in the benchmarks' test sets significantly influence the evaluation of RE models. In this work, we find that the standard RE benchmarks' datasets have a large portion of incorrect entity annotations, low entity name diversity, and are prone to have shortcuts from entity names to ground-truth relations. These issues make the standard benchmarks far from reflecting the real-world scenarios. Hence, in this work, we present EntRED, a challenging RE benchmark with reduced shortcuts and higher diversity of entities. To build EntRED, we propose an end-to-end entity replacement pipeline based on causal inference (CI): ERIC. ERIC performs type-constrained replacements on entities to reduce the shortcuts from entity bias to ground-truth relations. ERIC applies CI in two aspects: 1) targeting the instances that need entity replacements, and 2) determining the candidate entities for replacements. We apply ERIC on TACRED to produce EntRED. Our EntRED evaluates whether the RE model can correctly extract the relations from the text instead of relying on entity bias. Empirical results reveal that even the strong RE model has a significant performance drop on EntRED, which memorizes entity name patterns instead of reasoning from the textual context. We release ERIC's source code and the EntRED benchmark at https://github.com/wangywUST/ENTRED.
• Abstract（参考訳）: エンティティ名は関係抽出(RE)において効果的な役割を担い、しばしばモデルのパフォーマンスに影響を与える。 その結果、ベンチマークテストセットのエンティティ名はREモデルの評価に大きく影響した。 本研究では,標準REベンチマークのデータセットには誤ったエンティティアノテーションが多く,エンティティ名の多様性が低く,エンティティ名からベーストゥルース関係へのショートカットが難しいことが判明した。 これらの問題により、標準ベンチマークは現実のシナリオを反映しない。 そこで本研究では,ショートカットの削減とエンティティの多様性の向上を両立させたREベンチマークであるEntREDを紹介する。 EntREDを構築するために、因果推論(CI:ERIC)に基づくエンドツーエンドのエンティティ置換パイプラインを提案する。 ERICはエンティティの型制約付き置換を行い、エンティティバイアスから接地真実関係へのショートカットを減らす。 ERICはCIを2つの側面に適用する。 1)エンティティ置換が必要なインスタンスをターゲットとし、 2) 置換対象の候補エンティティを決定する。 ERICをTACREDに適用してEntREDを製造する。 我々はreモデルがエンティティバイアスに頼るのではなく、テキストから関係を正しく抽出できるかどうかを評価する。 実証的な結果から、強力なREモデルでさえEntREDに大幅なパフォーマンス低下があることが分かる。 ERICのソースコードとEntREDベンチマークをhttps://github.com/wangywUST/ENTREDでリリースします。

関連論文リスト

• Grasping the Essentials: Tailoring Large Language Models for Zero-Shot Relation Extraction [33.528688487954454]
  関係抽出(RE)は、テキスト内のエンティティ間の意味的関係を識別することを目的としている。 アノテーションの要求を減らすことを目的とした、ほとんどショットの学習は、通常、ターゲット関係に対する不完全で偏見のある監視を提供する。 1)大言語モデル(LLM)を利用して,関係定義とラベルなしコーパスから初期シードインスタンスを生成する。
  論文  参考訳（メタデータ） (2024-02-17T00:20:06Z)
• Think Rationally about What You See: Continuous Rationale Extraction for Relation Extraction [86.90265683679469]
  関係抽出は、2つの実体の文脈に応じてポテンシャル関係を抽出することを目的としている。 本稿では2つの連続性と疎性係数を利用するRE2という新しい論理抽出フレームワークを提案する。 4つのデータセットの実験は、RE2がベースラインを超えたことを示している。
  論文  参考訳（メタデータ） (2023-05-02T03:52:34Z)
• An Overview of Distant Supervision for Relation Extraction with a Focus on Denoising and Pre-training Methods [0.0]
  関係抽出は自然言語処理の基本課題である。 RE法の歴史は、パターンベースRE、統計ベースRE、ニューラルベースRE、大規模言語モデルベースREの4つのフェーズに大別できる。
  論文  参考訳（メタデータ） (2022-07-17T21:02:04Z)
• Should We Rely on Entity Mentions for Relation Extraction? Debiasing Relation Extraction with Counterfactual Analysis [60.83756368501083]
  文レベルの関係抽出のためのCORE(Counterfactual Analysis based Relation extract)デバイアス法を提案する。 我々のCORE法は,トレーニングプロセスを変更することなく,推論中に既存のREシステムを劣化させるモデルに依存しない。
  論文  参考訳（メタデータ） (2022-05-08T05:13:54Z)
• Does Recommend-Revise Produce Reliable Annotations? An Analysis on Missing Instances in DocRED [60.39125850987604]
  テキスト修正方式は, 偽陰性サンプルと, 人気エンティティや関係性に対する明らかな偏見をもたらすことを示す。 より信頼性の高いドキュメントREモデルのテストセットとして機能するように、relabeledデータセットがリリースされている。
  論文  参考訳（メタデータ） (2022-04-17T11:29:01Z)
• Automatically Generating Counterfactuals for Relation Exaction [18.740447044960796]
  関係抽出(RE)は自然言語処理の基本課題である。 現在のディープニューラルモデルは高い精度を達成しているが、スプリアス相関の影響を受けやすい。 我々は、エンティティの文脈的反事実を導出するための新しいアプローチを開発する。
  論文  参考訳（メタデータ） (2022-02-22T04:46:10Z)
• Learning from Context or Names? An Empirical Study on Neural Relation Extraction [112.06614505580501]
  テキストにおける2つの主要な情報ソースの効果について検討する:テキストコンテキストとエンティティ参照(名前) 本稿では,関係抽出のための実体型コントラスト事前学習フレームワーク(RE)を提案する。 我々のフレームワークは、異なるREシナリオにおけるニューラルモデルの有効性と堅牢性を改善することができる。
  論文  参考訳（メタデータ） (2020-10-05T11:21:59Z)
• Relation of the Relations: A New Paradigm of the Relation Extraction Problem [52.21210549224131]
  我々は,関係抽出(RE)の新たなパラダイムを提案し,同じ文脈におけるすべての関係の予測を総合的に検討する。 我々は、手作りのルールを必要としないデータ駆動型アプローチを開発し、グラフニューラルネットワークと関係行列変換器を用いた関係関係(RoR)をそれ自体で学習する。 実験の結果、私たちのモデルはACE05データセットでは+1.12%、SemEval 2018 Task 7.2では2.55%で最先端のアプローチよりも優れています。
  論文  参考訳（メタデータ） (2020-06-05T22:25:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。