論文の概要: Revisiting DocRED -- Addressing the False Negative Problem in Relation Extraction

• arxiv url: http://arxiv.org/abs/2205.12696v3
• Date: Fri, 16 Jun 2023 05:44:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-19 18:33:00.566936
• Title: Revisiting DocRED -- Addressing the False Negative Problem in Relation Extraction
• Title（参考訳）: DocREDの再検討 -- 関係抽出における偽否定問題に対処する
• Authors: Qingyu Tan, Lu Xu, Lidong Bing, Hwee Tou Ng, Sharifah Mahani Aljunied
• Abstract要約: DocREDデータセットに4,053のドキュメントを再注釈し、失敗した関係を元のDocREDに追加しました。 両データセット上で最先端のニューラルモデルによる広範な実験を行い、実験結果から、Re-DocREDでトレーニングおよび評価されたモデルが、約13F1ポイントのパフォーマンス改善を実現していることが示された。
• 参考スコア（独自算出の注目度）: 39.78594332093083
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The DocRED dataset is one of the most popular and widely used benchmarks for document-level relation extraction (RE). It adopts a recommend-revise annotation scheme so as to have a large-scale annotated dataset. However, we find that the annotation of DocRED is incomplete, i.e., false negative samples are prevalent. We analyze the causes and effects of the overwhelming false negative problem in the DocRED dataset. To address the shortcoming, we re-annotate 4,053 documents in the DocRED dataset by adding the missed relation triples back to the original DocRED. We name our revised DocRED dataset Re-DocRED. We conduct extensive experiments with state-of-the-art neural models on both datasets, and the experimental results show that the models trained and evaluated on our Re-DocRED achieve performance improvements of around 13 F1 points. Moreover, we conduct a comprehensive analysis to identify the potential areas for further improvement. Our dataset is publicly available at https://github.com/tonytan48/Re-DocRED.
• Abstract（参考訳）: DocREDデータセットは、ドキュメントレベルの関係抽出(RE)のための最も人気があり広く使われているベンチマークの1つである。 大規模なアノテーション付きデータセットを持つために、推奨修正アノテーションスキームを採用している。 しかし,docredのアノテーションは不完全であり,偽陰性のサンプルが一般的であることがわかった。 我々はDocREDデータセットにおける圧倒的な偽陰性問題の原因と影響を分析する。 欠点に対処するため、DocREDデータセットに4,053のドキュメントを再注釈し、失敗した関係を元のDocREDに追加しました。 修正されたDocREDデータセットをRe-DocREDと名付けます。 両者のデータセット上で最先端のニューラルモデルを用いた広範な実験を行い,実験結果から,リドクトレートでトレーニングおよび評価を行ったモデルが,約13f1点の性能向上を達成できることが確認された。 さらに,さらなる改善のための潜在的な領域を特定するために,総合的な分析を行う。 私たちのデータセットはhttps://github.com/tonytan48/Re-DocREDで公開されています。

関連論文リスト

• GEGA: Graph Convolutional Networks and Evidence Retrieval Guided Attention for Enhanced Document-level Relation Extraction [15.246183329778656]
  ドキュメントレベルの関係抽出(DocRE)は、構造化されていない文書テキストからエンティティ間の関係を抽出することを目的としている。 これらの課題を克服するために,DocREの新しいモデルであるGEGAを提案する。 我々は、広く使用されている3つのベンチマークデータセット、DocRED、Re-DocRED、Revisit-DocREDでGEGAモデルを評価する。
  論文  参考訳（メタデータ） (2024-07-31T07:15:33Z)
• Consistent Document-Level Relation Extraction via Counterfactuals [47.75615221596254]
  実世界のデータに基づいて訓練された文書レベルの関係抽出モデルが,事実バイアスに悩まされていることが示されている。 文書抽出のための文書レベルの反事実データのデータセットであるCovEReDを提案する。 本研究では,CovEReDモデルを用いて文書レベルの反事実データを生成することにより,一貫性が維持されることを示す。
  論文  参考訳（メタデータ） (2024-07-09T09:21:55Z)
• Challenging the Myth of Graph Collaborative Filtering: a Reasoned and Reproducibility-driven Analysis [50.972595036856035]
  本稿では,6つの人気グラフと最近のグラフ推薦モデルの結果を再現するコードを提案する。 これらのグラフモデルと従来の協調フィルタリングモデルを比較する。 ユーザの近所からの情報フローを調べることにより,データセット構造における内在的特徴にどのようなモデルが影響するかを同定することを目的とする。
  論文  参考訳（メタデータ） (2023-08-01T09:31:44Z)
• Rethinking Document-Level Relation Extraction: A Reality Check [14.59603835395313]
  この分野を詳しく見て、これらのパフォーマンス向上が実際に真実かどうかを確認します。 典型的なDocREモデルのロバスト性を調べるために,4種類のエンティティ参照攻撃を構築した。 この結果,現在のDocREモデルのほとんどはエンティティ参照攻撃に対して脆弱であり,現実のエンドユーザーNLPアプリケーションにデプロイすることは困難であることが判明した。
  論文  参考訳（メタデータ） (2023-06-15T08:47:42Z)
• Towards Integration of Discriminability and Robustness for Document-Level Relation Extraction [41.51148745387936]
  ドキュメントレベルの関係抽出(DocRE)は、ドキュメント内の長距離コンテキスト依存推論に依存するエンティティペアの関係を予測する。 本研究では,DocRE問題に対する差別性とロバスト性の両方をよりよく統合することを目的としている。 エントロピーの最小化と教師付きコントラスト学習を革新的にカスタマイズする。
  論文  参考訳（メタデータ） (2023-04-03T09:11:18Z)
• Incorporating Relevance Feedback for Information-Seeking Retrieval using Few-Shot Document Re-Ranking [56.80065604034095]
  我々は,クエリとユーザが関連すると考えるドキュメントとの類似性に基づいて,文書を再参照するkNNアプローチを提案する。 異なる統合戦略を評価するため、既存の4つの情報検索データセットを関連フィードバックシナリオに変換する。
  論文  参考訳（メタデータ） (2022-10-19T16:19:37Z)
• Document-Level Relation Extraction with Sentences Importance Estimation and Focusing [52.069206266557266]
  文書レベルの関係抽出(DocRE)は、複数の文の文書から2つのエンティティ間の関係を決定することを目的としている。 我々はDocREのための文重要度スコアと文集中損失を設計するSIEF(Sentence Estimation and Focusing)フレームワークを提案する。 2つのドメインの実験結果から、SIEFは全体的なパフォーマンスを改善するだけでなく、DocREモデルをより堅牢にします。
  論文  参考訳（メタデータ） (2022-04-27T03:20:07Z)
• Does Recommend-Revise Produce Reliable Annotations? An Analysis on Missing Instances in DocRED [60.39125850987604]
  テキスト修正方式は, 偽陰性サンプルと, 人気エンティティや関係性に対する明らかな偏見をもたらすことを示す。 より信頼性の高いドキュメントREモデルのテストセットとして機能するように、relabeledデータセットがリリースされている。
  論文  参考訳（メタデータ） (2022-04-17T11:29:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。