論文の概要: Rethinking Document-Level Relation Extraction: A Reality Check

• arxiv url: http://arxiv.org/abs/2306.08953v1
• Date: Thu, 15 Jun 2023 08:47:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-16 15:42:51.934812
• Title: Rethinking Document-Level Relation Extraction: A Reality Check
• Title（参考訳）: 文書レベル関係抽出の再考:現実チェック
• Authors: Jing Li, Yequan Wang, Shuai Zhang, Min Zhang
• Abstract要約: この分野を詳しく見て、これらのパフォーマンス向上が実際に真実かどうかを確認します。 典型的なDocREモデルのロバスト性を調べるために,4種類のエンティティ参照攻撃を構築した。 この結果,現在のDocREモデルのほとんどはエンティティ参照攻撃に対して脆弱であり,現実のエンドユーザーNLPアプリケーションにデプロイすることは困難であることが判明した。
• 参考スコア（独自算出の注目度）: 14.59603835395313
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, numerous efforts have continued to push up performance boundaries of document-level relation extraction (DocRE) and have claimed significant progress in DocRE. In this paper, we do not aim at proposing a novel model for DocRE. Instead, we take a closer look at the field to see if these performance gains are actually true. By taking a comprehensive literature review and a thorough examination of popular DocRE datasets, we find that these performance gains are achieved upon a strong or even untenable assumption in common: all named entities are perfectly localized, normalized, and typed in advance. Next, we construct four types of entity mention attacks to examine the robustness of typical DocRE models by behavioral probing. We also have a close check on model usability in a more realistic setting. Our findings reveal that most of current DocRE models are vulnerable to entity mention attacks and difficult to be deployed in real-world end-user NLP applications. Our study calls more attentions for future research to stop simplifying problem setups, and to model DocRE in the wild rather than in an unrealistic Utopian world.
• Abstract（参考訳）: 近年,文書レベルの関係抽出(DocRE)の性能境界を推し進め,DocREの大幅な進歩を主張している。 本稿では,DocREの新しいモデルを提案することを目的としていない。 代わりに、フィールドを詳しく見て、これらのパフォーマンス向上が実際に真実かどうかを確認します。 総合的な文献レビューと一般的なdocreデータセットの徹底的な検証を行うことで、これらのパフォーマンス向上は、強い、あるいは意図できない仮定で達成されていることが分かりました。 次に,典型的なドクレモデルのロバスト性を調べるために,4種類のエンティティ参照攻撃を構築した。 より現実的な環境では、モデルのユーザビリティについても詳しくチェックしています。 この結果,現在のDocREモデルのほとんどはエンティティ参照攻撃に対して脆弱であり,現実のエンドユーザーNLPアプリケーションにデプロイすることは困難であることが判明した。 本研究は,非現実的なユートピアの世界ではなく,問題設定の単純化を阻止し,野生のDocREをモデル化する今後の研究への注目を喚起する。

関連論文リスト

• GEGA: Graph Convolutional Networks and Evidence Retrieval Guided Attention for Enhanced Document-level Relation Extraction [15.246183329778656]
  ドキュメントレベルの関係抽出(DocRE)は、構造化されていない文書テキストからエンティティ間の関係を抽出することを目的としている。 これらの課題を克服するために,DocREの新しいモデルであるGEGAを提案する。 我々は、広く使用されている3つのベンチマークデータセット、DocRED、Re-DocRED、Revisit-DocREDでGEGAモデルを評価する。
  論文  参考訳（メタデータ） (2024-07-31T07:15:33Z)
• Efficient Document Ranking with Learnable Late Interactions [73.41976017860006]
  クロスエンコーダ(CE)とデュアルエンコーダ(DE)モデルは,情報検索におけるクエリドキュメント関連性の2つの基本的なアプローチである。 関連性を予測するため、CEモデルは共同クエリドキュメントの埋め込みを使用し、DEモデルは分解クエリとドキュメントの埋め込みを維持している。 近年、DEM構造と軽量スコアラを用いて、より好ましいレイテンシ品質のトレードオフを実現するために、遅延相互作用モデルが提案されている。
  論文  参考訳（メタデータ） (2024-06-25T22:50:48Z)
• AutoRE: Document-Level Relation Extraction with Large Language Models [27.426703757501507]
  我々は、RHF(Relation-Head-Facts)という新しいRE抽出パラダイムを採用した、エンド・ツー・エンドのDocREモデルであるAutoREを紹介する。 既存のアプローチとは異なり、AutoREは既知の関係オプションの仮定に依存しておらず、現実のシナリオをより反映している。 RE-DocREDデータセットの実験では、AutoREの最高のパフォーマンスを示し、最先端の結果が得られました。
  論文  参考訳（メタデータ） (2024-03-21T23:48:21Z)
• Did the Models Understand Documents? Benchmarking Models for Language Understanding in Document-Level Relation Extraction [2.4665182280122577]
  近年,ドキュメントレベルの関係抽出 (DocRE) が注目されている。 モデルはDocREで一貫したパフォーマンス向上を達成するが、根底にある決定ルールはまだ検討されていない。 本稿では,この質問に答える第一歩として,モデルを包括的に評価する新たな視点を紹介する。
  論文  参考訳（メタデータ） (2023-06-20T08:52:05Z)
• Towards Integration of Discriminability and Robustness for Document-Level Relation Extraction [41.51148745387936]
  ドキュメントレベルの関係抽出(DocRE)は、ドキュメント内の長距離コンテキスト依存推論に依存するエンティティペアの関係を予測する。 本研究では,DocRE問題に対する差別性とロバスト性の両方をよりよく統合することを目的としている。 エントロピーの最小化と教師付きコントラスト学習を革新的にカスタマイズする。
  論文  参考訳（メタデータ） (2023-04-03T09:11:18Z)
• WiCE: Real-World Entailment for Claims in Wikipedia [63.234352061821625]
  We propose WiCE, a new fine-fine textual entailment dataset built on natural claim and evidence pairs from Wikipedia。 標準クレームレベルのエンターメントに加えて、WiCEはクレームのサブ文単位に対するエンターメント判断を提供する。 我々のデータセットの真のクレームは、既存のモデルで対処できない検証と検索の問題に挑戦することを含んでいる。
  論文  参考訳（メタデータ） (2023-03-02T17:45:32Z)
• Entity Disambiguation with Entity Definitions [50.01142092276296]
  ローカルモデルはEntity Disambiguation (ED)で最近驚くべきパフォーマンスを達成した それまでの研究は、各候補者のテキスト表現として、ウィキペディアのタイトルのみを使うことに限られていた。 本稿では、この制限に対処し、より表現力のあるテキスト表現がそれを緩和できる範囲について検討する。 提案する6つのベンチマークのうち2つに新たな技術の現状を報告し,未知のパターンに対する一般化能力を強く改善する。
  論文  参考訳（メタデータ） (2022-10-11T17:46:28Z)
• Revisiting DocRED -- Addressing the False Negative Problem in Relation Extraction [39.78594332093083]
  DocREDデータセットに4,053のドキュメントを再注釈し、失敗した関係を元のDocREDに追加しました。 両データセット上で最先端のニューラルモデルによる広範な実験を行い、実験結果から、Re-DocREDでトレーニングおよび評価されたモデルが、約13F1ポイントのパフォーマンス改善を実現していることが示された。
  論文  参考訳（メタデータ） (2022-05-25T11:54:48Z)
• Document-Level Relation Extraction with Sentences Importance Estimation and Focusing [52.069206266557266]
  文書レベルの関係抽出(DocRE)は、複数の文の文書から2つのエンティティ間の関係を決定することを目的としている。 我々はDocREのための文重要度スコアと文集中損失を設計するSIEF(Sentence Estimation and Focusing)フレームワークを提案する。 2つのドメインの実験結果から、SIEFは全体的なパフォーマンスを改善するだけでなく、DocREモデルをより堅牢にします。
  論文  参考訳（メタデータ） (2022-04-27T03:20:07Z)
• Does Recommend-Revise Produce Reliable Annotations? An Analysis on Missing Instances in DocRED [60.39125850987604]
  テキスト修正方式は, 偽陰性サンプルと, 人気エンティティや関係性に対する明らかな偏見をもたらすことを示す。 より信頼性の高いドキュメントREモデルのテストセットとして機能するように、relabeledデータセットがリリースされている。
  論文  参考訳（メタデータ） (2022-04-17T11:29:01Z)
• Rethinking Generalization of Neural Models: A Named Entity Recognition Case Study [81.11161697133095]
  NERタスクをテストベッドとして、異なる視点から既存モデルの一般化挙動を分析する。 詳細な分析による実験は、既存のニューラルNERモデルのボトルネックを診断する。 本論文の副産物として,最近のNER論文の包括的要約を含むプロジェクトをオープンソース化した。
  論文  参考訳（メタデータ） (2020-01-12T04:33:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。