論文の概要: On the Robustness of Document-Level Relation Extraction Models to Entity Name Variations
- arxiv url: http://arxiv.org/abs/2406.07444v1
- Date: Tue, 11 Jun 2024 16:51:14 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-12 14:55:29.197129
- Title: On the Robustness of Document-Level Relation Extraction Models to Entity Name Variations
- Title（参考訳）: 文書レベル関係抽出モデルのエンティティ名変化に対するロバスト性について
- Authors: Shiao Meng, Xuming Hu, Aiwei Liu, Fukun Ma, Yawen Yang, Shuang Li, Lijie Wen,
- Abstract要約: 本研究では,DocREモデルのエンティティ名のバリエーションに対する堅牢性について検討する。
本稿では,元となるエンティティ名をWikidataから名前に置き換えることで,エンティティにリネームされたドキュメントを生成するための原則的パイプラインを提案する。
実験結果から、3つの代表的なDocREモデルと2つのコンテキスト内モデルの両方が、エンティティ名のバリエーションに十分なロバスト性が欠如していることが判明した。
- 参考スコア（独自算出の注目度）: 33.56352555780006
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Driven by the demand for cross-sentence and large-scale relation extraction, document-level relation extraction (DocRE) has attracted increasing research interest. Despite the continuous improvement in performance, we find that existing DocRE models which initially perform well may make more mistakes when merely changing the entity names in the document, hindering the generalization to novel entity names. To this end, we systematically investigate the robustness of DocRE models to entity name variations in this work. We first propose a principled pipeline to generate entity-renamed documents by replacing the original entity names with names from Wikidata. By applying the pipeline to DocRED and Re-DocRED datasets, we construct two novel benchmarks named Env-DocRED and Env-Re-DocRED for robustness evaluation. Experimental results show that both three representative DocRE models and two in-context learned large language models consistently lack sufficient robustness to entity name variations, particularly on cross-sentence relation instances and documents with more entities. Finally, we propose an entity variation robust training method which not only improves the robustness of DocRE models but also enhances their understanding and reasoning capabilities. We further verify that the basic idea of this method can be effectively transferred to in-context learning for DocRE as well.
- Abstract（参考訳）: 文書レベルの関係抽出(DocRE)は,クロス文や大規模関係抽出の需要により,研究の関心が高まりつつある。
パフォーマンスが継続的に改善されているにもかかわらず、ドキュメント内のエンティティ名を変更するだけで、最初はうまく機能する既存のDocREモデルが間違いを犯し、新しいエンティティ名への一般化を妨げる可能性がある。
この目的のために,本研究におけるDocREモデルとエンティティ名のバリエーションの堅牢性について,系統的に検討する。
まず,元のエンティティ名をWikidataから名前に置き換えることで,エンティティ名を変更したドキュメントを生成するための基本パイプラインを提案する。
DocREDデータセットとRe-DocREDデータセットにパイプラインを適用することで、ロバストネス評価のために、Env-DocREDとEnv-Re-DocREDという2つの新しいベンチマークを構築します。
実験の結果,3つの代表的なDocREモデルと2つのインコンテキストモデルの両方が,大規模言語モデルにおいて,エンティティ名のバリエーションに十分なロバスト性が欠如していることが判明した。
最後に,DocREモデルの堅牢性を向上するだけでなく,その理解と推論能力を向上させる実体変動頑健な学習手法を提案する。
さらに,本手法の基本的な考え方がDocREのコンテキスト内学習にも効果的に移行可能であることを検証した。
関連論文リスト
- DyVo: Dynamic Vocabularies for Learned Sparse Retrieval with Entities [29.716152560414738]
学習されたスパース検索(LSR)モデルをウィキペディアの概念と実体で拡張する。
3つのエンティティリッチなドキュメントランキングデータセットを対象とした実験では、結果のDyVoモデルは、最先端のベースラインを大幅に上回る。
論文 参考訳（メタデータ） (2024-10-10T08:41:34Z) - Generative Retrieval Meets Multi-Graded Relevance [104.75244721442756]
GRADed Generative Retrieval (GR$2$)というフレームワークを紹介します。
GR$2$は2つの重要なコンポーネントに焦点を当てている。
マルチグレードとバイナリの関連性を持つデータセットの実験は,GR$2$の有効性を示した。
論文 参考訳（メタデータ） (2024-09-27T02:55:53Z) - GEGA: Graph Convolutional Networks and Evidence Retrieval Guided Attention for Enhanced Document-level Relation Extraction [15.246183329778656]
ドキュメントレベルの関係抽出(DocRE)は、構造化されていない文書テキストからエンティティ間の関係を抽出することを目的としている。
これらの課題を克服するために,DocREの新しいモデルであるGEGAを提案する。
我々は、広く使用されている3つのベンチマークデータセット、DocRED、Re-DocRED、Revisit-DocREDでGEGAモデルを評価する。
論文 参考訳（メタデータ） (2024-07-31T07:15:33Z) - Learning Diverse Document Representations with Deep Query Interactions
for Dense Retrieval [79.37614949970013]
そこで本研究では,問合せの深い文書表現を学習する高密度検索モデルを提案する。
本モデルでは,各文書に生成した擬似クエリをエンコードして,クエリインフォームド・マルチビュー文書表現を得る。
論文 参考訳（メタデータ） (2022-08-08T16:00:55Z) - Document-Level Relation Extraction with Sentences Importance Estimation
and Focusing [52.069206266557266]
文書レベルの関係抽出(DocRE)は、複数の文の文書から2つのエンティティ間の関係を決定することを目的としている。
我々はDocREのための文重要度スコアと文集中損失を設計するSIEF(Sentence Estimation and Focusing)フレームワークを提案する。
2つのドメインの実験結果から、SIEFは全体的なパフォーマンスを改善するだけでなく、DocREモデルをより堅牢にします。
論文 参考訳（メタデータ） (2022-04-27T03:20:07Z) - Does Recommend-Revise Produce Reliable Annotations? An Analysis on
Missing Instances in DocRED [60.39125850987604]
テキスト修正方式は, 偽陰性サンプルと, 人気エンティティや関係性に対する明らかな偏見をもたらすことを示す。
より信頼性の高いドキュメントREモデルのテストセットとして機能するように、relabeledデータセットがリリースされている。
論文 参考訳（メタデータ） (2022-04-17T11:29:01Z) - Document-level Entity-based Extraction as Template Generation [13.110360825201044]
本稿では2つの文書レベルEEタスクのための生成フレームワークを提案する: 役割充足者エンティティ抽出(REE)と関係抽出(RE)である。
まず、テンプレート生成問題として定式化し、モデルが依存性を効率的にキャプチャできるようにする。
キー情報の識別能力を高めるために、新しいクロスアテンションガイド付きコピー機構であるTopK Copyを事前訓練されたシーケンス・ツー・シーケンスモデルに組み込む。
論文 参考訳（メタデータ） (2021-09-10T14:18:22Z) - Fast and Effective Biomedical Entity Linking Using a Dual Encoder [48.86736921025866]
文書中の複数の言及を1ショットで解決するBERTベースのデュアルエンコーダモデルを提案する。
本稿では,提案モデルが既存のBERTモデルよりも複数倍高速であり,バイオメディカルエンティティリンクの精度に競争力があることを示す。
論文 参考訳（メタデータ） (2021-03-08T19:32:28Z) - Document-Level Relation Extraction with Reconstruction [28.593318203728963]
文書レベルの関係抽出(DocRE)のための新しいエンコーダ分類器再構成モデルを提案する。
再構築器は、グラフ表現からの基底経路依存性を再構築し、提案されたDocREモデルがトレーニングにおけるエンティティペアと関係をエンコードすることにもっと注意を払っていることを確認する。
大規模docreデータセットにおける実験結果から,提案モデルにより,グラフベースラインにおける関係抽出精度が大幅に向上することが示された。
論文 参考訳（メタデータ） (2020-12-21T14:29:31Z) - Autoregressive Entity Retrieval [55.38027440347138]
エンティティは、知識の表現と集約の方法の中心にあります。
クエリが与えられたエンティティを検索できることは、エンティティリンクやオープンドメインの質問応答のような知識集約的なタスクに基本となる。
本稿では,自己回帰方式でトークン・バイ・トークンを左から右に生成し,エンティティを検索する最初のシステムであるGENREを提案する。
論文 参考訳（メタデータ） (2020-10-02T10:13:31Z) - Pairwise Multi-Class Document Classification for Semantic Relations
between Wikipedia Articles [5.40541521227338]
2つの文書間の関係をペアワイズ文書分類タスクとして検索する問題をモデル化する。
文書間の意味的関係を見つけるために,GloVe, paragraph-s,BERT,XLNetなどの一連の手法を適用する。
我々は,新たに提案された32,168のウィキペディア記事ペアと,セマンティックドキュメントの関係を定義するウィキデータプロパティに関する実験を行った。
論文 参考訳（メタデータ） (2020-03-22T12:52:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。