論文の概要: Making Document-Level Information Extraction Right for the Right Reasons
- arxiv url: http://arxiv.org/abs/2110.07686v1
- Date: Thu, 14 Oct 2021 19:52:47 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-18 12:12:35.706311
- Title: Making Document-Level Information Extraction Right for the Right Reasons
- Title(参考訳): 正しい理由のための文書レベル情報抽出法
- Authors: Liyan Tang, Dhruv Rajan, Suyash Mohan, Abhijeet Pradhan, R. Nick
Bryan, Greg Durrett
- Abstract要約: 文書レベルの情報抽出は、情報が必ずしも1つの文でローカライズされないアプリケーションと互換性のある柔軟なフレームワークである。
この研究は、文書レベルのニューラルモデルが複雑なテキストから正しい推論を行い、それらの推論を監査可能な方法で確実にする方法を研究する。
- 参考スコア(独自算出の注目度): 19.00249049142611
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Document-level information extraction is a flexible framework compatible with
applications where information is not necessarily localized in a single
sentence. For example, key features of a diagnosis in radiology a report may
not be explicitly stated, but nevertheless can be inferred from the report's
text. However, document-level neural models can easily learn spurious
correlations from irrelevant information. This work studies how to ensure that
these models make correct inferences from complex text and make those
inferences in an auditable way: beyond just being right, are these models
"right for the right reasons?" We experiment with post-hoc evidence extraction
in a predict-select-verify framework using feature attribution techniques.
While this basic approach can extract reasonable evidence, it can be
regularized with small amounts of evidence supervision during training, which
substantially improves the quality of extracted evidence. We evaluate on two
domains: a small-scale labeled dataset of brain MRI reports and a large-scale
modified version of DocRED (Yao et al., 2019) and show that models'
plausibility can be improved with no loss in accuracy.
- Abstract(参考訳): 文書レベルの情報抽出は、情報が必ずしも1つの文でローカライズされないアプリケーションと互換性のある柔軟なフレームワークである。
例えば、放射線学における診断の重要な特徴は、報告が明確に述べられていないかもしれないが、それでもレポートのテキストから推測することができる。
しかし、文書レベルのニューラルモデルは、関係のない情報から素早い相関を簡単に学習することができる。
この研究は、これらのモデルが複雑なテキストから正しい推論を行い、監査可能な方法で推論することを保証する方法について研究している。
特徴帰属手法を用いた予測検証フレームワークにおけるポストホックエビデンス抽出の実験を行った。
この基本的なアプローチは合理的な証拠を抽出することができるが、訓練中に少量の証拠監督によって正規化することができ、抽出された証拠の品質が大幅に向上する。
脳MRIの小さなラベル付きデータセットとDocREDの大規模な修正版(Yao et al., 2019)の2つの領域で評価を行い、精度を損なうことなくモデルの妥当性が向上できることを示した。
関連論文リスト
- Contrastive Learning to Improve Retrieval for Real-world Fact Checking [84.57583869042791]
ファクト・チェッキング・リランカ(Contrastive Fact-Checking Reranker, CFR)を提案する。
我々はAVeriTeCデータセットを活用し、証拠文書からの人間による回答とクレームのサブクエストを注釈付けする。
データセットの精度は6%向上した。
論文 参考訳(メタデータ) (2024-10-07T00:09:50Z) - Fact or Fiction? Improving Fact Verification with Knowledge Graphs through Simplified Subgraph Retrievals [0.0]
本稿では, 証拠が構造化知識グラフの形で存在するデータセット上で, クレームを検証するための効率的な方法を提案する。
また,エビデンス検索プロセスの簡略化により,計算資源の削減とテストセット精度の向上を実現するモデルの構築が可能となる。
論文 参考訳(メタデータ) (2024-08-14T10:46:15Z) - GEGA: Graph Convolutional Networks and Evidence Retrieval Guided Attention for Enhanced Document-level Relation Extraction [15.246183329778656]
ドキュメントレベルの関係抽出(DocRE)は、構造化されていない文書テキストからエンティティ間の関係を抽出することを目的としている。
これらの課題を克服するために,DocREの新しいモデルであるGEGAを提案する。
我々は、広く使用されている3つのベンチマークデータセット、DocRED、Re-DocRED、Revisit-DocREDでGEGAモデルを評価する。
論文 参考訳(メタデータ) (2024-07-31T07:15:33Z) - Preserving Knowledge Invariance: Rethinking Robustness Evaluation of
Open Information Extraction [50.62245481416744]
実世界におけるオープン情報抽出モデルの評価をシミュレートする最初のベンチマークを示す。
我々は、それぞれの例が知識不変のcliqueである大規模なテストベッドを設計し、注釈付けする。
さらにロバスト性計量を解明することにより、その性能が全体の傾きに対して一貫して正確であるならば、モデルはロバストであると判断される。
論文 参考訳(メタデータ) (2023-05-23T12:05:09Z) - Breaking with Fixed Set Pathology Recognition through Report-Guided
Contrastive Training [23.506879497561712]
我々は、非構造化医療報告から直接概念を学ぶために、対照的なグローバルローカルなデュアルエンコーダアーキテクチャを採用している。
疾患分類のための大規模胸部X線データセットMIMIC-CXR,CheXpert,ChestX-Ray14について検討した。
論文 参考訳(メタデータ) (2022-05-14T21:44:05Z) - Factual Error Correction for Abstractive Summaries Using Entity
Retrieval [57.01193722520597]
本稿では,エンティティ検索後処理に基づく効率的な事実誤り訂正システムRFECを提案する。
RFECは、原文と対象要約とを比較して、原文から証拠文を検索する。
次に、RFECは、エビデンス文を考慮し、要約中のエンティティレベルのエラーを検出し、エビデンス文から正確なエンティティに置換する。
論文 参考訳(メタデータ) (2022-04-18T11:35:02Z) - Distantly-Supervised Evidence Retrieval Enables Question Answering
without Evidence Annotation [19.551623461082617]
オープンドメインの質問応答は、大きなコーパスから取得した証拠に基づいて質問に答える。
本稿では,大規模コーパスからモデルが証拠の発見を学べるかどうかを,モデル学習のための回答ラベルからのみ遠ざかって検討する。
我々は,最新のモデルから証拠を交互に発見し,最も可能性の高い証拠を学習するよう促すことにより,弱いレトリバーよりも反復的に改善する新しいアプローチ(DistDR)を提案する。
論文 参考訳(メタデータ) (2021-10-10T20:01:27Z) - SAIS: Supervising and Augmenting Intermediate Steps for Document-Level
Relation Extraction [51.27558374091491]
本稿では,関係抽出のための中間ステップ(SAIS)を監督し,拡張することにより,関連コンテキストやエンティティタイプをキャプチャするモデルを明示的に教えることを提案する。
そこで本提案手法は,より効果的な管理を行うため,より優れた品質の関係を抽出するだけでなく,それに対応する証拠をより正確に抽出する。
論文 参考訳(メタデータ) (2021-09-24T17:37:35Z) - A Multi-Level Attention Model for Evidence-Based Fact Checking [58.95413968110558]
シーケンス構造をトレーニング可能な,シンプルなモデルを提案する。
Fact extract and VERification のための大規模データセットの結果、我々のモデルはグラフベースのアプローチよりも優れていることが示された。
論文 参考訳(メタデータ) (2021-06-02T05:40:12Z) - Text Mining to Identify and Extract Novel Disease Treatments From
Unstructured Datasets [56.38623317907416]
Google Cloudを使って、NPRラジオ番組のポッドキャストのエピソードを書き起こします。
次に、テキストを体系的に前処理するためのパイプラインを構築します。
我々のモデルは、Omeprazoleが心臓熱傷の治療に役立てることに成功しました。
論文 参考訳(メタデータ) (2020-10-22T19:52:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。