論文の概要: Clinical Concept and Relation Extraction Using Prompt-based Machine Reading Comprehension

• arxiv url: http://arxiv.org/abs/2303.08262v1
• Date: Tue, 14 Mar 2023 22:37:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-16 15:23:06.990790
• Title: Clinical Concept and Relation Extraction Using Prompt-based Machine Reading Comprehension
• Title（参考訳）: Prompt-based Machine Reading Comprehension を用いた臨床概念と関係抽出
• Authors: Cheng Peng, Xi Yang, Zehao Yu, Jiang Bian, William R. Hogan, Yonghui Wu
• Abstract要約: 我々は,統合されたプロンプトベース機械読解アーキテクチャを用いて,臨床概念抽出と関係抽出の両方を定式化する。 MRCモデルと既存のディープラーニングモデルを比較し,概念抽出とエンドツーエンド関係抽出を行う。 クロスインスティテュート・セッティングにおいて,提案したMRCモデルの伝達学習能力を評価する。
• 参考スコア（独自算出の注目度）: 38.79665143111312
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Objective: To develop a natural language processing system that solves both clinical concept extraction and relation extraction in a unified prompt-based machine reading comprehension (MRC) architecture with good generalizability for cross-institution applications. Methods: We formulate both clinical concept extraction and relation extraction using a unified prompt-based MRC architecture and explore state-of-the-art transformer models. We compare our MRC models with existing deep learning models for concept extraction and end-to-end relation extraction using two benchmark datasets developed by the 2018 National NLP Clinical Challenges (n2c2) challenge (medications and adverse drug events) and the 2022 n2c2 challenge (relations of social determinants of health [SDoH]). We also evaluate the transfer learning ability of the proposed MRC models in a cross-institution setting. We perform error analyses and examine how different prompting strategies affect the performance of MRC models. Results and Conclusion: The proposed MRC models achieve state-of-the-art performance for clinical concept and relation extraction on the two benchmark datasets, outperforming previous non-MRC transformer models. GatorTron-MRC achieves the best strict and lenient F1-scores for concept extraction, outperforming previous deep learning models on the two datasets by 1%~3% and 0.7%~1.3%, respectively. For end-to-end relation extraction, GatorTron-MRC and BERT-MIMIC-MRC achieve the best F1-scores, outperforming previous deep learning models by 0.9%~2.4% and 10%-11%, respectively. For cross-institution evaluation, GatorTron-MRC outperforms traditional GatorTron by 6.4% and 16% for the two datasets, respectively. The proposed method is better at handling nested/overlapped concepts, extracting relations, and has good portability for cross-institute applications.
• Abstract（参考訳）: 目的: クロスインスティテュート・アプリケーションに優れた一般化性を有する統一的プロンプトベース機械読解(MRC)アーキテクチャにおいて, 臨床概念抽出と関係抽出の両立を図った自然言語処理システムを開発する。 方法:プロンプトベースのmrcアーキテクチャを用いて臨床概念抽出と関係抽出の両方を定式化し,最先端トランスフォーマーモデルを探索する。 2018 nlp clinical challenge (n2c2) challenge (メディエーションと副作用薬物イベント)と2022 n2c2 challenge (social determinants of health (sdoh)) によって開発された2つのベンチマークデータセットを用いて、概念抽出とエンドツーエンド関係抽出のための既存のディープラーニングモデルと比較した。 また,MRCモデルの伝達学習能力についても,クロスインスティテュート環境で評価した。 エラー解析を行い、異なるプロンプト戦略がMCCモデルの性能に与える影響を検討する。 結果と結論:mrc非mrcトランスフォーマーモデルに匹敵する2つのベンチマークデータセットにおける臨床概念と関係抽出の最先端性能を実現する。 gatortron-mrcは、概念抽出のための最も厳格で寛大なf1-scoreをそれぞれ1%～3%、0.7%～1.3%の2つのデータセットのディープラーニングモデルよりも優れている。 エンドツーエンドの関係抽出において、GatorTron-MRCとBERT-MIMIC-MRCは、それぞれ0.9%～2.4%、10%-11%で、最高のF1スコアを達成する。 クロスインスティテューション評価では、gatortron-mrcは従来のgatortronを6.4%、データセットを16%上回っている。 提案手法はネスト/オーバーラップの概念を扱い,関係を抽出し,クロスインスティテュートなアプリケーションに対して優れたポータビリティを有する。

関連論文リスト

• Multi-objective Representation for Numbers in Clinical Narratives Using CamemBERT-bio [0.9208007322096533]
  本研究の目的は,医学文献から抽出した数値を7つの生理カテゴリーに分類することである。 キーワード埋め込みをモデルに統合し、数に依存しない戦略を採用する、という2つの主要なイノベーションを紹介します。 従来のF1スコア0.89を上回り,CamemBERT-bioの有効性を著しく改善した。
  論文  参考訳（メタデータ） (2024-05-28T01:15:21Z)
• The Languini Kitchen: Enabling Language Modelling Research at Different Scales of Compute [66.84421705029624]
  本稿では,アクセル時間で測定された等価計算に基づくモデル比較を可能にする実験的プロトコルを提案する。 私たちは、既存の学術的ベンチマークを上回り、品質、多様性、文書の長さで上回る、大規模で多様で高品質な書籍データセットを前処理します。 この研究は、GPT-2アーキテクチャから派生したフィードフォワードモデルと、10倍のスループットを持つ新しいLSTMの形式でのリカレントモデルという2つのベースラインモデルも提供する。
  論文  参考訳（メタデータ） (2023-09-20T10:31:17Z)
• An Empirical Study of Multimodal Model Merging [148.48412442848795]
  モデルマージは、異なるタスクでトレーニングされた複数のモデルを融合してマルチタスクソリューションを生成するテクニックである。 我々は、モダリティ固有のアーキテクチャのビジョン、言語、およびクロスモーダルトランスフォーマーをマージできる新しい目標に向けて研究を行っている。 本稿では,重み間の距離を推定し,マージ結果の指標となる2つの指標を提案する。
  論文  参考訳（メタデータ） (2023-04-28T15:43:21Z)
• UNIMIB at TREC 2021 Clinical Trials Track [2.840363325289377]
  この貢献は、UNIMIBチームのTREC 2021臨床試験トラックへの参加を要約している。 本研究では,クエリ表現と複数の検索モデルの組み合わせが検索性能に与える影響について検討した。
  論文  参考訳（メタデータ） (2022-07-27T13:39:30Z)
• Learning brain MRI quality control: a multi-factorial generalization problem [0.0]
  本研究の目的は,MRIQCパイプラインの性能評価である。 分析はMRIQCの前処理ステップに焦点を合わせ、パイプラインをそれなしでテストした。 我々は、CATIデータセットのような異種集団のデータで訓練されたモデルが、目に見えないデータの最良のスコアを提供すると結論付けた。
  論文  参考訳（メタデータ） (2022-05-31T15:46:44Z)
• RoBLEURT Submission for the WMT2021 Metrics Task [72.26898579202076]
  本稿では,共有メトリクスタスクであるRoBLEURTについて紹介する。 我々のモデルは10対の英語言語対のうち8対でWMT 2020の人間のアノテーションと最先端の相関に達する。
  論文  参考訳（メタデータ） (2022-04-28T08:49:40Z)
• A New Entity Extraction Method Based on Machine Reading Comprehension [4.92025078254413]
  本稿では,MRC-I2DP を用いた有効実体抽出モデルを提案する。 提案手法は,テキストペアの各部分の復元を調整するために,ゲート付きアテンション抽出機構を用いている。 また、提案した2次元確率符号化モジュール、TALU関数、マスク機構を使用して、ターゲットの可能なすべてのターゲットの検出を強化する。
  論文  参考訳（メタデータ） (2021-08-14T02:11:41Z)
• Clinical Relation Extraction Using Transformer-based Models [28.237302721228435]
  我々は,BERT,RoBERTa,XLNetという3つのトランスフォーマーアーキテクチャに基づいた臨床REモデルを開発した。 我々は、RoBERTa-clinical REモデルが2018 MADE1.0データセットにおいて、F1スコア0.8958で最高のパフォーマンスを達成したことを実証した。 以上より, 臨床関係抽出における二分分類法は多クラス分類法よりも一貫して優れていた。
  論文  参考訳（メタデータ） (2021-07-19T15:15:51Z)
• A multi-stage machine learning model on diagnosis of esophageal manometry [50.591267188664666]
  このフレームワークには、飲み込みレベルにおけるディープラーニングモデルと、学習レベルにおける機能ベースの機械学習モデルが含まれている。 これは、生のマルチスワローデータからHRM研究のCC診断を自動的に予測する最初の人工知能モデルである。
  論文  参考訳（メタデータ） (2021-06-25T20:09:23Z)
• Ensemble Transfer Learning for the Prediction of Anti-Cancer Drug Response [49.86828302591469]
  本稿では,抗がん剤感受性の予測にトランスファーラーニングを適用した。 我々は、ソースデータセット上で予測モデルをトレーニングし、ターゲットデータセット上でそれを洗練する古典的な転送学習フレームワークを適用した。 アンサンブル転送学習パイプラインは、LightGBMと異なるアーキテクチャを持つ2つのディープニューラルネットワーク(DNN)モデルを使用して実装されている。
  論文  参考訳（メタデータ） (2020-05-13T20:29:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。