Fugu-MT 論文翻訳(概要): Clinical Relation Extraction Using Transformer-based Models

論文の概要: Clinical Relation Extraction Using Transformer-based Models

arxiv url: http://arxiv.org/abs/2107.08957v1
Date: Mon, 19 Jul 2021 15:15:51 GMT
ステータス: 処理完了
システム内更新日: 2021-07-20 15:10:08.189517
Title: Clinical Relation Extraction Using Transformer-based Models
Title（参考訳）: トランスフォーマーモデルを用いた臨床関係抽出
Authors: Xi Yang, Zehao Yu, Yi Guo, Jiang Bian and Yonghui Wu
Abstract要約: 我々は,BERT,RoBERTa,XLNetという3つのトランスフォーマーアーキテクチャに基づいた臨床REモデルを開発した。我々は、RoBERTa-clinical REモデルが2018 MADE1.0データセットにおいて、F1スコア0.8958で最高のパフォーマンスを達成したことを実証した。以上より, 臨床関係抽出における二分分類法は多クラス分類法よりも一貫して優れていた。
参考スコア（独自算出の注目度）: 28.237302721228435
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The newly emerged transformer technology has a tremendous impact on NLP research. In the general English domain, transformer-based models have achieved state-of-the-art performances on various NLP benchmarks. In the clinical domain, researchers also have investigated transformer models for clinical applications. The goal of this study is to systematically explore three widely used transformer-based models (i.e., BERT, RoBERTa, and XLNet) for clinical relation extraction and develop an open-source package with clinical pre-trained transformer-based models to facilitate information extraction in the clinical domain. We developed a series of clinical RE models based on three transformer architectures, namely BERT, RoBERTa, and XLNet. We evaluated these models using 2 publicly available datasets from 2018 MADE1.0 and 2018 n2c2 challenges. We compared two classification strategies (binary vs. multi-class classification) and investigated two approaches to generate candidate relations in different experimental settings. In this study, we compared three transformer-based (BERT, RoBERTa, and XLNet) models for relation extraction. We demonstrated that the RoBERTa-clinical RE model achieved the best performance on the 2018 MADE1.0 dataset with an F1-score of 0.8958. On the 2018 n2c2 dataset, the XLNet-clinical model achieved the best F1-score of 0.9610. Our results indicated that the binary classification strategy consistently outperformed the multi-class classification strategy for clinical relation extraction. Our methods and models are publicly available at https://github.com/uf-hobi-informatics-lab/ClinicalTransformerRelationExtraction. We believe this work will improve current practice on clinical relation extraction and other related NLP tasks in the biomedical domain.
Abstract（参考訳）: 新たに登場したトランスフォーマー技術はnlp研究に多大な影響を与えている。一般的な英語領域では、トランスフォーマーベースのモデルは様々なNLPベンチマークで最先端のパフォーマンスを達成した。臨床領域では、臨床応用のためのトランスフォーマーモデルも研究されている。本研究の目的は,臨床関連抽出に広く用いられている3つのトランスフォーマモデル(bert,roberta,xlnet)を体系的に検討し,臨床領域の情報抽出を容易にするために,臨床前訓練トランスフォーマモデルを用いたオープンソースパッケージを開発することである。我々は,BERT,RoBERTa,XLNetという3つのトランスフォーマーアーキテクチャに基づいた臨床REモデルを開発した。これらのモデルを2018 made1.0と2018 n2c2の課題の2つの公開データセットを用いて評価した。我々は,2つの分類戦略(バイナリ対マルチクラス分類)を比較し,異なる実験環境で候補関係を生成する2つの方法を検討した。本研究では,3つの変換器モデル(BERT,RoBERTa,XLNet)を比較し,関係抽出を行った。我々は、RoBERTa-clinical REモデルが2018 MADE1.0データセットにおいて、F1スコア0.8958で最高のパフォーマンスを達成したことを実証した。 2018年のn2c2データセットでは、xlnet-clinicalモデルは最高のf1-score 0.9610を達成した。以上の結果から,二分分類戦略は臨床関係抽出のための多類分類戦略を一貫して上回っていることが示唆された。私たちのメソッドとモデルは、https://github.com/uf-hobi-informatics-lab/ClinicalTransformerRelationExtractionで公開されています。本研究は,生物医学領域における臨床関係抽出やその他のNLPタスクの実践を改善できると考えている。

関連論文リスト

A Cross-institutional Evaluation on Breast Cancer Phenotyping NLP Algorithms on Electronic Health Records [19.824923994227202]
臨床テキストから癌表現型を抽出する3種類のNLPモデルを開発した。モデルは、異なる学習戦略を持つ異なるテストセット上での一般化可能性について評価した。 CancerBERTモデルは、ある機関で開発され、別の機関でさらに微調整され、合理的な性能を達成した。
論文参考訳（メタデータ） (2023-03-15T08:44:07Z)
Clinical Concept and Relation Extraction Using Prompt-based Machine Reading Comprehension [38.79665143111312]
我々は,統合されたプロンプトベース機械読解アーキテクチャを用いて,臨床概念抽出と関係抽出の両方を定式化する。 MRCモデルと既存のディープラーニングモデルを比較し,概念抽出とエンドツーエンド関係抽出を行う。クロスインスティテュート・セッティングにおいて,提案したMRCモデルの伝達学習能力を評価する。
論文参考訳（メタデータ） (2023-03-14T22:37:31Z)
Lightweight Transformers for Clinical Natural Language Processing [9.532776962985828]
本研究は,臨床テキスト処理のためのコンパクト言語モデルの開発に焦点をあてる。知識蒸留と連続学習を用いた多種多様な軽量臨床用変圧器を開発した。評価はいくつかの標準データセットにまたがって行われ、幅広い臨床テキストマイニングタスクをカバーした。
論文参考訳（メタデータ） (2023-02-09T16:07:31Z)
Application of Deep Learning in Generating Structured Radiology Reports: A Transformer-Based Technique [0.4549831511476247]
自然言語処理技術は、自由テキスト形式の構造化データへの自動情報抽出と変換を容易にする。深層学習(DL)に基づくモデルがNLP実験に適応し,有望な結果を得た。本研究では,臨床情報抽出のための変圧器を用いた細粒度エンティティ認識アーキテクチャを提案する。
論文参考訳（メタデータ） (2022-09-25T08:03:15Z)
What do Toothbrushes do in the Kitchen? How Transformers Think our World is Structured [137.83584233680116]
本稿では,トランスフォーマーに基づく言語モデルがオブジェクト関係に関する知識を抽出するのにどの程度役立つかを検討する。異なる類似度尺度と組み合わせたモデルが,抽出できる知識の量で大きく異なることを示す。驚くべきことに、静的モデルは、コンテキスト化されたモデルと同様に、ほぼ同じようにパフォーマンスします。
論文参考訳（メタデータ） (2022-04-12T10:00:20Z)
Dynamically-Scaled Deep Canonical Correlation Analysis [77.34726150561087]
カノニカル相関解析 (CCA) は, 2つのビューの特徴抽出手法である。本稿では,入力依存の正準相関モデルをトレーニングするための新しい動的スケーリング手法を提案する。
論文参考訳（メタデータ） (2022-03-23T12:52:49Z)
Deeper Clinical Document Understanding Using Relation Extraction [0.0]
名前付きエンティティ認識(NER)と関係抽出(RE)モデルからなるテキストマイニングフレームワークを提案する。我々は2つの新しいREモデルアーキテクチャを導入し、BioBERTをベースとした精度最適化アーキテクチャと、フル接続ニューラルネットワーク(FCNN)上のクラフト機能を活用した速度最適化アーキテクチャを紹介した。本稿では,この枠組みの実践的応用として,バイオメディカル知識グラフの構築と臨床コードへの実体マッピングの精度向上について述べる。
論文参考訳（メタデータ） (2021-12-25T17:14:13Z)
A multi-stage machine learning model on diagnosis of esophageal manometry [50.591267188664666]
このフレームワークには、飲み込みレベルにおけるディープラーニングモデルと、学習レベルにおける機能ベースの機械学習モデルが含まれている。これは、生のマルチスワローデータからHRM研究のCC診断を自動的に予測する最初の人工知能モデルである。
論文参考訳（メタデータ） (2021-06-25T20:09:23Z)
Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
論文参考訳（メタデータ） (2020-12-29T23:43:16Z)
Predicting Clinical Diagnosis from Patients Electronic Health Records Using BERT-based Neural Networks [62.9447303059342]
医療コミュニティにおけるこの問題の重要性を示す。本稿では,変換器 (BERT) モデルによる2方向表現の分類順序の変更について述べる。約400万人のユニークな患者訪問からなる、大規模なロシアのEHRデータセットを使用します。
論文参考訳（メタデータ） (2020-07-15T09:22:55Z)
Ensemble Transfer Learning for the Prediction of Anti-Cancer Drug Response [49.86828302591469]
本稿では,抗がん剤感受性の予測にトランスファーラーニングを適用した。我々は、ソースデータセット上で予測モデルをトレーニングし、ターゲットデータセット上でそれを洗練する古典的な転送学習フレームワークを適用した。アンサンブル転送学習パイプラインは、LightGBMと異なるアーキテクチャを持つ2つのディープニューラルネットワーク(DNN)モデルを使用して実装されている。
論文参考訳（メタデータ） (2020-05-13T20:29:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。