Fugu-MT 論文翻訳(概要): Clinical Relation Extraction Using Transformer-based Models

論文の概要: Clinical Relation Extraction Using Transformer-based Models

arxiv url: http://arxiv.org/abs/2107.08957v1
Date: Mon, 19 Jul 2021 15:15:51 GMT
ステータス: 処理完了
システム内更新日: 2021-07-20 15:10:08.189517
Title: Clinical Relation Extraction Using Transformer-based Models
Title（参考訳）: トランスフォーマーモデルを用いた臨床関係抽出
Authors: Xi Yang, Zehao Yu, Yi Guo, Jiang Bian and Yonghui Wu
Abstract要約: 我々は,BERT,RoBERTa,XLNetという3つのトランスフォーマーアーキテクチャに基づいた臨床REモデルを開発した。我々は、RoBERTa-clinical REモデルが2018 MADE1.0データセットにおいて、F1スコア0.8958で最高のパフォーマンスを達成したことを実証した。以上より, 臨床関係抽出における二分分類法は多クラス分類法よりも一貫して優れていた。
参考スコア（独自算出の注目度）: 28.237302721228435
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The newly emerged transformer technology has a tremendous impact on NLP research. In the general English domain, transformer-based models have achieved state-of-the-art performances on various NLP benchmarks. In the clinical domain, researchers also have investigated transformer models for clinical applications. The goal of this study is to systematically explore three widely used transformer-based models (i.e., BERT, RoBERTa, and XLNet) for clinical relation extraction and develop an open-source package with clinical pre-trained transformer-based models to facilitate information extraction in the clinical domain. We developed a series of clinical RE models based on three transformer architectures, namely BERT, RoBERTa, and XLNet. We evaluated these models using 2 publicly available datasets from 2018 MADE1.0 and 2018 n2c2 challenges. We compared two classification strategies (binary vs. multi-class classification) and investigated two approaches to generate candidate relations in different experimental settings. In this study, we compared three transformer-based (BERT, RoBERTa, and XLNet) models for relation extraction. We demonstrated that the RoBERTa-clinical RE model achieved the best performance on the 2018 MADE1.0 dataset with an F1-score of 0.8958. On the 2018 n2c2 dataset, the XLNet-clinical model achieved the best F1-score of 0.9610. Our results indicated that the binary classification strategy consistently outperformed the multi-class classification strategy for clinical relation extraction. Our methods and models are publicly available at https://github.com/uf-hobi-informatics-lab/ClinicalTransformerRelationExtraction. We believe this work will improve current practice on clinical relation extraction and other related NLP tasks in the biomedical domain.
Abstract（参考訳）: 新たに登場したトランスフォーマー技術はnlp研究に多大な影響を与えている。一般的な英語領域では、トランスフォーマーベースのモデルは様々なNLPベンチマークで最先端のパフォーマンスを達成した。臨床領域では、臨床応用のためのトランスフォーマーモデルも研究されている。本研究の目的は,臨床関連抽出に広く用いられている3つのトランスフォーマモデル(bert,roberta,xlnet)を体系的に検討し,臨床領域の情報抽出を容易にするために,臨床前訓練トランスフォーマモデルを用いたオープンソースパッケージを開発することである。我々は,BERT,RoBERTa,XLNetという3つのトランスフォーマーアーキテクチャに基づいた臨床REモデルを開発した。これらのモデルを2018 made1.0と2018 n2c2の課題の2つの公開データセットを用いて評価した。我々は,2つの分類戦略(バイナリ対マルチクラス分類)を比較し,異なる実験環境で候補関係を生成する2つの方法を検討した。本研究では,3つの変換器モデル(BERT,RoBERTa,XLNet)を比較し,関係抽出を行った。我々は、RoBERTa-clinical REモデルが2018 MADE1.0データセットにおいて、F1スコア0.8958で最高のパフォーマンスを達成したことを実証した。 2018年のn2c2データセットでは、xlnet-clinicalモデルは最高のf1-score 0.9610を達成した。以上の結果から,二分分類戦略は臨床関係抽出のための多類分類戦略を一貫して上回っていることが示唆された。私たちのメソッドとモデルは、https://github.com/uf-hobi-informatics-lab/ClinicalTransformerRelationExtractionで公開されています。本研究は,生物医学領域における臨床関係抽出やその他のNLPタスクの実践を改善できると考えている。

関連論文リスト

Medical-GAT: Cancer Document Classification Leveraging Graph-Based Residual Network for Scenarios with Limited Data [2.913761513290171]
我々は, 甲状腺癌, 大腸癌, 肺癌, 一般の話題に分類した, 1,874 の生医学的抄録を収集した。我々の研究は、特にデータスカースシナリオにおいて、分類性能を改善するためにこのデータセットを活用することに焦点を当てている。がん関連文書のセマンティック情報と構造的関係をキャプチャする複数のグラフアテンション層を備えたResidual Graph Attention Network(R-GAT)を導入する。
論文参考訳（メタデータ） (2024-10-19T20:07:40Z)
The Languini Kitchen: Enabling Language Modelling Research at Different Scales of Compute [66.84421705029624]
本稿では,アクセル時間で測定された等価計算に基づくモデル比較を可能にする実験的プロトコルを提案する。私たちは、既存の学術的ベンチマークを上回り、品質、多様性、文書の長さで上回る、大規模で多様で高品質な書籍データセットを前処理します。この研究は、GPT-2アーキテクチャから派生したフィードフォワードモデルと、10倍のスループットを持つ新しいLSTMの形式でのリカレントモデルという2つのベースラインモデルも提供する。
論文参考訳（メタデータ） (2023-09-20T10:31:17Z)
The effect of data augmentation and 3D-CNN depth on Alzheimer's Disease detection [51.697248252191265]
この研究は、データハンドリング、実験設計、モデル評価に関するベストプラクティスを要約し、厳密に観察する。我々は、アルツハイマー病(AD)の検出に焦点を当て、医療における課題のパラダイム的な例として機能する。このフレームワークでは,3つの異なるデータ拡張戦略と5つの異なる3D CNNアーキテクチャを考慮し,予測15モデルを訓練する。
論文参考訳（メタデータ） (2023-09-13T10:40:41Z)
LegoNet: Alternating Model Blocks for Medical Image Segmentation [0.7550390281305251]
我々は、レゴブロックを組み立てる方法を模倣して、新しいアーキテクチャを生成するために、構造的に異なるブロックの種類を交互に提案する。 CNNベースの2つのブロックとSwinViTベースのブロックを用いて、医療画像における分割タスクにブロック変更という新しい概念を適用した、いわゆるLegoNetの3つのバリエーションを調査した。
論文参考訳（メタデータ） (2023-06-06T08:22:47Z)
Lightweight Transformers for Clinical Natural Language Processing [9.532776962985828]
本研究は,臨床テキスト処理のためのコンパクト言語モデルの開発に焦点をあてる。知識蒸留と連続学習を用いた多種多様な軽量臨床用変圧器を開発した。評価はいくつかの標準データセットにまたがって行われ、幅広い臨床テキストマイニングタスクをカバーした。
論文参考訳（メタデータ） (2023-02-09T16:07:31Z)
Application of Deep Learning in Generating Structured Radiology Reports: A Transformer-Based Technique [0.4549831511476247]
自然言語処理技術は、自由テキスト形式の構造化データへの自動情報抽出と変換を容易にする。深層学習(DL)に基づくモデルがNLP実験に適応し,有望な結果を得た。本研究では,臨床情報抽出のための変圧器を用いた細粒度エンティティ認識アーキテクチャを提案する。
論文参考訳（メタデータ） (2022-09-25T08:03:15Z)
Deeper Clinical Document Understanding Using Relation Extraction [0.0]
名前付きエンティティ認識(NER)と関係抽出(RE)モデルからなるテキストマイニングフレームワークを提案する。我々は2つの新しいREモデルアーキテクチャを導入し、BioBERTをベースとした精度最適化アーキテクチャと、フル接続ニューラルネットワーク(FCNN)上のクラフト機能を活用した速度最適化アーキテクチャを紹介した。本稿では,この枠組みの実践的応用として,バイオメディカル知識グラフの構築と臨床コードへの実体マッピングの精度向上について述べる。
論文参考訳（メタデータ） (2021-12-25T17:14:13Z)
A multi-stage machine learning model on diagnosis of esophageal manometry [50.591267188664666]
このフレームワークには、飲み込みレベルにおけるディープラーニングモデルと、学習レベルにおける機能ベースの機械学習モデルが含まれている。これは、生のマルチスワローデータからHRM研究のCC診断を自動的に予測する最初の人工知能モデルである。
論文参考訳（メタデータ） (2021-06-25T20:09:23Z)
Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
論文参考訳（メタデータ） (2020-12-29T23:43:16Z)
Predicting Clinical Diagnosis from Patients Electronic Health Records Using BERT-based Neural Networks [62.9447303059342]
医療コミュニティにおけるこの問題の重要性を示す。本稿では,変換器 (BERT) モデルによる2方向表現の分類順序の変更について述べる。約400万人のユニークな患者訪問からなる、大規模なロシアのEHRデータセットを使用します。
論文参考訳（メタデータ） (2020-07-15T09:22:55Z)
Ensemble Transfer Learning for the Prediction of Anti-Cancer Drug Response [49.86828302591469]
本稿では,抗がん剤感受性の予測にトランスファーラーニングを適用した。我々は、ソースデータセット上で予測モデルをトレーニングし、ターゲットデータセット上でそれを洗練する古典的な転送学習フレームワークを適用した。アンサンブル転送学習パイプラインは、LightGBMと異なるアーキテクチャを持つ2つのディープニューラルネットワーク(DNN)モデルを使用して実装されている。
論文参考訳（メタデータ） (2020-05-13T20:29:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。