論文の概要: A Comparative Evaluation Of Transformer Models For De-Identification Of Clinical Text Data

• arxiv url: http://arxiv.org/abs/2204.07056v1
• Date: Fri, 25 Mar 2022 19:42:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-17 07:04:43.780569
• Title: A Comparative Evaluation Of Transformer Models For De-Identification Of Clinical Text Data
• Title（参考訳）: 臨床テキストデータの非同定のためのトランスフォーマモデルの比較評価
• Authors: Christopher Meaney, Wali Hakimpour, Sumeet Kalia, Rahim Moineddin
• Abstract要約: i2b2/UTHealth 2014 臨床テキスト識別チャレンジコーパスには N=1304 臨床ノートが含まれている。 我々は、BERT-base、BERT-large、ROBERTA-base、ROBERTA-large、ALBERT-base、ALBERT-xxlargeなど、いくつかのトランスフォーマーモデルアーキテクチャをコーパス上に微調整する。 モデルの性能を,精度,精度(正の予測値),リコール(感度),F1スコアで評価する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Objective: To comparatively evaluate several transformer model architectures at identifying protected health information (PHI) in the i2b2/UTHealth 2014 clinical text de-identification challenge corpus. Methods: The i2b2/UTHealth 2014 corpus contains N=1304 clinical notes obtained from N=296 patients. Using a transfer learning framework, we fine-tune several transformer model architectures on the corpus, including: BERT-base, BERT-large, ROBERTA-base, ROBERTA-large, ALBERT-base and ALBERT-xxlarge. During fine-tuning we vary the following model hyper-parameters: batch size, number training epochs, learning rate and weight decay. We fine tune models on a training data set, we evaluate and select optimally performing models on an independent validation dataset, and lastly assess generalization performance on a held-out test dataset. We assess model performance in terms of accuracy, precision (positive predictive value), recall (sensitivity) and F1 score (harmonic mean of precision and recall). We are interested in overall model performance (PHI identified vs. PHI not identified), as well as PHI-specific model performance. Results: We observe that the ROBERTA-large models perform best at identifying PHI in the i2b2/UTHealth 2014 corpus, achieving >99% overall accuracy and 96.7% recall/precision on the heldout test corpus. Performance was good across many PHI classes; however, accuracy/precision/recall decreased for identification of the following entity classes: professions, organizations, ages, and certain locations. Conclusions: Transformers are a promising model class/architecture for clinical text de-identification. With minimal hyper-parameter tuning transformers afford researchers/clinicians the opportunity to obtain (near) state-of-the-art performance.
• Abstract（参考訳）: 目的: i2b2/uthealth 2014臨床テキスト識別課題コーパスにおける保護健康情報(phi)の同定におけるトランスフォーマーモデルアーキテクチャの比較評価を行う。 方法: i2b2/UTHealth 2014 コーパスは、N=296患者から得られたN=1304臨床ノートを含む。 転送学習フレームワークを用いて、BERT-base、BERT-large、ROBERTA-base、ROBERTA-large、ALBERT-base、ALBERT-xxlargeなどのトランスフォーマーモデルアーキテクチャをコーパス上に微調整する。 微調整中は、バッチサイズ、数トレーニング期間、学習率、体重減少といったモデルハイパーパラメータが異なる。 トレーニングデータセット上でモデルを微調整し、独立検証データセット上で最適な実行モデルを評価し選択し、最後にホールドアウトテストデータセットにおける一般化性能を評価する。 精度,精度(正の予測値),リコール(感度),F1スコア(高調波平均精度とリコール)でモデル性能を評価する。 私たちは、PHI固有のモデルパフォーマンスだけでなく、全体的なモデルパフォーマンス(PHIとPHIは特定されていない)に興味を持っています。 結果: ROBERTA-largeモデルではi2b2/UTHealth 2014コーパスでのPHIの同定に優れ, 総合精度は99%, ホールドアウトテストコーパスでのリコール/精度は96.7%であった。 多くのPHIクラスで性能は良好であったが, 職業, 組織, 年齢, 特定の場所の識別において, 精度・精度・リコールは低下した。 結論: トランスフォーマーは臨床テキストの非識別のための有望なモデルクラス/アーキテクチャである。 最小限のハイパーパラメータ・チューニング・トランスフォーマーは、研究者やクリニック研究者に最先端のパフォーマンスを得る機会を与える。

関連論文リスト

• Phikon-v2, A large and public feature extractor for biomarker prediction [42.52549987351643]
  我々は、DINOv2を用いて視覚変換器を訓練し、このモデルの1つのイテレーションを公開して、Phikon-v2と呼ばれるさらなる実験を行う。 Phikon-v2は、公開されている組織学のスライドをトレーニングしながら、以前リリースしたモデル(Phikon)を上回り、プロプライエタリなデータでトレーニングされた他の病理学基盤モデル(FM)と同等に動作します。
  論文  参考訳（メタデータ） (2024-09-13T20:12:29Z)
• Comparative Performance Analysis of Transformer-Based Pre-Trained Models for Detecting Keratoconus Disease [0.0]
  本研究は、変性眼疾患である角膜症(keratoconus)の診断のために、訓練済みの8つのCNNを比較した。 MobileNetV2は角膜と正常な症例を誤分類の少ない場合に最も正確なモデルであった。
  論文  参考訳（メタデータ） (2024-08-16T20:15:24Z)
• Predictive Analytics of Varieties of Potatoes [2.336821989135698]
  本研究では, 育種試験におけるサツマイモクローンの選択プロセスの向上を目的とした, 機械学習アルゴリズムの適用について検討する。 本研究は, 高収率, 耐病性, 耐気候性ポテト品種を効率的に同定することの課題に対処する。
  論文  参考訳（メタデータ） (2024-04-04T00:49:05Z)
• The effect of data augmentation and 3D-CNN depth on Alzheimer's Disease detection [51.697248252191265]
  この研究は、データハンドリング、実験設計、モデル評価に関するベストプラクティスを要約し、厳密に観察する。 我々は、アルツハイマー病(AD)の検出に焦点を当て、医療における課題のパラダイム的な例として機能する。 このフレームワークでは,3つの異なるデータ拡張戦略と5つの異なる3D CNNアーキテクチャを考慮し,予測15モデルを訓練する。
  論文  参考訳（メタデータ） (2023-09-13T10:40:41Z)
• Large Language Models to Identify Social Determinants of Health in Electronic Health Records [2.168737004368243]
  健康の社会的決定因子(SDoH)は、患者の結果に重要な影響を与えるが、電子健康記録(EHR)から不完全に収集される。 本研究では,EHRにおける自由テキストからSDoHを抽出する大規模言語モデルについて検討した。 800の患者ノートをSDoHカテゴリーにアノテートし,いくつかのトランスフォーマーモデルを評価した。
  論文  参考訳（メタデータ） (2023-08-11T19:18:35Z)
• Comparative Analysis of Epileptic Seizure Prediction: Exploring Diverse Pre-Processing Techniques and Machine Learning Models [0.0]
  脳波データを用いたてんかん発作予測のための5つの機械学習モデルの比較分析を行った。 本分析の結果は,各モデルの性能を精度で示すものである。 ETモデルは99.29%の精度で最高の性能を示した。
  論文  参考訳（メタデータ） (2023-08-06T08:50:08Z)
• Preserving Knowledge Invariance: Rethinking Robustness Evaluation of Open Information Extraction [50.62245481416744]
  実世界におけるオープン情報抽出モデルの評価をシミュレートする最初のベンチマークを示す。 我々は、それぞれの例が知識不変のcliqueである大規模なテストベッドを設計し、注釈付けする。 さらにロバスト性計量を解明することにより、その性能が全体の傾きに対して一貫して正確であるならば、モデルはロバストであると判断される。
  論文  参考訳（メタデータ） (2023-05-23T12:05:09Z)
• Revisiting the Evaluation of Image Synthesis with GANs [55.72247435112475]
  本研究では, 合成性能の評価に関する実証的研究を行い, 生成モデルの代表としてGAN(Generative Adversarial Network)を用いた。 特に、表現空間におけるデータポイントの表現方法、選択したサンプルを用いた公平距離の計算方法、各集合から使用可能なインスタンス数など、さまざまな要素の詳細な分析を行う。
  論文  参考訳（メタデータ） (2023-04-04T17:54:32Z)
• Clinical Deterioration Prediction in Brazilian Hospitals Based on Artificial Neural Networks and Tree Decision Models [56.93322937189087]
  超強化ニューラルネットワーク(XBNet)は臨床劣化(CD)を予測するために用いられる XGBoostモデルはブラジルの病院のデータからCDを予測する最良の結果を得た。
  論文  参考訳（メタデータ） (2022-12-17T23:29:14Z)
• Comparing Test Sets with Item Response Theory [53.755064720563]
  我々は,18の事前学習トランスフォーマーモデルから予測した29のデータセットを個別のテスト例で評価した。 Quoref、HellaSwag、MC-TACOは最先端のモデルを区別するのに最適である。 また、QAMRやSQuAD2.0のようなQAデータセットに使用されるスパン選択タスク形式は、強いモデルと弱いモデルとの差別化に有効である。
  論文  参考訳（メタデータ） (2021-06-01T22:33:53Z)
• Predicting Clinical Diagnosis from Patients Electronic Health Records Using BERT-based Neural Networks [62.9447303059342]
  医療コミュニティにおけるこの問題の重要性を示す。 本稿では,変換器 (BERT) モデルによる2方向表現の分類順序の変更について述べる。 約400万人のユニークな患者訪問からなる、大規模なロシアのEHRデータセットを使用します。
  論文  参考訳（メタデータ） (2020-07-15T09:22:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。