論文の概要: Enhancing Clinical Information Extraction with Transferred Contextual Embeddings

• arxiv url: http://arxiv.org/abs/2109.07243v1
• Date: Wed, 15 Sep 2021 12:22:57 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-16 20:49:45.255233
• Title: Enhancing Clinical Information Extraction with Transferred Contextual Embeddings
• Title（参考訳）: トランスファーコンテクスト埋め込みによる臨床情報抽出の促進
• Authors: Zimin Wan, Chenchen Xu, Hanna Suominen
• Abstract要約: 変換器(BERT)モデルによる双方向表現は、多くの自然言語処理(NLP)タスクにおいて最先端のパフォーマンスを達成した。 BERTをベースとした事前学習モデルは,軽度条件下で健康関連文書に転送可能であることを示す。
• 参考スコア（独自算出の注目度）: 9.143551270841858
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: The Bidirectional Encoder Representations from Transformers (BERT) model has achieved the state-of-the-art performance for many natural language processing (NLP) tasks. Yet, limited research has been contributed to studying its effectiveness when the target domain is shifted from the pre-training corpora, for example, for biomedical or clinical NLP applications. In this paper, we applied it to a widely studied a hospital information extraction (IE) task and analyzed its performance under the transfer learning setting. Our application became the new state-of-the-art result by a clear margin, compared with a range of existing IE models. Specifically, on this nursing handover data set, the macro-average F1 score from our model was 0.438, whilst the previous best deep learning models had 0.416. In conclusion, we showed that BERT based pre-training models can be transferred to health-related documents under mild conditions and with a proper fine-tuning process.
• Abstract（参考訳）: トランスフォーマ(bert)モデルからの双方向エンコーダ表現は多くの自然言語処理(nlp)タスクで最先端のパフォーマンスを達成している。 しかし、バイオメディカルや臨床NLPの応用などにおいて、対象ドメインがトレーニング前のコーパスから移行する際の有効性の研究に限定的な研究が貢献している。 本稿では,病院情報抽出(ie)タスクを広く研究し,その性能をトランスファー学習環境下で分析した。 私たちのアプリケーションは、既存のieモデルと比べ、明確なマージンで新しい最先端の結果になりました。 特に,この看護ハンドオーバデータセットでは,我々のモデルによるマクロ平均f1スコアは0.438であり,これまでの最良深層学習モデルでは0.416であった。 その結果,BERTをベースとした事前学習モデルは,温和な条件下で適切な微調整プロセスで健康関連文書に転送可能であることがわかった。

関連論文リスト

• Towards a clinically accessible radiology foundation model: open-access and lightweight, with automated evaluation [113.5002649181103]
  オープンソースの小型マルチモーダルモデル(SMM)を訓練し、放射線学における未測定臨床ニーズに対する能力ギャップを埋める。 トレーニングのために,697万以上の画像テキストペアからなる大規模なデータセットを組み立てる。 評価のために,GPT-4に基づく実測値CheXpromptを提案する。 LlaVA-Radの推論は高速で、単一のV100 GPU上でプライベート設定で実行できる。
  論文  参考訳（メタデータ） (2024-03-12T18:12:02Z)
• LifeLonger: A Benchmark for Continual Disease Classification [59.13735398630546]
  MedMNISTコレクションの連続的な疾患分類のためのベンチマークであるLifeLongerを紹介する。 タスクとクラスでの病気の漸進的な学習は、モデルをスクラッチから再トレーニングすることなく、新しいサンプルを分類する問題に対処する。 クロスドメインインクリメンタル学習は、これまで得られた知識を維持しながら、異なる機関から派生したデータセットを扱う問題に対処する。
  論文  参考訳（メタデータ） (2022-04-12T12:25:05Z)
• Ensembling Handcrafted Features with Deep Features: An Analytical Study for Classification of Routine Colon Cancer Histopathological Nuclei Images [13.858624044986815]
  我々は,F1-measure,Precision,Recall,AUC,Cross-Entropy Lossを用いて,提案手法の性能解析を行った。 以上の結果から,DL特徴のアンサンブルがモデル全体の性能を著しく向上させることが明らかとなった。
  論文  参考訳（メタデータ） (2022-02-22T06:48:50Z)
• BERT WEAVER: Using WEight AVERaging to enable lifelong learning for transformer-based models in biomedical semantic search engines [49.75878234192369]
  We present WEAVER, a simple, yet efficient post-processing method that infuse old knowledge into the new model。 WEAVERを逐次的に適用すると、同じ単語の埋め込み分布が、一度にすべてのデータに対する総合的なトレーニングとして得られることを示す。
  論文  参考訳（メタデータ） (2022-02-21T10:34:41Z)
• Fine-Tuning Large Neural Language Models for Biomedical Natural Language Processing [55.52858954615655]
  バイオメディカルNLPの微調整安定性に関する系統的研究を行った。 我々は、特に低リソース領域において、微調整性能は事前トレーニング設定に敏感であることを示した。 これらの技術は低リソースバイオメディカルNLPアプリケーションの微調整性能を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2021-12-15T04:20:35Z)
• The unreasonable effectiveness of Batch-Norm statistics in addressing catastrophic forgetting across medical institutions [8.244654685687054]
  モデル改良と事前学習した知識の保持のトレードオフについて検討する。 本稿では,従来のデータセットのグローバルバッチ正規化統計値を用いて,弾性重み付け(EWC)を適応する,単純で効果的な手法を提案する。
  論文  参考訳（メタデータ） (2020-11-16T16:57:05Z)
• Domain-Specific Language Model Pretraining for Biomedical Natural Language Processing [73.37262264915739]
  バイオメディシンなどのラベルなしテキストの少ないドメインでは、スクラッチから言語モデルを事前学習することで、かなりの利益が得られることを示す。 実験の結果, ドメイン固有のプレトレーニングは, 幅広い生物医学的NLPタスクの基盤となることが明らかとなった。
  論文  参考訳（メタデータ） (2020-07-31T00:04:15Z)
• Predicting Clinical Diagnosis from Patients Electronic Health Records Using BERT-based Neural Networks [62.9447303059342]
  医療コミュニティにおけるこの問題の重要性を示す。 本稿では,変換器 (BERT) モデルによる2方向表現の分類順序の変更について述べる。 約400万人のユニークな患者訪問からなる、大規模なロシアのEHRデータセットを使用します。
  論文  参考訳（メタデータ） (2020-07-15T09:22:55Z)
• Med7: a transferable clinical natural language processing model for electronic health records [6.935142529928062]
  本稿では,臨床自然言語処理のための匿名認識モデルを提案する。 このモデルは、薬物名、ルート、頻度、摂取量、強度、形態、期間の7つのカテゴリを認識するよう訓練されている。 本研究は、米国における集中治療室のデータから、英国における二次医療精神保健記録(CRIS)へのモデル導入可能性を評価するものである。
  論文  参考訳（メタデータ） (2020-03-03T00:55:43Z)
• The Utility of General Domain Transfer Learning for Medical Language Tasks [1.5459429010135775]
  本研究の目的は,医療自然言語処理(NLP)タスクに適用したトランスファーラーニング手法とトランスフォーマーベースモデルの有効性を解析することである。 一般的なテキスト転送学習は、放射線コーパス上の医学的NLPタスクにおいて、最先端の結果を生成するための有効な技術である可能性がある。
  論文  参考訳（メタデータ） (2020-02-16T20:20:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。