論文の概要: Developing a general-purpose clinical language inference model from a large corpus of clinical notes

• arxiv url: http://arxiv.org/abs/2210.06566v1
• Date: Wed, 12 Oct 2022 20:08:45 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-14 15:32:29.472499
• Title: Developing a general-purpose clinical language inference model from a large corpus of clinical notes
• Title（参考訳）: 大規模臨床ノートコーパスを用いた汎用臨床言語推論モデルの開発
• Authors: Madhumita Sushil and Dana Ludwig and Atul J. Butte and Vivek A. Rudrapatna
• Abstract要約: カリフォルニア大学サンフランシスコ校(UCSF)で著述された7500万の同定された臨床記録を多種多様な同定コーパスを用いて,BERTモデルからBi Domain Decoderを訓練した。 本モデルは,UCSFデータを用いた2つのタスクのシステム内評価において,これらのモデルと同等の大きさのバイオメディカル言語モデルと同等の性能を発揮した。
• 参考スコア（独自算出の注目度）: 0.30586855806896046
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Several biomedical language models have already been developed for clinical language inference. However, these models typically utilize general vocabularies and are trained on relatively small clinical corpora. We sought to evaluate the impact of using a domain-specific vocabulary and a large clinical training corpus on the performance of these language models in clinical language inference. We trained a Bidirectional Encoder Decoder from Transformers (BERT) model using a diverse, deidentified corpus of 75 million deidentified clinical notes authored at the University of California, San Francisco (UCSF). We evaluated this model on several clinical language inference benchmark tasks: clinical and temporal concept recognition, relation extraction and medical language inference. We also evaluated our model on two tasks using discharge summaries from UCSF: diagnostic code assignment and therapeutic class inference. Our model performs at par with the best publicly available biomedical language models of comparable sizes on the public benchmark tasks, and is significantly better than these models in a within-system evaluation on the two tasks using UCSF data. The use of in-domain vocabulary appears to improve the encoding of longer documents. The use of large clinical corpora appears to enhance document encoding and inferential accuracy. However, further research is needed to improve abbreviation resolution, and numerical, temporal, and implicitly causal inference.
• Abstract（参考訳）: 臨床言語推論のためのいくつかのバイオメディカル言語モデルがすでに開発されている。 しかし、これらのモデルは一般的に一般的な語彙を使い、比較的小さな臨床コーパスで訓練される。 臨床言語推論における言語モデルの性能に及ぼすドメイン固有語彙と大規模臨床訓練コーパスの使用の影響について検討した。 我々は、カリフォルニア大学サンフランシスコ校(UCSF)で著述された7500万の特定された臨床記録を多種多様な同定コーパスを用いて、変換器(BERT)モデルから双方向エンコーダデコーダを訓練した。 本モデルは,臨床言語概念認識,関係抽出,医療言語推論など,いくつかの臨床言語推論ベンチマークタスクで評価した。 また,UCSFからの放電サマリーを用いて,診断符号の割り当てと治療クラス推論の2つの課題について検討した。 本モデルは,UCSFデータを用いた2つのタスクのシステム内評価において,これらのモデルと同等の大きさのバイオメディカル言語モデルと同等の性能を発揮した。 ドメイン内語彙の使用は、長い文書のエンコーディングを改善するように見える。 大規模な臨床コーパスの使用は、文書エンコーディングと推論精度を高めるように見える。 しかし、省略分解能や数値的、時間的、暗黙的因果推論を改善するためには、さらなる研究が必要である。

関連論文リスト

• Medical Vision-Language Pre-Training for Brain Abnormalities [96.1408455065347]
  本稿では,PubMedなどの公共リソースから,医用画像・テキスト・アライメントデータを自動的に収集する方法を示す。 特に,まず大きな脳画像テキストデータセットを収集することにより,事前学習プロセスの合理化を図るパイプラインを提案する。 また,医療領域におけるサブフィギュアをサブキャプションにマッピングするというユニークな課題についても検討した。
  論文  参考訳（メタデータ） (2024-04-27T05:03:42Z)
• ClinLinker: Medical Entity Linking of Clinical Concept Mentions in Spanish [39.81302995670643]
  本研究は、医療エンティティリンクのための2相パイプラインを用いた新しいアプローチであるClinLinkerを提示する。 SapBERTベースのバイエンコーダに基づいており、その後クロスエンコーダで再ランクされ、スペインの医療概念に合わせた対照的な学習戦略に従って訓練されている。
  論文  参考訳（メタデータ） (2024-04-09T15:04:27Z)
• Neural Machine Translation of Clinical Text: An Empirical Investigation into Multilingual Pre-Trained Language Models and Transfer-Learning [6.822926897514793]
  1)臨床症例(CC),2)臨床用語(CT),3)オントロジ概念(OC)の3つのサブタスクの実験結果 ClinSpEn-2022では,英語とスペイン語の臨床領域データの共有タスクにおいて,トップレベルのパフォーマンスを達成した。 WMT21fbモデルを用いて,新しい言語空間をスペイン語で表現する手法について検討した。
  論文  参考訳（メタデータ） (2023-12-12T13:26:42Z)
• Hierarchical Pretraining for Biomedical Term Embeddings [4.69793648771741]
  階層データに基づく新しいバイオメディカル用語表現モデルであるHiPrBERTを提案する。 HiPrBERTは階層的な情報からペアワイズ距離を効果的に学習し,さらにバイオメディカルな応用に極めて有用な埋め込みを実現できることを示す。
  論文  参考訳（メタデータ） (2023-07-01T08:16:00Z)
• Cross-Lingual Knowledge Transfer for Clinical Phenotyping [55.92262310716537]
  本稿では,英語を使わないクリニックに対して,このタスクを実行するための言語間知識伝達戦略について検討する。 ギリシャ語とスペイン語のクリニックに対して,異なる臨床領域のクリニカルノートを活用して,これらの戦略を評価する。 以上の結果から,多言語データを用いることで,臨床表現型モデルが改善され,データの疎度を補うことが可能であることが示唆された。
  論文  参考訳（メタデータ） (2022-08-03T08:33:21Z)
• Few-Shot Cross-lingual Transfer for Coarse-grained De-identification of Code-Mixed Clinical Texts [56.72488923420374]
  事前学習型言語モデル (LM) は低リソース環境下での言語間移動に大きな可能性を示している。 脳卒中におけるコードミキシング(スペイン・カタラン)臨床ノートの低リソース・実世界の課題を解決するために,NER (name recognition) のためのLMの多言語間転写特性を示す。
  論文  参考訳（メタデータ） (2022-04-10T21:46:52Z)
• Biomedical and Clinical Language Models for Spanish: On the Benefits of Domain-Specific Pretraining in a Mid-Resource Scenario [0.05277024349608833]
  本研究は, 異なる事前学習選択を実験することにより, スペイン語の生物医学的, 臨床的言語モデルを示す。 モデルをスクラッチからトレーニングするための十分な臨床データがないため,混合ドメイン事前訓練法とクロスドメイン移行法を適用し,優れたバイオクリニカルモデルを構築した。
  論文  参考訳（メタデータ） (2021-09-08T12:12:07Z)
• CBLUE: A Chinese Biomedical Language Understanding Evaluation Benchmark [51.38557174322772]
  中国初のバイオメディカル言語理解評価ベンチマークを提示する。 名前付きエンティティ認識、情報抽出、臨床診断正規化、単文/文対分類を含む自然言語理解タスクのコレクションである。 本研究は,現在の11種類の中国モデルによる実験結果について報告し,その実験結果から,現在最先端のニューラルモデルがヒトの天井よりもはるかに悪い性能を示すことが示された。
  論文  参考訳（メタデータ） (2021-06-15T12:25:30Z)
• Does the Magic of BERT Apply to Medical Code Assignment? A Quantitative Study [2.871614744079523]
  事前訓練されたモデルが、さらなるアーキテクチャエンジニアリングなしで医療コード予測に有用かどうかは明らかではない。 本稿では,単語間のインタラクションをキャプチャし,ラベル情報を活用する階層的な微調整アーキテクチャを提案する。 現在の傾向とは対照的に、我々は慎重に訓練された古典的なCNNは、頻繁なコードでMIMIC-IIIサブセット上の注意ベースのモデルを上回ることを実証します。
  論文  参考訳（メタデータ） (2021-03-11T07:23:45Z)
• A Meta-embedding-based Ensemble Approach for ICD Coding Prediction [64.42386426730695]
  国際疾病分類 (icd) は、世界中で臨床コーディングに使われているデファクトコードである。 これらのコードにより、医療提供者は償還を請求し、診断情報の効率的な保管と検索を容易にします。 提案手法は,日常的な医学データと科学論文の外部知識を用いて,効果的に単語ベクトルを訓練することにより,神経モデルの性能を高める。
  論文  参考訳（メタデータ） (2021-02-26T17:49:58Z)
• Predicting Clinical Diagnosis from Patients Electronic Health Records Using BERT-based Neural Networks [62.9447303059342]
  医療コミュニティにおけるこの問題の重要性を示す。 本稿では,変換器 (BERT) モデルによる2方向表現の分類順序の変更について述べる。 約400万人のユニークな患者訪問からなる、大規模なロシアのEHRデータセットを使用します。
  論文  参考訳（メタデータ） (2020-07-15T09:22:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。