論文の概要: Disease Entity Recognition and Normalization is Improved with Large Language Model Derived Synthetic Normalized Mentions

• arxiv url: http://arxiv.org/abs/2410.07951v1
• Date: Thu, 10 Oct 2024 14:18:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-31 13:53:52.208385
• Title: Disease Entity Recognition and Normalization is Improved with Large Language Model Derived Synthetic Normalized Mentions
• Title（参考訳）: 大規模言語モデルに基づく正規化と病的実体認識の改善
• Authors: Kuleen Sasse, Shinjitha Vadlakonda, Richard E. Kennedy, John D. Osborne,
• Abstract要約: 大規模言語モデル(LLM)の生成により、これらの情報抽出タスクの性能が向上する可能性がある。 疾患エンティティ認識(DER)と疾患エンティティ正規化(DEN)の総合的およびアウトオブディストリビューション(OOD)性能を測定した。 SapBERTとKrissBERTの総合成績は3～9ポイント,OODは20～55ポイント向上した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Background: Machine learning methods for clinical named entity recognition and entity normalization systems can utilize both labeled corpora and Knowledge Graphs (KGs) for learning. However, infrequently occurring concepts may have few mentions in training corpora and lack detailed descriptions or synonyms, even in large KGs. For Disease Entity Recognition (DER) and Disease Entity Normalization (DEN), this can result in fewer high quality training examples relative to the number of known diseases. Large Language Model (LLM) generation of synthetic training examples could improve performance in these information extraction tasks. Methods: We fine-tuned a LLaMa-2 13B Chat LLM to generate a synthetic corpus containing normalized mentions of concepts from the Unified Medical Language System (UMLS) Disease Semantic Group. We measured overall and Out of Distribution (OOD) performance for DER and DEN, with and without synthetic data augmentation. We evaluated performance on 3 different disease corpora using 4 different data augmentation strategies, assessed using BioBERT for DER and SapBERT and KrissBERT for DEN. Results: Our synthetic data yielded a substantial improvement for DEN, in all 3 training corpora the top 1 accuracy of both SapBERT and KrissBERT improved by 3-9 points in overall performance and by 20-55 points in OOD data. A small improvement (1-2 points) was also seen for DER in overall performance, but only one dataset showed OOD improvement. Conclusion: LLM generation of normalized disease mentions can improve DEN relative to normalization approaches that do not utilize LLMs to augment data with synthetic mentions. Ablation studies indicate that performance gains for DEN were only partially attributable to improvements in OOD performance. The same approach has only a limited ability to improve DER. We make our software and dataset publicly available.
• Abstract（参考訳）: 背景: 臨床名付きエンティティ認識とエンティティ正規化システムのための機械学習手法は、ラベル付きコーパスと知識グラフ(KG)の両方を学習に利用することができる。 しかし、しばしば発生する概念は、コーパスの訓練においてほとんど言及されず、大規模なKGでも詳細な記述や同義語が欠如している。 疾患エンティティ認識(DER)と疾患エンティティ正規化(DEN)では、既知の疾患の数と比較して、高品質なトレーニング例が少ない可能性がある。 大規模言語モデル(LLM)の生成により、これらの情報抽出タスクの性能が向上する可能性がある。 方法: LLaMa-2 13B Chat LLMを微調整し, UMLS (Unified Medical Language System) Disease Semantic Group) の概念の正規化された記述を含む合成コーパスを作成した。 DERおよびDENの総合および外部分布(OOD)性能を,合成データ拡張の有無で測定した。 4種類のデータ拡張戦略を用いて,3種類の疾患コーパスの性能評価を行い,BioBERTをDER,KrissBERTをDENで評価した。 その結果,SapBERTとKrissBERTの総合成績は3～9ポイント,OODは20～55ポイント向上した。 DER全体のパフォーマンスにも小さな改善(1-2ポイント)が見られたが、OODの改善を示したデータセットは1つだけだった。 結論: 正常化疾患のLLM生成は, LLMを使用しない正常化アプローチと比較してDENを改善することができる。 アブレーション研究では、DENの性能向上はOOD性能の改善に部分的に寄与しているだけであることが示されている。 同じアプローチでは、DERを改善する能力は限られています。 ソフトウェアとデータセットを公開しています。

関連論文リスト

• A Federated Learning-Friendly Approach for Parameter-Efficient Fine-Tuning of SAM in 3D Segmentation [5.011091042850546]
  医用画像解析に基礎モデルを適用するには、かなりの量のデータでそれらを微調整する必要がある。 このような微調整のためのタスク固有の医療データを中央で収集することは、多くのプライバシー上の懸念を引き起こす。 フェデレーテッド・ラーニング(FL)は、プライベートな分散データをトレーニングするための効果的な手段を提供するが、大規模な基盤モデルをフェデレーテッドする際の通信コストは、すぐに重大なボトルネックとなる可能性がある。
  論文  参考訳（メタデータ） (2024-07-31T16:48:06Z)
• Improving Entity Recognition Using Ensembles of Deep Learning and Fine-tuned Large Language Models: A Case Study on Adverse Event Extraction from Multiple Sources [13.750202656564907]
  副作用イベント(AE)抽出は、免疫の安全プロファイルを監視し解析するために重要である。 本研究では,AE抽出における大規模言語モデル(LLM)と従来のディープラーニングモデルの有効性を評価することを目的とする。
  論文  参考訳（メタデータ） (2024-06-26T03:56:21Z)
• Which Augmentation Should I Use? An Empirical Investigation of Augmentations for Self-Supervised Phonocardiogram Representation Learning [5.438725298163702]
  Contrastive Self-Supervised Learning (SSL)はラベル付きデータの不足に対する潜在的な解決策を提供する。 1次元心電図(PCG)分類におけるコントラスト学習の最適化を提案する。 トレーニング分布によっては、完全教師付きモデルの有効性が最大32%低下し、SSLモデルは最大10%低下し、場合によっては改善される。
  論文  参考訳（メタデータ） (2023-12-01T11:06:00Z)
• Contrast Everything: A Hierarchical Contrastive Framework for Medical Time-Series [12.469204999759965]
  COMETは、医療時系列のすべての固有のレベルにおいてデータのコンピテンシーを活用する革新的な階層的フレームワークである。 我々の綿密に設計されたモデルは、観察、サンプル、トライアル、患者レベルという4つの潜在的なレベルからデータ一貫性を体系的にキャプチャする。 心筋梗塞の心電図信号とアルツハイマー病とパーキンソン病の脳波信号を含む3つの多様なデータセットを用いて,COMETと6つのベースラインを比較した。
  論文  参考訳（メタデータ） (2023-10-21T13:59:31Z)
• The effect of data augmentation and 3D-CNN depth on Alzheimer's Disease detection [51.697248252191265]
  この研究は、データハンドリング、実験設計、モデル評価に関するベストプラクティスを要約し、厳密に観察する。 我々は、アルツハイマー病(AD)の検出に焦点を当て、医療における課題のパラダイム的な例として機能する。 このフレームワークでは,3つの異なるデータ拡張戦略と5つの異なる3D CNNアーキテクチャを考慮し,予測15モデルを訓練する。
  論文  参考訳（メタデータ） (2023-09-13T10:40:41Z)
• Learnable Weight Initialization for Volumetric Medical Image Segmentation [66.3030435676252]
  本稿では,学習可能な重みに基づくハイブリッド医療画像セグメンテーション手法を提案する。 我々のアプローチはどんなハイブリッドモデルにも簡単に統合でき、外部のトレーニングデータを必要としない。 多臓器・肺がんセグメンテーションタスクの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2023-06-15T17:55:05Z)
• Negation detection in Dutch clinical texts: an evaluation of rule-based and machine learning methods [0.21079694661943607]
  オランダ臨床ノートにおける否定検出の3つの方法の比較を行った。 その結果,biLSTMモデルとRoBERTaモデルはF1スコア,精度,リコールという点で,ルールベースモデルよりも一貫して優れていた。
  論文  参考訳（メタデータ） (2022-09-01T14:00:13Z)
• BERT WEAVER: Using WEight AVERaging to enable lifelong learning for transformer-based models in biomedical semantic search engines [49.75878234192369]
  We present WEAVER, a simple, yet efficient post-processing method that infuse old knowledge into the new model。 WEAVERを逐次的に適用すると、同じ単語の埋め込み分布が、一度にすべてのデータに対する総合的なトレーニングとして得られることを示す。
  論文  参考訳（メタデータ） (2022-02-21T10:34:41Z)
• Enhancing the Generalization for Intent Classification and Out-of-Domain Detection in SLU [70.44344060176952]
  インテント分類は、音声言語理解(SLU)における主要な課題である 近年の研究では、余分なデータやラベルを使用することで、OOD検出性能が向上することが示されている。 本稿では、IND意図分類とOOD検出の両方をサポートしながら、INDデータのみを用いてモデルを訓練することを提案する。
  論文  参考訳（メタデータ） (2021-06-28T08:27:38Z)
• Uncovering the structure of clinical EEG signals with self-supervised learning [64.4754948595556]
  教師付き学習パラダイムは、しばしば利用可能なラベル付きデータの量によって制限される。 この現象は脳波(EEG)などの臨床関連データに特に問題となる。 ラベルのないデータから情報を抽出することで、ディープニューラルネットワークとの競合性能に到達することができるかもしれない。
  論文  参考訳（メタデータ） (2020-07-31T14:34:47Z)
• Adversarial Feature Hallucination Networks for Few-Shot Learning [84.31660118264514]
  Adversarial Feature Hallucination Networks (AFHN) は条件付き Wasserstein Generative Adversarial Network (cWGAN) に基づいている。 合成された特徴の識別性と多様性を促進するために、2つの新規レギュレータがAFHNに組み込まれている。
  論文  参考訳（メタデータ） (2020-03-30T02:43:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。