論文の概要: Improving Entity Recognition Using Ensembles of Deep Learning and Fine-tuned Large Language Models: A Case Study on Adverse Event Extraction from Multiple Sources

• arxiv url: http://arxiv.org/abs/2406.18049v1
• Date: Wed, 26 Jun 2024 03:56:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-27 14:48:10.397591
• Title: Improving Entity Recognition Using Ensembles of Deep Learning and Fine-tuned Large Language Models: A Case Study on Adverse Event Extraction from Multiple Sources
• Title（参考訳）: 深層学習と微調整大言語モデルを用いたエンティティ認識の改良:複数音源からの逆イベント抽出を事例として
• Authors: Yiming Li, Deepthi Viswaroopan, William He, Jianfu Li, Xu Zuo, Hua Xu, Cui Tao,
• Abstract要約: 副作用イベント(AE)抽出は、免疫の安全プロファイルを監視し解析するために重要である。 本研究では,AE抽出における大規模言語モデル(LLM)と従来のディープラーニングモデルの有効性を評価することを目的とする。
• 参考スコア（独自算出の注目度）: 13.750202656564907
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adverse event (AE) extraction following COVID-19 vaccines from text data is crucial for monitoring and analyzing the safety profiles of immunizations. Traditional deep learning models are adept at learning intricate feature representations and dependencies in sequential data, but often require extensive labeled data. In contrast, large language models (LLMs) excel in understanding contextual information, but exhibit unstable performance on named entity recognition tasks, possibly due to their broad but unspecific training. This study aims to evaluate the effectiveness of LLMs and traditional deep learning models in AE extraction, and to assess the impact of ensembling these models on performance. In this study, we utilized reports and posts from the VAERS (n=621), Twitter (n=9,133), and Reddit (n=131) as our corpora. Our goal was to extract three types of entities: "vaccine", "shot", and "ae". We explored and fine-tuned (except GPT-4) multiple LLMs, including GPT-2, GPT-3.5, GPT-4, and Llama-2, as well as traditional deep learning models like RNN and BioBERT. To enhance performance, we created ensembles of the three models with the best performance. For evaluation, we used strict and relaxed F1 scores to evaluate the performance for each entity type, and micro-average F1 was used to assess the overall performance. The ensemble model achieved the highest performance in "vaccine", "shot", and "ae" with strict F1-scores of 0.878, 0.930, and 0.925, respectively, along with a micro-average score of 0.903. In conclusion, this study demonstrates the effectiveness and robustness of ensembling fine-tuned traditional deep learning models and LLMs, for extracting AE-related information. This study contributes to the advancement of biomedical natural language processing, providing valuable insights into improving AE extraction from text data for pharmacovigilance and public health surveillance.
• Abstract（参考訳）: テキストデータからのCOVID-19ワクチンによる逆イベント(AE)抽出は、免疫の安全プロファイルを監視し分析するために重要である。 従来のディープラーニングモデルは、複雑な特徴表現とシーケンシャルデータへの依存性を学習するのに適しているが、ラベル付きデータを必要とすることが多い。 対照的に、大きな言語モデル(LLM)は文脈情報の理解に優れるが、名前付きエンティティ認識タスクでは不安定な性能を示す。 本研究では,AE抽出におけるLLMと従来のディープラーニングモデルの有効性を評価し,これらのモデルが性能に与える影響を評価することを目的とする。 本研究では,VAERS (n=621), Twitter (n=9,133), Reddit (n=131) からの報告と投稿をコーパスとして利用した。 私たちの目標は、"vaccine"、"shot"、"ae"の3種類のエンティティを抽出することでした。 我々は, GPT-2, GPT-3.5, GPT-4, Llama-2, RNN や BioBERT などの従来のディープラーニングモデルを含む複数の LLM を探索・微調整した。 性能を向上させるため、3つのモデルのアンサンブルを最高の性能で生成した。 評価には,厳密かつ緩やかなF1スコアを用いて各エンティティタイプの性能評価を行い,マイクロ平均F1を用いて全体の性能評価を行った。 アンサンブルモデルは、それぞれ0.878、0.930、0.925の厳格なF1スコアと0.903のマイクロスコアで最高性能を達成した。 本研究は,AE関連情報を抽出するための,微調整された従来の深層学習モデルとLLMの有効性とロバスト性を示すものである。 本研究は, バイオメディカル自然言語処理の進歩に寄与し, 薬物移動および公衆衛生監視のためのテキストデータからAE抽出を改善するための貴重な知見を提供する。

関連論文リスト

• Information Extraction from Clinical Notes: Are We Ready to Switch to Large Language Models? [16.312594953592665]
  大規模言語モデル(LLM)は生成タスクに優れるが、抽出タスクのパフォーマンスについては議論が続いている。 本研究は,オープンソースLLMを用いた包括的臨床用IEシステムの開発と評価を行った最初の試みである。
  論文  参考訳（メタデータ） (2024-11-15T07:54:19Z)
• Disease Entity Recognition and Normalization is Improved with Large Language Model Derived Synthetic Normalized Mentions [0.0]
  大規模言語モデル(LLM)の生成により、これらの情報抽出タスクの性能が向上する可能性がある。 疾患エンティティ認識(DER)と疾患エンティティ正規化(DEN)の総合的およびアウトオブディストリビューション(OOD)性能を測定した。 SapBERTとKrissBERTの総合成績は3～9ポイント,OODは20～55ポイント向上した。
  論文  参考訳（メタデータ） (2024-10-10T14:18:34Z)
• Enhancing SLM via ChatGPT and Dataset Augmentation [0.3844771221441211]
  我々は,大言語モデル (LLMs) と小言語モデル (SLMs) のパフォーマンスギャップを埋めるために,知識蒸留技術と合成データセット拡張を用いている。 提案手法は,情報抽出と情報推論という2種類の理性生成を伴い,ANLIデータセットを充実させる。 その結果, 合成合理化によって自然言語の理解能力が向上し, ANLIデータセット上での分類精度が1.3%, 2.3%向上することが判明した。
  論文  参考訳（メタデータ） (2024-09-19T09:24:36Z)
• On Machine Learning Approaches for Protein-Ligand Binding Affinity Prediction [2.874893537471256]
  本研究では,タンパク質-リガンド結合親和性予測における古典的木モデルと高度なニューラルネットワークの性能を評価する。 2次元モデルと3次元モデルを組み合わせることで、現在の最先端のアプローチを超えて、アクティブな学習結果が向上することを示す。
  論文  参考訳（メタデータ） (2024-07-15T13:06:00Z)
• Extracting Training Data from Unconditional Diffusion Models [76.85077961718875]
  拡散確率モデル(DPM)は、生成人工知能(AI)の主流モデルとして採用されている。 本研究の目的は,1) 理論解析のための記憶量,2) 情報ラベルとランダムラベルを用いた条件記憶量,3) 記憶量測定のための2つのより良い評価指標を用いて,DPMにおける記憶量の理論的理解を確立することである。 提案手法は,理論解析に基づいて,SIDE (textbfSurrogate condItional Data extract) と呼ばれる新しいデータ抽出手法を提案する。
  論文  参考訳（メタデータ） (2024-06-18T16:20:12Z)
• Distilling Large Language Models for Biomedical Knowledge Extraction: A Case Study on Adverse Drug Events [17.73671383380315]
  本研究では,大規模言語モデル(LLM)が生物医学的知識キュレーションのスケールアップにどのように役立つかを検討する。 コスト,効率,ホワイトボックスモデルアクセスといった付加的なアドバンテージを伴って,アウトオブボックスのLCMよりも大幅に向上できることが判明した。
  論文  参考訳（メタデータ） (2023-07-12T20:08:48Z)
• Preserving Knowledge Invariance: Rethinking Robustness Evaluation of Open Information Extraction [50.62245481416744]
  実世界におけるオープン情報抽出モデルの評価をシミュレートする最初のベンチマークを示す。 我々は、それぞれの例が知識不変のcliqueである大規模なテストベッドを設計し、注釈付けする。 さらにロバスト性計量を解明することにより、その性能が全体の傾きに対して一貫して正確であるならば、モデルはロバストであると判断される。
  論文  参考訳（メタデータ） (2023-05-23T12:05:09Z)
• Textual Data Augmentation for Patient Outcomes Prediction [67.72545656557858]
  本稿では,患者の電子カルテに人工的な臨床ノートを作成するための新しいデータ拡張手法を提案する。 生成言語モデルGPT-2を微調整し、ラベル付きテキストを元のトレーニングデータで合成する。 今回,最も多い患者,すなわち30日間の寛解率について検討した。
  論文  参考訳（メタデータ） (2022-11-13T01:07:23Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)
• Are Sample-Efficient NLP Models More Robust? [90.54786862811183]
  サンプル効率(所定のID精度に到達するために必要なデータ量)とロバスト性(OOD評価モデルの評価方法)の関係について検討する。 高いサンプル効率は、いくつかのモデリング介入やタスクにおいて、より平均的なOODロバスト性にのみ相関するが、それ以外は相関しない。 これらの結果から,サンプル効率向上のための汎用手法は,データセットとタスクに依存した汎用的なOODロバスト性向上をもたらす可能性が示唆された。
  論文  参考訳（メタデータ） (2022-10-12T17:54:59Z)
• An Empirical Investigation of Commonsense Self-Supervision with Knowledge Graphs [67.23285413610243]
  大規模知識グラフから抽出した情報に基づく自己監督は、言語モデルの一般化を改善することが示されている。 本研究では,言語モデルに適用可能な合成データを生成するための知識サンプリング戦略とサイズの影響について検討する。
  論文  参考訳（メタデータ） (2022-05-21T19:49:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。