論文の概要: MedMine: Examining Pre-trained Language Models on Medication Mining

• arxiv url: http://arxiv.org/abs/2308.03629v1
• Date: Mon, 7 Aug 2023 14:36:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-08 13:14:07.046824
• Title: MedMine: Examining Pre-trained Language Models on Medication Mining
• Title（参考訳）: MedMine: メディケイトマイニングにおける事前学習言語モデルの検討
• Authors: Haifa Alrdahi, Lifeng Han, Hendrik \v{S}uvalov, Goran Nenadic
• Abstract要約: このような課題に対して,現在最先端のプレトレーニング言語モデル (PLM) について検討する。 我々は,n2c2-2018課題の共有タスクデータセットを用いて,それらの利点と欠点を比較した。
• 参考スコア（独自算出の注目度）: 7.479160954840647
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Automatic medication mining from clinical and biomedical text has become a popular topic due to its real impact on healthcare applications and the recent development of powerful language models (LMs). However, fully-automatic extraction models still face obstacles to be overcome such that they can be deployed directly into clinical practice for better impacts. Such obstacles include their imbalanced performances on different entity types and clinical events. In this work, we examine current state-of-the-art pre-trained language models (PLMs) on such tasks, via fine-tuning including the monolingual model Med7 and multilingual large language model (LLM) XLM-RoBERTa. We compare their advantages and drawbacks using historical medication mining shared task data sets from n2c2-2018 challenges. We report the findings we get from these fine-tuning experiments such that they can facilitate future research on addressing them, for instance, how to combine their outputs, merge such models, or improve their overall accuracy by ensemble learning and data augmentation. MedMine is part of the M3 Initiative \url{https://github.com/HECTA-UoM/M3}
• Abstract（参考訳）: 臨床およびバイオメディカルテキストからの薬剤の自動マイニングは、医療アプリケーションや最近の強力な言語モデル(lms)の開発に実際に影響するため、一般的な話題となっている。 しかし、完全自動抽出モデルは依然として克服すべき障害に直面しており、より優れた影響を得るために直接臨床実践にデプロイすることができる。 このような障害には、異なるエンティティタイプや臨床イベントに対する不均衡なパフォーマンスが含まれる。 本研究では,モノリンガルモデルMed7や多言語大言語モデル(LLM)XLM-RoBERTaなどの微調整により,現状のPLMについて検討する。 n2c2-2018課題の共有タスクデータセットを用いて,それらの利点と欠点を比較した。 これらの微調整実験から得られた知見を報告する。例えば、それらの出力を組み合わせたり、モデルをマージしたり、学習とデータ拡張によって全体的な精度を向上させることができる。 MedMineはM3 Initiative \url{https://github.com/HECTA-UoM/M3}の一部である。

関連論文リスト

• Towards Evaluating and Building Versatile Large Language Models for Medicine [57.49547766838095]
  MedS-Benchは大規模言語モデル(LLM)の性能を臨床的に評価するためのベンチマークである。 MedS-Benchは、臨床報告の要約、治療勧告、診断、名前付きエンティティ認識、医療概念説明を含む、11のハイレベルな臨床タスクにまたがる。 MedS-Insは58の医療指向言語コーパスで構成され、112のタスクで1350万のサンプルを収集している。
  論文  参考訳（メタデータ） (2024-08-22T17:01:34Z)
• Retrieve, Generate, Evaluate: A Case Study for Medical Paraphrases Generation with Small Language Models [2.4851820343103035]
  SLM(Small Language Models)を用いた検索用拡張生成パイプラインpRAGeと医用パラフレーズ生成の評価について紹介する。 フランスの医療パラフレーズ生成におけるSLMの有効性と外部知識ベースの影響について検討した。
  論文  参考訳（メタデータ） (2024-07-23T15:17:11Z)
• LLMs-in-the-loop Part-1: Expert Small AI Models for Bio-Medical Text Translation [0.0]
  本研究では,医療用テキストに最適化された教師ありニューラルマシン翻訳モデルを開発するために,新しい"LLMs-in-the-loop"アプローチを提案する。 6つの言語での独自の平行コーパスは、科学論文、人工的に生成された臨床文書、医療文書から編纂された。 MarianMTベースのモデルは、Google Translate、DeepL、GPT-4-Turboより優れている。
  論文  参考訳（メタデータ） (2024-07-16T19:32:23Z)
• Medical Vision-Language Pre-Training for Brain Abnormalities [96.1408455065347]
  本稿では,PubMedなどの公共リソースから,医用画像・テキスト・アライメントデータを自動的に収集する方法を示す。 特に,まず大きな脳画像テキストデータセットを収集することにより,事前学習プロセスの合理化を図るパイプラインを提案する。 また,医療領域におけるサブフィギュアをサブキャプションにマッピングするというユニークな課題についても検討した。
  論文  参考訳（メタデータ） (2024-04-27T05:03:42Z)
• Adapting Mental Health Prediction Tasks for Cross-lingual Learning via Meta-Training and In-context Learning with Large Language Model [3.3590922002216193]
  モデルに依存しないメタラーニングと,このギャップに対処するために大規模言語モデル(LLM)を活用する。 まず,自己超越型メタラーニングモデルを適用し,迅速な適応と言語間移動のためのモデル初期化を改良する。 並行して、LLMのインコンテキスト学習機能を用いて、スワヒリのメンタルヘルス予測タスクにおけるパフォーマンスの精度を評価する。
  論文  参考訳（メタデータ） (2024-04-13T17:11:35Z)
• MING-MOE: Enhancing Medical Multi-Task Learning in Large Language Models with Sparse Mixture of Low-Rank Adapter Experts [22.596827147978598]
  本稿では,MING-MOE(Mixture-of-Expert)をベースとした医療用大規模言語モデルを提案する。 タスク固有のアノテーションを必要とせずに、多種多様な複雑な医療タスクを管理するように設計されている。 20以上の医療タスクで最先端(SOTA)のパフォーマンスを達成し、既存のモデルよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2024-04-13T15:28:52Z)
• Large Language Model Distilling Medication Recommendation Model [61.89754499292561]
  大規模言語モデル(LLM)の強力な意味理解と入力非依存特性を利用する。 本研究は, LLMを用いて既存の薬剤推奨手法を変換することを目的としている。 これを軽減するため,LLMの習熟度をよりコンパクトなモデルに伝達する機能レベルの知識蒸留技術を開発した。
  論文  参考訳（メタデータ） (2024-02-05T08:25:22Z)
• Customizing General-Purpose Foundation Models for Medical Report Generation [64.31265734687182]
  ラベル付き医用画像-レポートペアの不足は、ディープニューラルネットワークや大規模ニューラルネットワークの開発において大きな課題となっている。 本稿では,コンピュータビジョンと自然言語処理の基盤モデル (FM) として,市販の汎用大規模事前学習モデルのカスタマイズを提案する。
  論文  参考訳（メタデータ） (2023-06-09T03:02:36Z)
• PMC-LLaMA: Towards Building Open-source Language Models for Medicine [62.39105735933138]
  大規模言語モデル(LLM)は、自然言語理解において顕著な能力を示した。 LLMは、ドメイン固有の知識が不足しているため、医学的応用のような正確性を必要とする領域で苦労している。 PMC-LLaMAと呼ばれる医療応用に特化した強力なオープンソース言語モデルの構築手順について述べる。
  論文  参考訳（メタデータ） (2023-04-27T18:29:05Z)
• Competence-based Multimodal Curriculum Learning for Medical Report Generation [98.10763792453925]
  本稿では,コンピテンスベースのマルチモーダルカリキュラム学習フレームワーク(CMCL)を提案する。 具体的には、CMCLは放射線学者の学習過程をシミュレートし、段階的にモデルを最適化する。 パブリックIU-XrayとMIMIC-CXRデータセットの実験は、CMCLを既存のモデルに組み込んでパフォーマンスを向上させることができることを示している。
  論文  参考訳（メタデータ） (2022-06-24T08:16:01Z)
• An Empirical Study of Multi-Task Learning on BERT for Biomedical Text Mining [17.10823632511911]
  複数のデコーダを用いたマルチタスク学習モデルについて,生物医学的および臨床的自然言語処理タスクの多様性について検討した。 実験結果から,MTL微調整モデルが最先端トランスモデルより優れていることが示された。
  論文  参考訳（メタデータ） (2020-05-06T13:25:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。