論文の概要: Generalizable and Scalable Multistage Biomedical Concept Normalization Leveraging Large Language Models

• arxiv url: http://arxiv.org/abs/2405.15122v1
• Date: Fri, 24 May 2024 00:31:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-27 18:38:12.485007
• Title: Generalizable and Scalable Multistage Biomedical Concept Normalization Leveraging Large Language Models
• Title（参考訳）: 大規模言語モデルを活用した汎用的でスケーラブルな多段階バイオメディカル概念正規化
• Authors: Nicholas J Dobbins,
• Abstract要約: 大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて、大きな可能性と高いパフォーマンスを示している。 バイオメディカル研究でよく用いられるルールベース正規化システムと組み合わせて, プロプライエタリおよびオープンソース両方のLSMを適用した。 生物医学的要約の公開データセットから,5,523の概念用語とテキストコンテキストを評価した。
• 参考スコア（独自算出の注目度）: 1.1515183244376797
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Background: Biomedical entity normalization is critical to biomedical research because the richness of free-text clinical data, such as progress notes, can often be fully leveraged only after translating words and phrases into structured and coded representations suitable for analysis. Large Language Models (LLMs), in turn, have shown great potential and high performance in a variety of natural language processing (NLP) tasks, but their application for normalization remains understudied. Methods: We applied both proprietary and open-source LLMs in combination with several rule-based normalization systems commonly used in biomedical research. We used a two-step LLM integration approach, (1) using an LLM to generate alternative phrasings of a source utterance, and (2) to prune candidate UMLS concepts, using a variety of prompting methods. We measure results by $F_{\beta}$, where we favor recall over precision, and F1. Results: We evaluated a total of 5,523 concept terms and text contexts from a publicly available dataset of human-annotated biomedical abstracts. Incorporating GPT-3.5-turbo increased overall $F_{\beta}$ and F1 in normalization systems +9.5 and +7.3 (MetaMapLite), +13.9 and +10.9 (QuickUMLS), and +10.5 and +10.3 (BM25), while the open-source Vicuna model achieved +10.8 and +12.2 (MetaMapLite), +14.7 and +15 (QuickUMLS), and +15.6 and +18.7 (BM25). Conclusions: Existing general-purpose LLMs, both propriety and open-source, can be leveraged at scale to greatly improve normalization performance using existing tools, with no fine-tuning.
• Abstract（参考訳）: 背景: バイオメディカルエンティティの正規化は, 文章やフレーズを解析に適した構造化および符号化された表現に翻訳した後にのみ, 進歩ノートなどの自由テキスト臨床データの豊かさを十分に活用できるため, 生物医学研究にとって重要である。 大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて大きな可能性と高い性能を示してきたが、その正規化への応用はまだ検討されていない。 方法: バイオメディカル研究でよく用いられるルールベース正規化システムと, プロプライエタリLLMとオープンソースLLMを併用した。 2段階のLLM統合手法を用いて,(1)LLMを用いてソース発話の代替フレーズを生成し,(2)UMLSの候補概念を多種多様なプロンプト手法を用いて提案した。 結果を$F_{\beta}$で測る。 結果: 生物医学的要約の公開データセットから, 概念用語とテキストコンテキストの合計5,523点を評価した。 GPT-3.5-turboは、正規化システム+9.5と+7.3(MetaMapLite)、+13.9と+10.9(QuickUMLS)、+10.5と+10.3(BM25)、オープンソースのVicunaモデルは+10.8と+12.2(MetaMapLite)、+14.7と+15(QuickUMLS)、+15.6と+18.7(BM25)の総合的な$F_{\beta}$とF1が増加した。 結論: 既存の汎用LLMは、プロプライエティとオープンソースの両方で、既存のツールによる正規化性能を大幅に改善するために、大規模に活用することができる。

関連論文リスト

• Leveraging Large Language Models for Medical Information Extraction and Query Generation [2.1793134762413433]
  本稿では,大言語モデル(LLM)を臨床試験検索プロセスに統合するシステムを提案する。 クエリ生成には6つのLCMを評価し,最小限の計算資源を必要とする,オープンソースと比較的小さなモデルに着目した。
  論文  参考訳（メタデータ） (2024-10-31T12:01:51Z)
• Towards Evaluating and Building Versatile Large Language Models for Medicine [57.49547766838095]
  MedS-Benchは大規模言語モデル(LLM)の性能を臨床的に評価するためのベンチマークである。 MedS-Benchは、臨床報告の要約、治療勧告、診断、名前付きエンティティ認識、医療概念説明を含む、11のハイレベルな臨床タスクにまたがる。 MedS-Insは58の医療指向言語コーパスで構成され、112のタスクで1350万のサンプルを収集している。
  論文  参考訳（メタデータ） (2024-08-22T17:01:34Z)
• Towards Building Multilingual Language Model for Medicine [54.1382395897071]
  6つの主要言語を含む約25.5Bトークンを含む多言語医療コーパスを構築した。 MMedBench と呼ばれる有理性を持つ多言語医療用多言語質問応答ベンチマークを提案する。 我々の最終モデルであるMMed-Llama 3は、8Bパラメータしか持たないが、MMedBenchおよび英語ベンチマークの他のすべてのオープンソースモデルと比較して優れた性能が得られる。
  論文  参考訳（メタデータ） (2024-02-21T17:47:20Z)
• BioMistral: A Collection of Open-Source Pretrained Large Language Models for Medical Domains [8.448541067852]
  大規模言語モデル(LLM)は近年,顕著な汎用性を示している。 健康状況に合わせて様々なオープンソース LLM が利用可能であるにもかかわらず、汎用 LLM を医療分野に適用することは重大な課題である。 我々は、Mistralを基盤モデルとして、バイオメディカルドメインに適したオープンソースのLLMであるBioMistralを紹介した。
  論文  参考訳（メタデータ） (2024-02-15T23:39:04Z)
• PeFoMed: Parameter Efficient Fine-tuning of Multimodal Large Language Models for Medical Imaging [8.043625583479598]
  MLLM(Multimodal large language model)は、従来の大規模言語モデルの能力の進化的拡張を表す。 近年,MLLMを医療用マルチモーダル問題に対する普遍的解決法として応用する研究が進められている。 本稿では,Med-VQA (Med-VQA) タスクとMRG (Med-VQA) タスクに基づいて,MLLMを微調整するためのパラメータ効率のよいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-05T13:22:12Z)
• Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
  大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。 自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。 本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
  論文  参考訳（メタデータ） (2023-12-26T07:24:46Z)
• Distilling Large Language Models for Matching Patients to Clinical Trials [3.4068841624198942]
  近年の大規模言語モデル(LLMs)の成功は、医療分野における彼らの採用の道を開いた。 本研究は,患者と臨床の整合性に対するプロプライエタリ (GPT-3.5, GPT-4) とオープンソース LLM (LLAMA 7B, 13B, 70B) の併用性について,最初の系統的検討を行った。 この制限された合成データセットを微調整したオープンソースのLLMは、プロプライエタリなデータセットと同等の性能を示した。
  論文  参考訳（メタデータ） (2023-12-15T17:11:07Z)
• Large Language Model-Aware In-Context Learning for Code Generation [75.68709482932903]
  大規模言語モデル(LLM)は、コード生成において印象的なコンテキスト内学習(ICL)能力を示している。 コード生成のためのLAIL (LLM-Aware In-context Learning) という新しい学習ベース選択手法を提案する。
  論文  参考訳（メタデータ） (2023-10-15T06:12:58Z)
• MINT: Evaluating LLMs in Multi-turn Interaction with Tools and Language Feedback [78.60644407028022]
  我々は,大規模言語モデルのマルチターンインタラクションによる課題解決能力を評価するベンチマークであるMINTを紹介する。 LLMは一般的に、ツールと言語フィードバックの恩恵を受けます。 LLMの評価、教師あり指導ファインタニング(SIFT)、人間からのフィードバックからの強化学習(RLHF)は、一般的にマルチターン能力を損なう。
  論文  参考訳（メタデータ） (2023-09-19T15:25:42Z)
• L-Eval: Instituting Standardized Evaluation for Long Context Language Models [91.05820785008527]
  長い文脈言語モデル(LCLM)のより標準化された評価を行うためにL-Evalを提案する。 20のサブタスク、508の長いドキュメント、2000以上の人間ラベルのクエリ応答対を含む新しい評価スイートを構築した。 その結果、一般的なn-gramマッチングの指標は人間の判断とよく相関しないことがわかった。
  論文  参考訳（メタデータ） (2023-07-20T17:59:41Z)
• CBAG: Conditional Biomedical Abstract Generation [1.2633386045916442]
  浅層エンコーダ"条件"スタックと,マルチヘッドアテンションブロックの深層"言語モデル"スタックを備えたトランスフォーマーベースの条件言語モデルを提案する。 提案したタイトル,意図した出版年,キーワードのセットのみをバイオメディカルな要約として生成する。
  論文  参考訳（メタデータ） (2020-02-13T17:11:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。