論文の概要: An evaluation of GPT models for phenotype concept recognition
- arxiv url: http://arxiv.org/abs/2309.17169v2
- Date: Thu, 23 Nov 2023 02:06:20 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-28 03:14:54.372753
- Title: An evaluation of GPT models for phenotype concept recognition
- Title（参考訳）: 表現型概念認識のためのGPTモデルの評価
- Authors: Tudor Groza, Harry Caufield, Dylan Gration, Gareth Baynam, Melissa A
Haendel, Peter N Robinson, Christopher J Mungall and Justin T Reese
- Abstract要約: 臨床表現型および表現型アノテーションのためのGPT(Generative Pre-trained Transformer)モデルの性能について検討した。
その結果、適切な設定で、これらのモデルが芸術的パフォーマンスの状態を達成できることが示されている。
- 参考スコア（独自算出の注目度）: 0.4715973318447338
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Objective: Clinical deep phenotyping and phenotype annotation play a critical
role in both the diagnosis of patients with rare disorders as well as in
building computationally-tractable knowledge in the rare disorders field. These
processes rely on using ontology concepts, often from the Human Phenotype
Ontology, in conjunction with a phenotype concept recognition task (supported
usually by machine learning methods) to curate patient profiles or existing
scientific literature. With the significant shift in the use of large language
models (LLMs) for most NLP tasks, we examine the performance of the latest
Generative Pre-trained Transformer (GPT) models underpinning ChatGPT as a
foundation for the tasks of clinical phenotyping and phenotype annotation.
Materials and Methods: The experimental setup of the study included seven
prompts of various levels of specificity, two GPT models (gpt-3.5-turbo and
gpt-4.0) and two established gold standard corpora for phenotype recognition,
one consisting of publication abstracts and the other clinical observations.
Results: Our results show that, with an appropriate setup, these models can
achieve state of the art performance. The best run, using few-shot learning,
achieved 0.58 macro F1 score on publication abstracts and 0.75 macro F1 score
on clinical observations, the former being comparable with the state of the
art, while the latter surpassing the current best in class tool. Conclusion:
While the results are promising, the non-deterministic nature of the outcomes,
the high cost and the lack of concordance between different runs using the same
prompt and input make the use of these LLMs challenging for this particular
task.
- Abstract（参考訳）: 目的: 臨床深部表現型検査と表現型アノテーションは, 稀な疾患の診断と, 稀な疾患の分野での計算学的知識構築において重要な役割を担っている。
これらのプロセスは、しばしば人間の表現型オントロジーからのオントロジ概念の使用と、患者のプロファイルや既存の科学文献をキュレートするための表現型概念認識タスク(機械学習手法によって支援される)との併用に依存している。
多くのNLPタスクに大規模言語モデル(LLM)を用いることで,ChatGPTを基盤とした最新の生成事前学習トランスフォーマ(GPT)モデルの性能を臨床的表現型および表現型アノテーションのタスクの基盤として検討する。
材料と方法: 実験装置は, 各種特異性の7つのプロンプト, 2つのGPTモデル(gpt-3.5-turboとgpt-4.0)および2つの確立された表現型認識のための金標準コーパス, 1つは出版要約とその他の臨床観察を含む。
結果: 得られた結果は, 適切な設定で, これらのモデルが芸術的性能の状態を達成できることを示す。
ベストランは、数発の学習を用いて、出版物の要約で0.58マクロF1スコア、臨床観察で0.75マクロF1スコアを達成し、前者は最先端の美術品に匹敵し、後者は現在のクラスツールで最高のものを上回った。
結論: 結果は有望であるが、結果の非決定論的性質、高いコスト、同じプロンプトと入力を使用して異なる実行間の一致の欠如により、この特定のタスクにこれらのLCMを使用することは困難である。
関連論文リスト
- Potential of Multimodal Large Language Models for Data Mining of Medical Images and Free-text Reports [51.45762396192655]
特にGemini-Vision-Series (Gemini) と GPT-4-Series (GPT-4) は、コンピュータビジョンのための人工知能のパラダイムシフトを象徴している。
本研究は,14の医用画像データセットを対象に,Gemini,GPT-4,および4つの一般的な大規模モデルの性能評価を行った。
論文 参考訳（メタデータ） (2024-07-08T09:08:42Z) - Optimizing Skin Lesion Classification via Multimodal Data and Auxiliary
Task Integration [54.76511683427566]
本研究は, スマートフォンで撮影した画像と本質的な臨床および人口統計情報を統合することで, 皮膚病変を分類する新しいマルチモーダル手法を提案する。
この手法の特徴は、超高解像度画像予測に焦点を当てた補助的なタスクの統合である。
PAD-UFES20データセットを用いて,様々なディープラーニングアーキテクチャを用いて実験を行った。
論文 参考訳（メタデータ） (2024-02-16T05:16:20Z) - Enhancing Phenotype Recognition in Clinical Notes Using Large Language
Models: PhenoBCBERT and PhenoGPT [11.20254354103518]
我々は,BERTモデルであるPhenoBCBERTとGPTモデルであるPhenoGPTの2種類のモデルを開発した。
我々は,HPOを特徴としない新規な表現型概念を含む,より表現型的な概念を抽出できることを発見した。
論文 参考訳（メタデータ） (2023-08-11T03:40:22Z) - Customizing General-Purpose Foundation Models for Medical Report
Generation [64.31265734687182]
ラベル付き医用画像-レポートペアの不足は、ディープニューラルネットワークや大規模ニューラルネットワークの開発において大きな課題となっている。
本稿では,コンピュータビジョンと自然言語処理の基盤モデル (FM) として,市販の汎用大規模事前学習モデルのカスタマイズを提案する。
論文 参考訳（メタデータ） (2023-06-09T03:02:36Z) - Improving Large Language Models for Clinical Named Entity Recognition
via Prompt Engineering [20.534197056683695]
本研究は,臨床名付きエンティティ認識(NER)タスクにおける GPT-3.5 と GPT-4 の能力を定量化する。
我々は,ベースラインプロンプト,アノテーションガイドラインに基づくプロンプト,エラー解析に基づく命令,アノテーション付きサンプルを含むタスク固有のプロンプトフレームワークを開発した。
それぞれのプロンプトの有効性を評価し,BioClinicalBERTと比較した。
論文 参考訳（メタデータ） (2023-03-29T02:46:18Z) - PheME: A deep ensemble framework for improving phenotype prediction from
multi-modal data [42.56953523499849]
PheMEは, 構造化EHRのマルチモーダルデータを用いたアンサンブル・フレームワークであり, 非構造化臨床ノートを用いて, 正確なフェノタイプ予測を行う。
我々はアンサンブル学習を活用し、単一モーダルモデルと多モーダルモデルからの出力を組み合わせて表現型予測を改善する。
論文 参考訳（メタデータ） (2023-03-19T23:41:04Z) - Benchmarking Heterogeneous Treatment Effect Models through the Lens of
Interpretability [82.29775890542967]
治療のパーソナライズされた効果を見積もるのは複雑だが、普及している問題である。
ヘテロジニアス処理効果推定に関する機械学習文献の最近の進歩は、洗練されたが不透明なツールの多くを生み出した。
我々は、ポストホックな特徴重要度法を用いて、モデルの予測に影響を及ぼす特徴を特定する。
論文 参考訳（メタデータ） (2022-06-16T17:59:05Z) - Factored Attention and Embedding for Unstructured-view Topic-related
Ultrasound Report Generation [70.7778938191405]
本研究では,非構造的トピック関連超音波レポート生成のための新しい因子的注意・埋め込みモデル(FAE-Gen)を提案する。
提案したFAE-Genは主に2つのモジュール、すなわちビュー誘導因子の注意とトピック指向因子の埋め込みから構成されており、異なるビューで均質および不均一な形態的特徴を捉えている。
論文 参考訳（メタデータ） (2022-03-12T15:24:03Z) - Ensembling Handcrafted Features with Deep Features: An Analytical Study
for Classification of Routine Colon Cancer Histopathological Nuclei Images [13.858624044986815]
我々は,F1-measure,Precision,Recall,AUC,Cross-Entropy Lossを用いて,提案手法の性能解析を行った。
以上の結果から,DL特徴のアンサンブルがモデル全体の性能を著しく向上させることが明らかとなった。
論文 参考訳（メタデータ） (2022-02-22T06:48:50Z) - Hybrid deep learning methods for phenotype prediction from clinical
notes [4.866431869728018]
本稿では,自然言語処理とディープラーニングモデルを用いて,患者表現型を自動的に抽出するハイブリッドモデルを提案する。
提案したハイブリッドモデルは,患者の退院報告における表現型を特定するために,ニューラル双方向シーケンスモデル(BiLSTMまたはBiGRU)と畳み込みニューラルネットワーク(CNN)に基づいている。
論文 参考訳（メタデータ） (2021-08-16T05:57:28Z) - A multi-stage machine learning model on diagnosis of esophageal
manometry [50.591267188664666]
このフレームワークには、飲み込みレベルにおけるディープラーニングモデルと、学習レベルにおける機能ベースの機械学習モデルが含まれている。
これは、生のマルチスワローデータからHRM研究のCC診断を自動的に予測する最初の人工知能モデルである。
論文 参考訳（メタデータ） (2021-06-25T20:09:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。