論文の概要: An evaluation of GPT models for phenotype concept recognition
- arxiv url: http://arxiv.org/abs/2309.17169v1
- Date: Fri, 29 Sep 2023 12:06:55 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-02 14:16:13.744416
- Title: An evaluation of GPT models for phenotype concept recognition
- Title（参考訳）: 表現型概念認識のためのGPTモデルの評価
- Authors: Tudor Groza, Harry Caufield, Dylan Gration, Gareth Baynam, Melissa A
Haendel, Peter N Robinson, Chris J Mungall and Justin T Reese
- Abstract要約: この表現型概念認識タスクをサポートするために機械学習手法が広く採用されている。
臨床深部表現型検索におけるChatGPTを基盤とした最新のGPTモデルの性能について検討した。
- 参考スコア（独自算出の注目度）: 0.4715973318447338
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Objective: Clinical deep phenotyping plays a critical role in both the
diagnosis of patients with rare disorders as well as in building care
coordination plans. The process relies on modelling and curating patient
profiles using ontology concepts, usually from the Human Phenotype Ontology.
Machine learning methods have been widely adopted to support this phenotype
concept recognition task. With the significant shift in the use of large
language models (LLMs) for most NLP tasks, herewithin, we examine the
performance of the latest Generative Pre-trained Transformer (GPT) models
underpinning ChatGPT in clinical deep phenotyping. Materials and Methods: The
experimental setup of the study included seven prompts of various levels of
specificity, two GPT models (gpt-3.5 and gpt-4.0) and an established gold
standard for phenotype recognition. Results: Our results show that, currently,
these models have not yet achieved state of the art performance. The best run,
using few-shots learning, achieved 0.41 F1 score, compared to a 0.62 F1 score
achieved by the current best in class tool. Conclusion: The non-deterministic
nature of the outcomes and the lack of concordance between different runs using
the same prompt and input makes the use of these LLMs in clinical settings
problematic.
- Abstract（参考訳）: 目的: 臨床的深部表現型は, 稀な疾患の診断とケアコーディネートプランの構築において重要な役割を担っている。
このプロセスは、通常人間の表現型オントロジーに由来するオントロジーの概念を用いて、患者のプロファイルのモデリングとキュレーションに依存している。
この表現型概念認識タスクをサポートするために機械学習手法が広く採用されている。
また,ほとんどのNLPタスクに大規模言語モデル(LLM)を用いることで,ChatGPTを基盤とした最新のGPT(Generative Pre-trained Transformer)モデルの性能を臨床的深層表現法で検討した。
材料と方法: 実験装置は7種類の特異性のプロンプトと2つのGPTモデル(gpt-3.5とgpt-4.0)と、表現型認識のための確立された金標準を含んでいた。
結果: この結果から, 現状では, これらのモデルがまだ達成されていないことが明らかとなった。
ベストランは数発の学習で0.41F1を達成し、クラスツールでは0.62F1を達成した。
結論: 結果の非決定論的性質と同一のプロンプトとインプットを用いて異なる実行間の一致の欠如により, 臨床環境におけるこれらのLCMの使用が問題となる。
関連論文リスト
- High-Throughput Phenotyping of Clinical Text Using Large Language Models [0.0]
GPT-4はGPT-3.5-Turboを上回り、識別、分類、正規化を行う。
GPT-4は複数の表現型タスクにまたがって高い性能と一般化性をもたらす。
論文 参考訳（メタデータ） (2024-08-02T12:00:00Z) - Potential of Multimodal Large Language Models for Data Mining of Medical Images and Free-text Reports [51.45762396192655]
特にGemini-Vision-Series (Gemini) と GPT-4-Series (GPT-4) は、コンピュータビジョンのための人工知能のパラダイムシフトを象徴している。
本研究は,14の医用画像データセットを対象に,Gemini,GPT-4,および4つの一般的な大規模モデルの性能評価を行った。
論文 参考訳（メタデータ） (2024-07-08T09:08:42Z) - Optimizing Skin Lesion Classification via Multimodal Data and Auxiliary
Task Integration [54.76511683427566]
本研究は, スマートフォンで撮影した画像と本質的な臨床および人口統計情報を統合することで, 皮膚病変を分類する新しいマルチモーダル手法を提案する。
この手法の特徴は、超高解像度画像予測に焦点を当てた補助的なタスクの統合である。
PAD-UFES20データセットを用いて,様々なディープラーニングアーキテクチャを用いて実験を行った。
論文 参考訳（メタデータ） (2024-02-16T05:16:20Z) - Enhancing Phenotype Recognition in Clinical Notes Using Large Language
Models: PhenoBCBERT and PhenoGPT [11.20254354103518]
我々は,BERTモデルであるPhenoBCBERTとGPTモデルであるPhenoGPTの2種類のモデルを開発した。
我々は,HPOを特徴としない新規な表現型概念を含む,より表現型的な概念を抽出できることを発見した。
論文 参考訳（メタデータ） (2023-08-11T03:40:22Z) - Customizing General-Purpose Foundation Models for Medical Report
Generation [64.31265734687182]
ラベル付き医用画像-レポートペアの不足は、ディープニューラルネットワークや大規模ニューラルネットワークの開発において大きな課題となっている。
本稿では,コンピュータビジョンと自然言語処理の基盤モデル (FM) として,市販の汎用大規模事前学習モデルのカスタマイズを提案する。
論文 参考訳（メタデータ） (2023-06-09T03:02:36Z) - PheME: A deep ensemble framework for improving phenotype prediction from
multi-modal data [42.56953523499849]
PheMEは, 構造化EHRのマルチモーダルデータを用いたアンサンブル・フレームワークであり, 非構造化臨床ノートを用いて, 正確なフェノタイプ予測を行う。
我々はアンサンブル学習を活用し、単一モーダルモデルと多モーダルモデルからの出力を組み合わせて表現型予測を改善する。
論文 参考訳（メタデータ） (2023-03-19T23:41:04Z) - Benchmarking Heterogeneous Treatment Effect Models through the Lens of
Interpretability [82.29775890542967]
治療のパーソナライズされた効果を見積もるのは複雑だが、普及している問題である。
ヘテロジニアス処理効果推定に関する機械学習文献の最近の進歩は、洗練されたが不透明なツールの多くを生み出した。
我々は、ポストホックな特徴重要度法を用いて、モデルの予測に影響を及ぼす特徴を特定する。
論文 参考訳（メタデータ） (2022-06-16T17:59:05Z) - Factored Attention and Embedding for Unstructured-view Topic-related
Ultrasound Report Generation [70.7778938191405]
本研究では,非構造的トピック関連超音波レポート生成のための新しい因子的注意・埋め込みモデル(FAE-Gen)を提案する。
提案したFAE-Genは主に2つのモジュール、すなわちビュー誘導因子の注意とトピック指向因子の埋め込みから構成されており、異なるビューで均質および不均一な形態的特徴を捉えている。
論文 参考訳（メタデータ） (2022-03-12T15:24:03Z) - Ensembling Handcrafted Features with Deep Features: An Analytical Study
for Classification of Routine Colon Cancer Histopathological Nuclei Images [13.858624044986815]
我々は,F1-measure,Precision,Recall,AUC,Cross-Entropy Lossを用いて,提案手法の性能解析を行った。
以上の結果から,DL特徴のアンサンブルがモデル全体の性能を著しく向上させることが明らかとなった。
論文 参考訳（メタデータ） (2022-02-22T06:48:50Z) - Hybrid deep learning methods for phenotype prediction from clinical
notes [4.866431869728018]
本稿では,自然言語処理とディープラーニングモデルを用いて,患者表現型を自動的に抽出するハイブリッドモデルを提案する。
提案したハイブリッドモデルは,患者の退院報告における表現型を特定するために,ニューラル双方向シーケンスモデル(BiLSTMまたはBiGRU)と畳み込みニューラルネットワーク(CNN)に基づいている。
論文 参考訳（メタデータ） (2021-08-16T05:57:28Z) - A multi-stage machine learning model on diagnosis of esophageal
manometry [50.591267188664666]
このフレームワークには、飲み込みレベルにおけるディープラーニングモデルと、学習レベルにおける機能ベースの機械学習モデルが含まれている。
これは、生のマルチスワローデータからHRM研究のCC診断を自動的に予測する最初の人工知能モデルである。
論文 参考訳（メタデータ） (2021-06-25T20:09:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。