論文の概要: From Knowledge Generation to Knowledge Verification: Examining the BioMedical Generative Capabilities of ChatGPT
- arxiv url: http://arxiv.org/abs/2502.14714v2
- Date: Sun, 23 Mar 2025 16:02:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-25 14:32:34.108062
- Title: From Knowledge Generation to Knowledge Verification: Examining the BioMedical Generative Capabilities of ChatGPT
- Title(参考訳): 知識生成から知識検証へ:ChatGPTの生医学的生成能力の検討
- Authors: Ahmed Abdeen Hamed, Alessandro Crimi, Magdalena M. Misiak, Byung Suk Lee,
- Abstract要約: 本手法は, 疾患中心の関連性の生成と関連性検証という2つのプロセスから構成される。
選択したLSMとしてChatGPTを用いて,疾患と関連する薬物,症状,遺伝子との連携を確立するために,迅速なエンジニアリングプロセスを構築した。
- 参考スコア(独自算出の注目度): 45.6537455491436
- License:
- Abstract: The generative capabilities of LLM models offer opportunities for accelerating tasks but raise concerns about the authenticity of the knowledge they produce. To address these concerns, we present a computational approach that evaluates the factual accuracy of biomedical knowledge generated by an LLM. Our approach consists of two processes: generating disease-centric associations and verifying these associations using the semantic framework of biomedical ontologies. Using ChatGPT as the selected LLM, we designed prompt-engineering processes to establish linkages between diseases and related drugs, symptoms, and genes, and assessed consistency across multiple ChatGPT models (e.g., GPT-turbo, GPT-4, etc.). Experimental results demonstrate high accuracy in identifying disease terms (88%-97%), drug names (90%-91%), and genetic information (88%-98%). However, symptom term identification was notably lower (49%-61%), due to the informal and verbose nature of symptom descriptions, which hindered effective semantic matching with the formal language of specialized ontologies. Verification of associations reveals literature coverage rates of 89%-91% for disease-drug and disease-gene pairs, while symptom-related associations exhibit lower coverage (49%-62%).
- Abstract(参考訳): LLMモデルの生成能力は、タスクを加速する機会を提供するが、それらが生み出す知識の信頼性に対する懸念を引き起こす。
これらの問題に対処するため, LLM が生医学的知識の事実的正確性を評価する計算手法を提案する。
本手法は, 疾患中心の関連性の生成と, 生医学的オントロジーの意味的枠組みを用いた関連性検証という2つのプロセスから構成される。
選択したLSMとしてChatGPTを用いて,疾患と関連する薬物,症状,遺伝子との連携を確立するための即時エンジニアリングプロセスを設計し,複数のChatGPTモデル(例えば,GPT-turbo,GPT-4など)の一貫性を評価した。
実験の結果、疾患の用語(88%-97%)、薬物名(90%-91%)、遺伝情報(88%-98%)の同定において高い精度が示された。
しかし、症状項の識別は、形式的オントロジの形式的言語との効果的なセマンティックマッチングを阻害する症状記述の形式的かつ冗長な性質のため、顕著に低かった(49%-61%)。
関連性の検証では、病原体と疾患関連遺伝子ペアの文献カバレッジ率は89%~91%であり、症状関連関連関連遺伝子は低いカバレッジ(49%~62%)を示す。
関連論文リスト
- Survey and Improvement Strategies for Gene Prioritization with Large Language Models [61.24568051916653]
大規模言語モデル (LLM) は, 医学検査において良好に機能しているが, 希少な遺伝疾患の診断における有効性は評価されていない。
表現型と可溶性レベルに基づいて, マルチエージェントとヒトフェノタイプオントロジー(HPO)を分類した。
ベースラインでは、GPT-4は他のLLMよりも優れており、因果遺伝子を正しくランク付けする際の精度は30%近く向上した。
論文 参考訳(メタデータ) (2025-01-30T23:03:03Z) - A Knowledge-enhanced Pathology Vision-language Foundation Model for Cancer Diagnosis [58.85247337449624]
本稿では,疾患知識を階層型セマンティックグループ内のアライメントに組み込む知識強化型視覚言語事前学習手法を提案する。
KEEPはゼロショット癌診断タスクにおいて最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2024-12-17T17:45:21Z) - Zebra-Llama: A Context-Aware Large Language Model for Democratizing Rare Disease Knowledge [0.0]
ゼブラ・ラマ(Zebra-Llama)は、高精度な検索型拡張生成(RAG)機能を備えた文脈認識言語モデルである。
Ehlers-Danlos症候群 (EDS) を症例として, 5,000人中1人に影響を及ぼすEDSは, 稀な疾患の複雑さを実証する。
Zebra-Llamaは、EDS関連のクエリを扱う上で、前例のない機能を示している。
論文 参考訳(メタデータ) (2024-11-04T22:45:52Z) - Assessing and Enhancing Large Language Models in Rare Disease Question-answering [64.32570472692187]
本稿では,レアな疾患の診断におけるLarge Language Models (LLMs) の性能を評価するために,レアな疾患問合せデータセット(ReDis-QA)を導入する。
ReDis-QAデータセットでは1360の高品質な質問応答ペアを収集し,205の稀な疾患をカバーした。
その後、いくつかのオープンソースのLCMをベンチマークし、希少疾患の診断がこれらのモデルにとって重要な課題であることを示した。
実験の結果,ReCOPは,ReDis-QAデータセット上でのLCMの精度を平均8%向上できることがわかった。
論文 参考訳(メタデータ) (2024-08-15T21:09:09Z) - MMIL: A novel algorithm for disease associated cell type discovery [58.044870442206914]
単一細胞データセットは、しばしば個々の細胞ラベルを欠いているため、病気に関連する細胞を特定することは困難である。
セルレベルの分類器の訓練と校正を可能にする予測手法であるMixture Modeling for Multiple Learning Instance (MMIL)を導入する。
論文 参考訳(メタデータ) (2024-06-12T15:22:56Z) - A Hybrid Machine Learning Model for Classifying Gene Mutations in Cancer using LSTM, BiLSTM, CNN, GRU, and GloVe [0.0]
本稿では,LSTM,BiLSTM,CNN,GRU,GloVeを相乗的に組み合わせたハイブリッドアンサンブルモデルを提案する。
提案手法はトレーニング精度80.6%,精度81.6%,リコール80.6%,F1スコア83.1%,平均二乗誤差(MSE)2.596。
論文 参考訳(メタデータ) (2023-07-24T21:01:46Z) - Automated Huntington's Disease Prognosis via Biomedical Signals and
Shallow Machine Learning [0.0]
心電図, 心電図, 機能的近赤外分光データを用いて, 患者27名, コントロール36名, 不明6名のクリニックで収集した既製認定データセットを用いて検討した。
最大精度はスケールアウトしたExtremely Randomized Treesアルゴリズムにより達成され、受信者特性0.963の曲線下と91.353%の精度で達成された。
論文 参考訳(メタデータ) (2023-02-04T02:20:46Z) - Cancer Gene Profiling through Unsupervised Discovery [49.28556294619424]
低次元遺伝子バイオマーカーを発見するための,新しい,自動かつ教師なしのフレームワークを提案する。
本手法は,高次元中心型非監視クラスタリングアルゴリズムLP-Stabilityアルゴリズムに基づく。
私達の署名は免疫炎症および免疫砂漠の腫瘍の区別の有望な結果報告します。
論文 参考訳(メタデータ) (2021-02-11T09:04:45Z) - Leaf Image-based Plant Disease Identification using Color and Texture
Features [0.1657441317977376]
自己収集されたデータセットの精度は、病気の識別に82.47%、健康と疾患の分類に91.40%である。
このプロトタイプシステムは、より多くの病種を追加したり、特定の作物や病種をターゲットにすることで拡張することができる。
論文 参考訳(メタデータ) (2021-02-08T20:32:56Z) - Relation-weighted Link Prediction for Disease Gene Identification [0.3078691410268859]
このようなグラフ上の疾患遺伝子を識別する新しい機械学習手法を提案する。
我々のアルゴリズムは、病気遺伝子同定における最先端の競争相手を24.1%上回っている。
また, パーキンソン病の臨床治験における薬物標的の予測に関して, 標的同定の主導的取り組みである Open Targets よりも高い精度を達成できることが示唆された。
論文 参考訳(メタデータ) (2020-11-10T15:09:33Z) - Select-ProtoNet: Learning to Select for Few-Shot Disease Subtype
Prediction [55.94378672172967]
本研究は, 類似患者のサブグループを同定し, 数発の疾患のサブタイプ予測問題に焦点を当てた。
新しいモデルを開発するためにメタラーニング技術を導入し、関連する臨床課題から共通の経験や知識を抽出する。
我々の新しいモデルは、単純だが効果的なメタ学習マシンであるPrototypeal Networkと呼ばれる、慎重に設計されたメタラーナーに基づいて構築されている。
論文 参考訳(メタデータ) (2020-09-02T02:50:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。