論文の概要: Assessing and Enhancing Large Language Models in Rare Disease Question-answering
- arxiv url: http://arxiv.org/abs/2408.08422v1
- Date: Thu, 15 Aug 2024 21:09:09 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-19 17:09:56.053447
- Title: Assessing and Enhancing Large Language Models in Rare Disease Question-answering
- Title(参考訳): 希少疾患質問応答における大規模言語モデルの評価と強化
- Authors: Guanchu Wang, Junhao Ran, Ruixiang Tang, Chia-Yuan Chang, Chia-Yuan Chang, Yu-Neng Chuang, Zirui Liu, Vladimir Braverman, Zhandong Liu, Xia Hu,
- Abstract要約: 本稿では,レアな疾患の診断におけるLarge Language Models (LLMs) の性能を評価するために,レアな疾患問合せデータセット(ReDis-QA)を導入する。
ReDis-QAデータセットでは1360の高品質な質問応答ペアを収集し,205の稀な疾患をカバーした。
その後、いくつかのオープンソースのLCMをベンチマークし、希少疾患の診断がこれらのモデルにとって重要な課題であることを示した。
実験の結果,ReCOPは,ReDis-QAデータセット上でのLCMの精度を平均8%向上できることがわかった。
- 参考スコア(独自算出の注目度): 64.32570472692187
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite the impressive capabilities of Large Language Models (LLMs) in general medical domains, questions remain about their performance in diagnosing rare diseases. To answer this question, we aim to assess the diagnostic performance of LLMs in rare diseases, and explore methods to enhance their effectiveness in this area. In this work, we introduce a rare disease question-answering (ReDis-QA) dataset to evaluate the performance of LLMs in diagnosing rare diseases. Specifically, we collected 1360 high-quality question-answer pairs within the ReDis-QA dataset, covering 205 rare diseases. Additionally, we annotated meta-data for each question, facilitating the extraction of subsets specific to any given disease and its property. Based on the ReDis-QA dataset, we benchmarked several open-source LLMs, revealing that diagnosing rare diseases remains a significant challenge for these models. To facilitate retrieval augmentation generation for rare disease diagnosis, we collect the first rare diseases corpus (ReCOP), sourced from the National Organization for Rare Disorders (NORD) database. Specifically, we split the report of each rare disease into multiple chunks, each representing a different property of the disease, including their overview, symptoms, causes, effects, related disorders, diagnosis, and standard therapies. This structure ensures that the information within each chunk aligns consistently with a question. Experiment results demonstrate that ReCOP can effectively improve the accuracy of LLMs on the ReDis-QA dataset by an average of 8%. Moreover, it significantly guides LLMs to generate trustworthy answers and explanations that can be traced back to existing literature.
- Abstract(参考訳): 一般医学領域におけるLarge Language Models (LLMs) の印象的な機能にもかかわらず、希少疾患の診断におけるその性能について疑問が残る。
本研究の目的は,レアな疾患におけるLSMの診断性能を評価することであり,その分野での有効性を高める方法を探ることである。
本研究では,レアな疾患の診断におけるLCMの性能を評価するために,レアな疾患質問応答データセット(ReDis-QA)を導入する。
具体的には、ReDis-QAデータセットで1360の高品質な質問応答ペアを収集し、205の稀な疾患をカバーした。
さらに,各質問に対するメタデータに注釈を付け,特定の疾患とその特性に特有のサブセットの抽出を容易にする。
ReDis-QAデータセットに基づいて、いくつかのオープンソースのLCMをベンチマークし、稀な疾患の診断がこれらのモデルにとって重要な課題であることを示した。
希少疾患診断のための検索増強生成を容易にするため,全国希少疾患機関(NORD)データベースから得られた最初のレア疾患コーパス(ReCOP)を収集した。
具体的には、各稀な疾患の報告を、その概要、症状、原因、効果、関連疾患、診断、標準治療など、疾患のさまざまな特性を表す複数のチャンクに分けた。
この構造は、各チャンク内の情報が質問と一貫して一致することを保証します。
実験の結果,ReCOPは,ReDis-QAデータセット上でのLCMの精度を平均8%向上できることがわかった。
さらに、既存の文献にさかのぼる信頼できる回答や説明を生成するためにLLMを大いに導く。
関連論文リスト
- Retrieving and Refining: A Hybrid Framework with Large Language Models for Rare Disease Identification [4.215595156143688]
本研究では,従来の辞書ベースの自然言語処理(NLP)ツールと大規模言語モデル(LLM)の強力な機能を組み合わせた,新しいハイブリッド手法を提案する。
異なるサイズ・領域(一般・医療)の6つの大言語モデル(LLM)における様々なプロンプト戦略を評価する。
論文 参考訳(メタデータ) (2024-05-16T20:59:28Z) - Mitigating Hallucinations in Large Language Models via Self-Refinement-Enhanced Knowledge Retrieval [14.58181631462891]
大規模言語モデル(LLM)は、様々な領域で顕著な機能を示している。
幻覚への感受性は、医療などの重要な分野への展開に重大な課題をもたらす。
我々は,LLMの応答の事実性を高めるために,自己精製強化知識グラフ検索法(Re-KGR)を提案する。
論文 参考訳(メタデータ) (2024-05-10T15:40:50Z) - RareBench: Can LLMs Serve as Rare Diseases Specialists? [11.828142771893443]
Generalist Large Language Models (LLMs) は、医学的診断を含む様々な領域において有望であることを示している。
世界中で約3億人に影響を及ぼす希少な疾患は、しばしば不満足な臨床診断率を持つ。
RareBenchは、希少疾患の領域における4つの重要な次元におけるLSMの能力を評価するために設計された先駆的なベンチマークである。
GPT-4の診断能力と専門医との総合的な比較検討を行った。
論文 参考訳(メタデータ) (2024-02-09T11:34:16Z) - Discovery of the Hidden World with Large Language Models [100.38157787218044]
COAT: Causal representatiOn AssistanTについて紹介する。
COATは、非構造化データから潜在的な因果因子を抽出する因子プロジェクタとしてLLMを組み込んでいる。
LLMはデータ値の収集に使用される追加情報を提供するよう指示することもできる。
論文 参考訳(メタデータ) (2024-02-06T12:18:54Z) - Deep Reinforcement Learning Framework for Thoracic Diseases
Classification via Prior Knowledge Guidance [49.87607548975686]
関連疾患に対するラベル付きデータの不足は、正確な診断にとって大きな課題となる。
本稿では,診断エージェントの学習を指導するための事前知識を導入する,新しい深層強化学習フレームワークを提案する。
提案手法の性能はNIHX-ray 14とCheXpertデータセットを用いて実証した。
論文 参考訳(メタデータ) (2023-06-02T01:46:31Z) - Multi-confound regression adversarial network for deep learning-based
diagnosis on highly heterogenous clinical data [1.2891210250935143]
我々は、高度に異種な臨床データに基づいてディープラーニングモデルを訓練するための新しいディープラーニングアーキテクチャ、MUCRANを開発した。
われわれは、2019年以前にマサチューセッツ総合病院から収集した16,821個の臨床T1軸性脳MRIを用いてMUCRANを訓練した。
このモデルでは,新たに収集したデータに対して90%以上の精度で頑健な性能を示した。
論文 参考訳(メタデータ) (2022-05-05T18:39:09Z) - Federated Learning Enables Big Data for Rare Cancer Boundary Detection [98.5549882883963]
6大陸にわたる71の医療機関のデータを含む,これまでで最大のフェデレーテッドML研究の結果を報告する。
グリオ芽腫の稀な疾患に対する腫瘍境界自動検出装置を作製した。
当科では, 外科的に標的とした腫瘍の悪性度を高めるために, 33%の改善率を示し, 腫瘍全体に対する23%の改善率を示した。
論文 参考訳(メタデータ) (2022-04-22T17:27:00Z) - Domain Invariant Model with Graph Convolutional Network for Mammogram
Classification [49.691629817104925]
グラフ畳み込みネットワークを用いたドメイン不変モデル(DIM-GCN)を提案する。
まず,潜伏変数を病原性その他の疾患関連部位に明示的に分解するベイズネットワークを提案する。
マクロな特徴をよりよく捉えるために、我々は、GCN(Graph Convolutional Network)を介して、観察された臨床特性を再構築の目的として活用する。
論文 参考訳(メタデータ) (2022-04-21T08:23:44Z) - Predicting Parkinson's Disease with Multimodal Irregularly Collected
Longitudinal Smartphone Data [75.23250968928578]
パーキンソン病は神経疾患であり、高齢者に多い。
伝統的に病気を診断する方法は、一連の活動テストの品質に関する個人的主観的臨床評価に依存している。
そこで本研究では,スマートフォンが収集した生の行動データを用いて,パーキンソン病を予測するための時系列に基づく新しい手法を提案する。
論文 参考訳(メタデータ) (2020-09-25T01:50:15Z) - Feature Selection on Lyme Disease Patient Survey Data [7.895389437572245]
ライム病は急速に進行する病気であり、医療界では理解されていない。
本稿では,Lyme病患者の大規模登録に機械学習技術を適用し,これらの課題について検討する。
論文 参考訳(メタデータ) (2020-08-24T22:35:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。