論文の概要: Assessing and Enhancing Large Language Models in Rare Disease Question-answering

• arxiv url: http://arxiv.org/abs/2408.08422v1
• Date: Thu, 15 Aug 2024 21:09:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-19 17:09:56.053447
• Title: Assessing and Enhancing Large Language Models in Rare Disease Question-answering
• Title（参考訳）: 希少疾患質問応答における大規模言語モデルの評価と強化
• Authors: Guanchu Wang, Junhao Ran, Ruixiang Tang, Chia-Yuan Chang, Chia-Yuan Chang, Yu-Neng Chuang, Zirui Liu, Vladimir Braverman, Zhandong Liu, Xia Hu,
• Abstract要約: 本稿では,レアな疾患の診断におけるLarge Language Models (LLMs) の性能を評価するために,レアな疾患問合せデータセット(ReDis-QA)を導入する。 ReDis-QAデータセットでは1360の高品質な質問応答ペアを収集し,205の稀な疾患をカバーした。 その後、いくつかのオープンソースのLCMをベンチマークし、希少疾患の診断がこれらのモデルにとって重要な課題であることを示した。 実験の結果,ReCOPは,ReDis-QAデータセット上でのLCMの精度を平均8%向上できることがわかった。
• 参考スコア（独自算出の注目度）: 64.32570472692187
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the impressive capabilities of Large Language Models (LLMs) in general medical domains, questions remain about their performance in diagnosing rare diseases. To answer this question, we aim to assess the diagnostic performance of LLMs in rare diseases, and explore methods to enhance their effectiveness in this area. In this work, we introduce a rare disease question-answering (ReDis-QA) dataset to evaluate the performance of LLMs in diagnosing rare diseases. Specifically, we collected 1360 high-quality question-answer pairs within the ReDis-QA dataset, covering 205 rare diseases. Additionally, we annotated meta-data for each question, facilitating the extraction of subsets specific to any given disease and its property. Based on the ReDis-QA dataset, we benchmarked several open-source LLMs, revealing that diagnosing rare diseases remains a significant challenge for these models. To facilitate retrieval augmentation generation for rare disease diagnosis, we collect the first rare diseases corpus (ReCOP), sourced from the National Organization for Rare Disorders (NORD) database. Specifically, we split the report of each rare disease into multiple chunks, each representing a different property of the disease, including their overview, symptoms, causes, effects, related disorders, diagnosis, and standard therapies. This structure ensures that the information within each chunk aligns consistently with a question. Experiment results demonstrate that ReCOP can effectively improve the accuracy of LLMs on the ReDis-QA dataset by an average of 8%. Moreover, it significantly guides LLMs to generate trustworthy answers and explanations that can be traced back to existing literature.
• Abstract（参考訳）: 一般医学領域におけるLarge Language Models (LLMs) の印象的な機能にもかかわらず、希少疾患の診断におけるその性能について疑問が残る。 本研究の目的は,レアな疾患におけるLSMの診断性能を評価することであり,その分野での有効性を高める方法を探ることである。 本研究では,レアな疾患の診断におけるLCMの性能を評価するために,レアな疾患質問応答データセット(ReDis-QA)を導入する。 具体的には、ReDis-QAデータセットで1360の高品質な質問応答ペアを収集し、205の稀な疾患をカバーした。 さらに,各質問に対するメタデータに注釈を付け,特定の疾患とその特性に特有のサブセットの抽出を容易にする。 ReDis-QAデータセットに基づいて、いくつかのオープンソースのLCMをベンチマークし、稀な疾患の診断がこれらのモデルにとって重要な課題であることを示した。 希少疾患診断のための検索増強生成を容易にするため,全国希少疾患機関(NORD)データベースから得られた最初のレア疾患コーパス(ReCOP)を収集した。 具体的には、各稀な疾患の報告を、その概要、症状、原因、効果、関連疾患、診断、標準治療など、疾患のさまざまな特性を表す複数のチャンクに分けた。 この構造は、各チャンク内の情報が質問と一貫して一致することを保証します。 実験の結果,ReCOPは,ReDis-QAデータセット上でのLCMの精度を平均8%向上できることがわかった。 さらに、既存の文献にさかのぼる信頼できる回答や説明を生成するためにLLMを大いに導く。

関連論文リスト

• Zebra-Llama: A Context-Aware Large Language Model for Democratizing Rare Disease Knowledge [0.0]
  ゼブラ・ラマ(Zebra-Llama)は、高精度な検索型拡張生成(RAG)機能を備えた文脈認識言語モデルである。 Ehlers-Danlos症候群 (EDS) を症例として, 5,000人中1人に影響を及ぼすEDSは, 稀な疾患の複雑さを実証する。 Zebra-Llamaは、EDS関連のクエリを扱う上で、前例のない機能を示している。
  論文  参考訳（メタデータ） (2024-11-04T22:45:52Z)
• MMed-RAG: Versatile Multimodal RAG System for Medical Vision Language Models [49.765466293296186]
  近年,Med-LVLM (Med-LVLMs) の進歩により,対話型診断ツールの新たな可能性が高まっている。 Med-LVLMは、しばしば事実の幻覚に悩まされ、誤った診断につながることがある。 我々は,Med-LVLMの現実性を高めるために,多目的マルチモーダルRAGシステムMMed-RAGを提案する。
  論文  参考訳（メタデータ） (2024-10-16T23:03:27Z)
• KARGEN: Knowledge-enhanced Automated Radiology Report Generation Using Large Language Models [39.831976458410864]
  本稿では,大規模言語モデルに基づく知識向上型自動放射線学レポートジェネレーションフレームワークであるKARGENについて述べる。 このフレームワークは、LLM内の胸部疾患関連知識を解き放つための知識グラフを統合し、生成された報告の臨床的有用性を高める。 提案手法はMIMIC-CXRとIU-Xrayのデータセットに対して有望な結果を示す。
  論文  参考訳（メタデータ） (2024-09-09T06:57:22Z)
• AutoRD: An Automatic and End-to-End System for Rare Disease Knowledge Graph Construction Based on Ontologies-enhanced Large Language Models [25.966454809890227]
  希少な病気は世界中で数百万人に影響を与えるが、その頻度が低いため研究の焦点が限られていることが多い。 近年のLarge Language Models (LLMs) の進歩は, 医療情報の抽出を自動化することを約束している。 本稿では,まれな疾患に関する医療用テキストから情報を自動的に抽出するAutoRDというエンドツーエンドシステムを提案する。
  論文  参考訳（メタデータ） (2024-03-01T20:06:39Z)
• RareBench: Can LLMs Serve as Rare Diseases Specialists? [11.828142771893443]
  Generalist Large Language Models (LLMs) は、医学的診断を含む様々な領域において有望であることを示している。 世界中で約3億人に影響を及ぼす希少な疾患は、しばしば不満足な臨床診断率を持つ。 RareBenchは、希少疾患の領域における4つの重要な次元におけるLSMの能力を評価するために設計された先駆的なベンチマークである。 GPT-4の診断能力と専門医との総合的な比較検討を行った。
  論文  参考訳（メタデータ） (2024-02-09T11:34:16Z)
• Deep Reinforcement Learning Framework for Thoracic Diseases Classification via Prior Knowledge Guidance [49.87607548975686]
  関連疾患に対するラベル付きデータの不足は、正確な診断にとって大きな課題となる。 本稿では,診断エージェントの学習を指導するための事前知識を導入する,新しい深層強化学習フレームワークを提案する。 提案手法の性能はNIHX-ray 14とCheXpertデータセットを用いて実証した。
  論文  参考訳（メタデータ） (2023-06-02T01:46:31Z)
• Federated Learning Enables Big Data for Rare Cancer Boundary Detection [98.5549882883963]
  6大陸にわたる71の医療機関のデータを含む,これまでで最大のフェデレーテッドML研究の結果を報告する。 グリオ芽腫の稀な疾患に対する腫瘍境界自動検出装置を作製した。 当科では, 外科的に標的とした腫瘍の悪性度を高めるために, 33%の改善率を示し, 腫瘍全体に対する23%の改善率を示した。
  論文  参考訳（メタデータ） (2022-04-22T17:27:00Z)
• Domain Invariant Model with Graph Convolutional Network for Mammogram Classification [49.691629817104925]
  グラフ畳み込みネットワークを用いたドメイン不変モデル(DIM-GCN)を提案する。 まず,潜伏変数を病原性その他の疾患関連部位に明示的に分解するベイズネットワークを提案する。 マクロな特徴をよりよく捉えるために、我々は、GCN(Graph Convolutional Network)を介して、観察された臨床特性を再構築の目的として活用する。
  論文  参考訳（メタデータ） (2022-04-21T08:23:44Z)
• Predicting Parkinson's Disease with Multimodal Irregularly Collected Longitudinal Smartphone Data [75.23250968928578]
  パーキンソン病は神経疾患であり、高齢者に多い。 伝統的に病気を診断する方法は、一連の活動テストの品質に関する個人的主観的臨床評価に依存している。 そこで本研究では,スマートフォンが収集した生の行動データを用いて,パーキンソン病を予測するための時系列に基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-09-25T01:50:15Z)
• Feature Selection on Lyme Disease Patient Survey Data [7.895389437572245]
  ライム病は急速に進行する病気であり、医療界では理解されていない。 本稿では,Lyme病患者の大規模登録に機械学習技術を適用し,これらの課題について検討する。
  論文  参考訳（メタデータ） (2020-08-24T22:35:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。