Fugu-MT 論文翻訳(概要): CUPCase: Clinically Uncommon Patient Cases and Diagnoses Dataset

論文の概要: CUPCase: Clinically Uncommon Patient Cases and Diagnoses Dataset

arxiv url: http://arxiv.org/abs/2503.06204v1
Date: Sat, 08 Mar 2025 13:21:44 GMT
ステータス: 翻訳完了
システム内更新日: 2025-03-11 15:53:17.344988
Title: CUPCase: Clinically Uncommon Patient Cases and Diagnoses Dataset
Title（参考訳）: CUPCase : 臨床的に稀な症例と診断データ
Authors: Oriel Perets, Ofir Ben Shoham, Nir Grinberg, Nadav Rappoport,
Abstract要約: 汎用GPT-4oは、複数選択タスクとオープンエンドタスクの両方で最高のパフォーマンスを達成する。汎用GPT-4oは、複数選択タスクとオープンエンドタスクの両方で最高のパフォーマンスを達成する。
参考スコア（独自算出の注目度）: 0.807662398486908
License:
Abstract: Medical benchmark datasets significantly contribute to developing Large Language Models (LLMs) for medical knowledge extraction, diagnosis, summarization, and other uses. Yet, current benchmarks are mainly derived from exam questions given to medical students or cases described in the medical literature, lacking the complexity of real-world patient cases that deviate from classic textbook abstractions. These include rare diseases, uncommon presentations of common diseases, and unexpected treatment responses. Here, we construct Clinically Uncommon Patient Cases and Diagnosis Dataset (CUPCase) based on 3,562 real-world case reports from BMC, including diagnoses in open-ended textual format and as multiple-choice options with distractors. Using this dataset, we evaluate the ability of state-of-the-art LLMs, including both general-purpose and Clinical LLMs, to identify and correctly diagnose a patient case, and test models' performance when only partial information about cases is available. Our findings show that general-purpose GPT-4o attains the best performance in both the multiple-choice task (average accuracy of 87.9%) and the open-ended task (BERTScore F1 of 0.764), outperforming several LLMs with a focus on the medical domain such as Meditron-70B and MedLM-Large. Moreover, GPT-4o was able to maintain 87% and 88% of its performance with only the first 20% of tokens of the case presentation in multiple-choice and free text, respectively, highlighting the potential of LLMs to aid in early diagnosis in real-world cases. CUPCase expands our ability to evaluate LLMs for clinical decision support in an open and reproducible manner.
Abstract（参考訳）: 医学ベンチマークデータセットは、医学知識抽出、診断、要約、その他の用途のための大規模言語モデル(LLM)の開発に大きく貢献する。しかし、現在のベンチマークは主に医学生や医学文献に記載された症例に対する試験質問から導かれるもので、古典的な教科書の抽象概念から逸脱した現実世界の患者ケースの複雑さを欠いている。これには、まれな疾患、一般的な疾患の異常な提示、予期せぬ治療反応が含まれる。そこで本研究では,BMCによる実例報告3,562件の症例報告に基づいて,症例・診断データセット(CUPCase)を構築した。本データセットを用いて,患者を特定・正しく診断する汎用LLMと臨床LLMの両方を含む最先端LLMの能力を評価し,患者に関する部分的な情報しか得られない場合のモデルの性能を検証した。以上の結果から,汎用 GPT-4o は,Medtron-70B や MedLM-Large などの医療領域に着目した複数の LLM を上回り,多目的 GPT-4o が平均87.9%,オープンエンドタスク (BERTScore F1 0.764) で最高の成績を収めた。さらに, GPT-4o は, 実例の早期診断に役立つ LLM の可能性を強調し, ケースプレゼンテーションの初回20%のトークンのみを用いて, 87% と 88% のパフォーマンスを維持することができた。 CUPCaseは,臨床診断支援のためのLCMをオープンかつ再現可能な方法で評価する能力を拡大する。

関連論文リスト

Language Models And A Second Opinion Use Case: The Pocket Professional [0.0]
本研究は、専門的な意思決定において、正式な第二意見ツールとして、LLM(Large Language Models)の役割を検証する。この研究は、20ヶ月にわたるMedscapeからの183の挑戦的な医療事例を分析し、クラウドソースされた医師の反応に対して複数のLSMのパフォーマンスをテストした。
論文参考訳（メタデータ） (2024-10-27T23:48:47Z)
CliMedBench: A Large-Scale Chinese Benchmark for Evaluating Medical Large Language Models in Clinical Scenarios [50.032101237019205]
CliMedBenchは、14のエキスパートによるコア臨床シナリオを備えた総合的なベンチマークである。このベンチマークの信頼性はいくつかの点で確認されている。
論文参考訳（メタデータ） (2024-10-04T15:15:36Z)
Assessing and Enhancing Large Language Models in Rare Disease Question-answering [64.32570472692187]
本稿では,レアな疾患の診断におけるLarge Language Models (LLMs) の性能を評価するために,レアな疾患問合せデータセット(ReDis-QA)を導入する。 ReDis-QAデータセットでは1360の高品質な質問応答ペアを収集し,205の稀な疾患をカバーした。その後、いくつかのオープンソースのLCMをベンチマークし、希少疾患の診断がこれらのモデルにとって重要な課題であることを示した。実験の結果,ReCOPは,ReDis-QAデータセット上でのLCMの精度を平均8%向上できることがわかった。
論文参考訳（メタデータ） (2024-08-15T21:09:09Z)
GMAI-MMBench: A Comprehensive Multimodal Evaluation Benchmark Towards General Medical AI [67.09501109871351]
LVLM(Large Vision-Language Model)は、画像、テキスト、生理学的信号などの多様なデータタイプを扱うことができる。 GMAI-MMBenchは、よく分類されたデータ構造と、これまででもっとも包括的な一般医療用AIベンチマークである。 38の医療画像モダリティ、18の臨床関連タスク、18の部門、視覚質問回答(VQA)フォーマットの4つの知覚的粒度からなる284のデータセットで構成されている。
論文参考訳（メタデータ） (2024-08-06T17:59:21Z)
SemioLLM: Assessing Large Language Models for Semiological Analysis in Epilepsy Research [45.2233252981348]
大規模言語モデルは、一般的な医学的知識をエンコードする能力において有望な結果を示している。内科的知識を活用しててててんかんの診断を行う技術について検討した。
論文参考訳（メタデータ） (2024-07-03T11:02:12Z)
Large Language Models in the Clinic: A Comprehensive Benchmark [63.21278434331952]
診療所の大規模言語モデル(LLM)をよりよく理解するためのベンチマークであるClimateBenchを構築した。まず、さまざまな臨床言語の生成、理解、推論タスクを含む11の既存のデータセットを収集します。次に,現実の実践において複雑だが一般的である6つの新しいデータセットと臨床タスクを構築した。ゼロショット設定と少数ショット設定の両方で、20個のLDMを広範囲に評価する。
論文参考訳（メタデータ） (2024-04-25T15:51:06Z)
PRISM: Patient Records Interpretation for Semantic Clinical Trial Matching using Large Language Models [4.438101430231511]
本報告では,実世界のERHを用いた臨床治験の大規模評価について述べる。本研究は, LLMsが適切な臨床試験で患者に正確に適合する能力を示すものである。
論文参考訳（メタデータ） (2024-04-23T22:33:19Z)
Towards a clinically accessible radiology foundation model: open-access and lightweight, with automated evaluation [113.5002649181103]
オープンソースの小型マルチモーダルモデル(SMM)を訓練し、放射線学における未測定臨床ニーズに対する能力ギャップを埋める。トレーニングのために,697万以上の画像テキストペアからなる大規模なデータセットを組み立てる。評価のために,GPT-4に基づく実測値CheXpromptを提案する。 LlaVA-Radの推論は高速で、単一のV100 GPU上でプライベート設定で実行できる。
論文参考訳（メタデータ） (2024-03-12T18:12:02Z)
LongHealth: A Question Answering Benchmark with Long Clinical Documents [36.05587855811346]
各種疾患20例を対象とし,LongHealthベンチマークを報告する。このベンチマークは、情報抽出、否定、ソートという3つのカテゴリで400の多重選択の質問でLSMに挑戦する。また,OpenAIのプロプライエタリかつコスト効率のよいGPT-3.5 Turboも比較検討した。
論文参考訳（メタデータ） (2024-01-25T19:57:00Z)
Adapted Large Language Models Can Outperform Medical Experts in Clinical Text Summarization [8.456700096020601]
大規模言語モデル (LLM) は自然言語処理 (NLP) において有望であるが, 様々な臨床要約タスクにおける有効性は証明されていない。本研究では,4つの臨床要約課題にまたがる8つのLCMに適応法を適用した。 10名の医師による臨床読影者を対象に, 要約, 完全性, 正当性, 簡潔性を評価した。ほとんどの場合, ベスト適応LSMの要約は, 医用専門家の要約と比べ, 同等(45%), 上等(36%)である。
論文参考訳（メタデータ） (2023-09-14T05:15:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。