論文の概要: Insight: A Multi-Modal Diagnostic Pipeline using LLMs for Ocular Surface Disease Diagnosis
- arxiv url: http://arxiv.org/abs/2410.00292v1
- Date: Tue, 1 Oct 2024 00:23:05 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-05 06:35:59.492094
- Title: Insight: A Multi-Modal Diagnostic Pipeline using LLMs for Ocular Surface Disease Diagnosis
- Title(参考訳): Insight:眼表面疾患診断のためのLCMを用いた多モード診断パイプライン
- Authors: Chun-Hsiao Yeh, Jiayun Wang, Andrew D. Graham, Andrea J. Liu, Bo Tan, Yubei Chen, Yi Ma, Meng C. Lin,
- Abstract要約: 眼表面疾患の診断に大規模言語モデル(LLM)を用いた,革新的なマルチモーダル診断パイプライン(MDPipe)を導入する。
これらの課題に対処するために,眼表面疾患の診断に大規模言語モデル(LLM)を用いることで,革新的なマルチモーダル診断パイプライン(MDPipe)を導入する。
- 参考スコア(独自算出の注目度): 17.970320199904084
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Accurate diagnosis of ocular surface diseases is critical in optometry and ophthalmology, which hinge on integrating clinical data sources (e.g., meibography imaging and clinical metadata). Traditional human assessments lack precision in quantifying clinical observations, while current machine-based methods often treat diagnoses as multi-class classification problems, limiting the diagnoses to a predefined closed-set of curated answers without reasoning the clinical relevance of each variable to the diagnosis. To tackle these challenges, we introduce an innovative multi-modal diagnostic pipeline (MDPipe) by employing large language models (LLMs) for ocular surface disease diagnosis. We first employ a visual translator to interpret meibography images by converting them into quantifiable morphology data, facilitating their integration with clinical metadata and enabling the communication of nuanced medical insight to LLMs. To further advance this communication, we introduce a LLM-based summarizer to contextualize the insight from the combined morphology and clinical metadata, and generate clinical report summaries. Finally, we refine the LLMs' reasoning ability with domain-specific insight from real-life clinician diagnoses. Our evaluation across diverse ocular surface disease diagnosis benchmarks demonstrates that MDPipe outperforms existing standards, including GPT-4, and provides clinically sound rationales for diagnoses.
- Abstract(参考訳): 眼表面疾患の正確な診断はオプティメトリーと眼科において重要であり、臨床データソース(例えば、画像診断と臨床メタデータ)の統合に重点を置いている。
従来の人間の評価は、臨床観察の定量化に正確さを欠いているが、現在のマシンベースの手法では、診断を多クラス分類問題として扱うことが多く、診断に対する各変数の臨床的関連性を推論することなく、事前に定義されたクローズド・セットの回答に限定する。
これらの課題に対処するために,眼表面疾患の診断に大規模言語モデル(LLM)を用いることで,革新的なマルチモーダル診断パイプライン(MDPipe)を導入する。
まず, 画像の定量的な形態データに変換し, 臨床メタデータとの融合を容易にし, 微視的医学的洞察をLCMに伝達できるようにすることにより, 画像の解釈に視覚翻訳装置を用いる。
このコミュニケーションをさらに進めるために,LLMをベースとした要約器を導入し,形態学と臨床メタデータの組み合わせから知見を文脈化し,臨床報告の要約を生成する。
最後に, LLMの推論能力を, 実生活臨床診断の領域特異的な知見で洗練する。
各種眼表面疾患診断ベンチマークを用いて評価したところ,MDPipeはGPT-4を含む既存の基準より優れており,臨床診断の合理性も高いことがわかった。
関連論文リスト
- DiReCT: Diagnostic Reasoning for Clinical Notes via Large Language Models [32.85606857702375]
本研究では,人間医師と比較して,大規模言語モデル(LLM)の推論能力と解釈可能性を評価することを目的とする。
臨床注記用診断推論データセット(DiReCT)は、511の臨床注記を含む。
論文 参考訳(メタデータ) (2024-08-04T05:15:02Z) - DSCENet: Dynamic Screening and Clinical-Enhanced Multimodal Fusion for MPNs Subtype Classification [8.95697172316912]
スライド画像全体(WSI)と臨床情報のマルチモーダル融合に基づくMPNのサブタイプ分類のための動的スクリーニング・臨床拡張ネットワーク(DSCENet)を提案する。
AUCは7.91%,精度は16.89%向上した。
論文 参考訳(メタデータ) (2024-07-11T04:13:58Z) - Potential of Multimodal Large Language Models for Data Mining of Medical Images and Free-text Reports [51.45762396192655]
特にGemini-Vision-Series (Gemini) と GPT-4-Series (GPT-4) は、コンピュータビジョンのための人工知能のパラダイムシフトを象徴している。
本研究は,14の医用画像データセットを対象に,Gemini,GPT-4,および4つの一般的な大規模モデルの性能評価を行った。
論文 参考訳(メタデータ) (2024-07-08T09:08:42Z) - medIKAL: Integrating Knowledge Graphs as Assistants of LLMs for Enhanced Clinical Diagnosis on EMRs [13.806201934732321]
medIKALは、診断能力を高めるために、LLM(Large Language Models)と知識グラフ(KG)を組み合わせる。
medIKALは、そのタイプに基づいて医療記録のエンティティに重み付けされた重要性を割り当て、KG内の候補疾患の正確な局在を可能にする。
新たに導入した中国のEMRデータセットの広範な実験により,medIKALの有効性を検証した。
論文 参考訳(メタデータ) (2024-06-20T13:56:52Z) - CliBench: A Multifaceted and Multigranular Evaluation of Large Language Models for Clinical Decision Making [16.310913127940857]
我々はMIMIC IVデータセットから開発された新しいベンチマークであるCliBenchを紹介する。
このベンチマークは、臨床診断におけるLSMの能力を包括的かつ現実的に評価する。
臨床診断の熟練度を評価するため,先進LSMのゼロショット評価を行った。
論文 参考訳(メタデータ) (2024-06-14T11:10:17Z) - Dr-LLaVA: Visual Instruction Tuning with Symbolic Clinical Grounding [53.629132242389716]
VLM(Vision-Language Models)は、医用画像を分析し、自然言語の相互作用に関与することによって、臨床医を支援する。
VLMはしばしば「幻覚的」な振る舞いを示し、文脈的マルチモーダル情報に基づかないテキスト出力を生成する。
本稿では,臨床推論の象徴的表現を用いて医療知識にVLMを基盤とする新たなアライメントアルゴリズムを提案する。
論文 参考訳(メタデータ) (2024-05-29T23:19:28Z) - Large Language Models are Clinical Reasoners: Reasoning-Aware Diagnosis Framework with Prompt-Generated Rationales [15.362903610463285]
本稿では,素早い学習を通して診断過程を合理化する「推論認識」診断フレームワークを提案する。
そこで本研究では,実世界の臨床環境に対する機械生成的合理化の可能性を評価するための新しい基準セットを提案する。
論文 参考訳(メタデータ) (2023-12-12T16:14:45Z) - Polar-Net: A Clinical-Friendly Model for Alzheimer's Disease Detection
in OCTA Images [53.235117594102675]
オプティカルコヒーレンス・トモグラフィーは、網膜微小血管の画像化によってアルツハイマー病(AD)を検出するための有望なツールである。
我々はPolar-Netと呼ばれる新しいディープラーニングフレームワークを提案し、解釈可能な結果を提供し、臨床上の事前知識を活用する。
Polar-Netは既存の最先端の手法よりも優れており,網膜血管変化とADとの関連性について,より貴重な病理学的証拠を提供する。
論文 参考訳(メタデータ) (2023-11-10T11:49:49Z) - A Transformer-based representation-learning model with unified
processing of multimodal input for clinical diagnostics [63.106382317917344]
本稿では,マルチモーダル入力を統一的に処理する臨床診断支援として,トランスフォーマーを用いた表現学習モデルについて報告する。
統一モデルは, 肺疾患の同定において, 画像のみのモデル, 非統一型マルチモーダル診断モデルより優れていた。
論文 参考訳(メタデータ) (2023-06-01T16:23:47Z) - BI-RADS-Net: An Explainable Multitask Learning Approach for Cancer
Diagnosis in Breast Ultrasound Images [69.41441138140895]
本稿では,乳房超音波画像における癌検出のための新しい深層学習手法であるBI-RADS-Netを紹介する。
提案手法は, 臨床診断に関連する特徴表現を学習することにより, 乳腺腫瘍の説明と分類を行うタスクを取り入れたものである。
臨床医が医療現場で診断・報告するために使用する形態学的特徴の観点から予測(良性または悪性)の説明が提供される。
論文 参考訳(メタデータ) (2021-10-05T19:14:46Z) - Inheritance-guided Hierarchical Assignment for Clinical Automatic
Diagnosis [50.15205065710629]
臨床診断は、臨床ノートに基づいて患者に診断符号を割り当てることを目的としており、臨床意思決定において重要な役割を担っている。
本稿では,臨床自動診断のための継承誘導階層と共起グラフの伝播を組み合わせた新しい枠組みを提案する。
論文 参考訳(メタデータ) (2021-01-27T13:16:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。