論文の概要: Common and Rare Fundus Diseases Identification Using Vision-Language Foundation Model with Knowledge of Over 400 Diseases
- arxiv url: http://arxiv.org/abs/2406.09317v2
- Date: Sun, 30 Jun 2024 17:32:15 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-02 13:30:57.242471
- Title: Common and Rare Fundus Diseases Identification Using Vision-Language Foundation Model with Knowledge of Over 400 Diseases
- Title(参考訳): 400以上の疾患の知識を有するビジョン・ランゲージ・ファンデーションモデルを用いた共通および希少なファンドス病の同定
- Authors: Meng Wang, Tian Lin, Aidi Lin, Kai Yu, Yuanyuan Peng, Lianyu Wang, Cheng Chen, Ke Zou, Huiyu Liang, Man Chen, Xue Yao, Meiqin Zhang, Binwei Huang, Chaoxin Zheng, Peixin Zhang, Wei Chen, Yilong Luo, Yifan Chen, Honghe Xia, Tingkun Shi, Qi Zhang, Jinming Guo, Xiaolin Chen, Jingcheng Wang, Yih Chung Tham, Dianbo Liu, Wendy Wong, Sahil Thakur, Beau Fenner, Danqi Fang, Siying Liu, Qingyun Liu, Yuqiang Huang, Hongqiang Zeng, Yanda Meng, Yukun Zhou, Zehua Jiang, Minghui Qiu, Changqing Zhang, Xinjian Chen, Sophia Y Wang, Cecilia S Lee, Lucia Sobrin, Carol Y Cheung, Chi Pui Pang, Pearse A Keane, Ching-Yu Cheng, Haoyu Chen, Huazhu Fu,
- Abstract要約: 以前の網膜画像の基礎モデルは、限られた疾患カテゴリと知識ベースで事前訓練された。
RetiZeroの事前トレーニングのために、公開データセット、眼科文献、オンラインリソースから得られたテキスト記述と組み合わせた341,896のベースイメージをコンパイルした。
RetiZeroは、ゼロショット病の認識、画像と画像の検索、内部およびドメイン間の疾患の識別など、いくつかの下流タスクにおいて優れたパフォーマンスを示す。
- 参考スコア(独自算出の注目度): 57.27458882764811
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Previous foundation models for retinal images were pre-trained with limited disease categories and knowledge base. Here we introduce RetiZero, a vision-language foundation model that leverages knowledge from over 400 fundus diseases. To RetiZero's pre-training, we compiled 341,896 fundus images paired with text descriptions, sourced from public datasets, ophthalmic literature, and online resources, encompassing a diverse range of diseases across multiple ethnicities and countries. RetiZero exhibits superior performance in several downstream tasks, including zero-shot disease recognition, image-to-image retrieval, and internal- and cross-domain disease identification. In zero-shot scenarios, RetiZero achieves Top5 accuracy scores of 0.8430 for 15 fundus diseases and 0.7561 for 52 fundus diseases. For image retrieval, it achieves Top5 scores of 0.9500 and 0.8860 for the same disease sets, respectively. Clinical evaluations show that RetiZero's Top3 zero-shot performance surpasses the average of 19 ophthalmologists from Singapore, China and the United States. Furthermore, RetiZero significantly enhances clinicians' accuracy in diagnosing fundus disease. These findings underscore the value of integrating the RetiZero foundation model into clinical settings, where a variety of fundus diseases are encountered.
- Abstract(参考訳): 以前の網膜画像の基礎モデルは、限られた疾患カテゴリと知識ベースで事前訓練された。
ここでは、400以上の基礎疾患からの知識を活用するビジョン言語基盤モデルであるRetiZeroを紹介する。
RetiZeroの事前トレーニングのために、公開データセット、眼科文献、オンラインリソースから得られたテキスト記述と組み合わせた341,896の画像を作成し、複数の民族や国にまたがるさまざまな病気を網羅した。
RetiZeroは、ゼロショット病の認識、画像と画像の検索、内部およびドメイン間の疾患の識別など、いくつかの下流タスクにおいて優れたパフォーマンスを示す。
ゼロショットのシナリオでは、RetiZeroは15の眼底疾患で0.8430、52の眼底疾患で0.7561、Top5の精度スコアを達成している。
画像検索では、同じ疾患セットに対して、それぞれ0.9500と0.8860のTop5スコアを達成している。
臨床評価によると、RetiZeroのゼロショットの成績は、シンガポール、中国、米国からの平均19人の眼科医を上回っている。
さらに、RetiZeroは、基礎疾患の診断における臨床医の精度を著しく向上させる。
これらの知見は, RetiZero ファンデーションモデルを様々な基礎疾患に遭遇した臨床環境に組み込むことの価値を浮き彫りにした。
関連論文リスト
- Federated Learning for Diabetic Retinopathy Diagnosis: Enhancing Accuracy and Generalizability in Under-Resourced Regions [0.3277163122167433]
糖尿病網膜症は、世界中の高齢者の視覚喪失の原因となっているが、未治療領域では眼科医が欠如している。
現在の最先端のディープラーニングシステムは、一般化性に限界があるため、これらの機関で苦労している。
本稿では,効率的なNetB0アーキテクチャを用いた糖尿病網膜症診断のための新しいフェデレーション学習システムについて検討する。
論文 参考訳(メタデータ) (2024-10-30T23:56:56Z) - Assessing and Enhancing Large Language Models in Rare Disease Question-answering [64.32570472692187]
本稿では,レアな疾患の診断におけるLarge Language Models (LLMs) の性能を評価するために,レアな疾患問合せデータセット(ReDis-QA)を導入する。
ReDis-QAデータセットでは1360の高品質な質問応答ペアを収集し,205の稀な疾患をカバーした。
その後、いくつかのオープンソースのLCMをベンチマークし、希少疾患の診断がこれらのモデルにとって重要な課題であることを示した。
実験の結果,ReCOPは,ReDis-QAデータセット上でのLCMの精度を平均8%向上できることがわかった。
論文 参考訳(メタデータ) (2024-08-15T21:09:09Z) - Uncertainty-inspired Open Set Learning for Retinal Anomaly
Identification [71.06194656633447]
9つの網膜条件の基底像をトレーニングし,不確実性に着想を得たオープンセット(UIOS)モデルを構築した。
しきい値戦略を持つUIOSモデルはF1スコア99.55%、97.01%、91.91%を達成した。
UIOSは、高い不確実性スコアを正しく予測し、非ターゲットの網膜疾患、低品質の眼底画像、および非基本画像のデータセットを手動でチェックする必要があることを示唆した。
論文 参考訳(メタデータ) (2023-04-08T10:47:41Z) - Significantly improving zero-shot X-ray pathology classification via fine-tuning pre-trained image-text encoders [50.689585476660554]
本稿では,正対損失緩和とランダムな文サンプリングを含む新たな微調整手法を提案する。
提案手法は,胸部X線データセットと3つの事前訓練モデル間のゼロショット病理分類を一貫して改善する。
論文 参考訳(メタデータ) (2022-12-14T06:04:18Z) - Detection of multiple retinal diseases in ultra-widefield fundus images
using deep learning: data-driven identification of relevant regions [2.20200533591633]
ウルトラワイドフィールド(UWF)イメージングは、より大きな網膜視野を撮影する有望なモダリティである。
過去の研究では、深層学習(DL)モデルがUWF画像の網膜疾患の検出に有効であることが示されている。
より現実的な条件下で複数の網膜疾患を認識できるDLモデルを提案する。
論文 参考訳(メタデータ) (2022-03-11T17:33:33Z) - CD&S Dataset: Handheld Imagery Dataset Acquired Under Field Conditions
for Corn Disease Identification and Severity Estimation [5.949779668853555]
Corn Disease and Severityデータセットは、2112のフィールド画像と2343のAR画像からなる4455の画像で構成されている。
疾患識別モデルのトレーニングでは,各疾患の画像データの半分を境界ボックスを用いて注釈付けした。
重度推定のために, NLS用515個の原画像を取得し, 1(耐性)から5(感受性)までの重度分類に分類した。
論文 参考訳(メタデータ) (2021-10-22T22:33:51Z) - The Report on China-Spain Joint Clinical Testing for Rapid COVID-19 Risk
Screening by Eye-region Manifestations [59.48245489413308]
携帯電話カメラで中国とスペインで撮影された視線領域の画像を用いて、新型コロナウイルスの早期スクリーニングモデルを開発し、テストした。
AUC, 感度, 特異性, 精度, F1。
論文 参考訳(メタデータ) (2021-09-18T02:28:01Z) - A Benchmark of Ocular Disease Intelligent Recognition: One Shot for
Multi-disease Detection [9.059366200759722]
眼科領域では、早期眼底スクリーニングは眼疾患による盲目を防ぐ経済的かつ効果的な方法である。
実際の医療現場に合わせて8つの疾患のデータセットを公開し、5,000人の患者の両眼からの1万の眼底画像を含む。
論文 参考訳(メタデータ) (2021-02-16T07:00:49Z) - Pathological myopia classification with simultaneous lesion segmentation
using deep learning [16.456009188497823]
最近導入されたPathologicalal Myopiaデータセットのために開発された畳み込みニューラルネットワークの結果に関する調査報告
我々は,新しい視神経頭(ONH)による萎縮と葉のセグメンテーションの予測法を提案する。
論文 参考訳(メタデータ) (2020-06-04T12:21:06Z) - Modeling and Enhancing Low-quality Retinal Fundus Images [167.02325845822276]
低画質の眼底画像は臨床観察における不確実性を高め、誤診のリスクを引き起こす。
本稿では,グローバルな劣化要因を抑えるために,臨床指向の基盤拡張ネットワーク(cofe-Net)を提案する。
合成画像と実画像の両方の実験により、我々のアルゴリズムは網膜の細部を失うことなく、低品質の眼底画像を効果的に補正することを示した。
論文 参考訳(メタデータ) (2020-05-12T08:01:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。