論文の概要: EyeDiff: text-to-image diffusion model improves rare eye disease diagnosis

• arxiv url: http://arxiv.org/abs/2411.10004v1
• Date: Fri, 15 Nov 2024 07:30:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-18 15:38:50.670971
• Title: EyeDiff: text-to-image diffusion model improves rare eye disease diagnosis
• Title（参考訳）: EyeDiff: テキストと画像の拡散モデルにより、まれな眼疾患の診断が改善
• Authors: Ruoyu Chen, Weiyi Zhang, Bowen Liu, Xiaolan Chen, Pusheng Xu, Shunming Liu, Mingguang He, Danli Shi,
• Abstract要約: EyeDiffは、自然言語のプロンプトからマルチモーダル眼科画像を生成するために設計されたテキスト・ツー・イメージモデルである。 EyeDiffは8つの大規模なデータセットでトレーニングされており、10のマルチリージョンの外部データセットに適応している。
• 参考スコア（独自算出の注目度）: 7.884451100342276
• License:
• Abstract: The rising prevalence of vision-threatening retinal diseases poses a significant burden on the global healthcare systems. Deep learning (DL) offers a promising solution for automatic disease screening but demands substantial data. Collecting and labeling large volumes of ophthalmic images across various modalities encounters several real-world challenges, especially for rare diseases. Here, we introduce EyeDiff, a text-to-image model designed to generate multimodal ophthalmic images from natural language prompts and evaluate its applicability in diagnosing common and rare diseases. EyeDiff is trained on eight large-scale datasets using the advanced latent diffusion model, covering 14 ophthalmic image modalities and over 80 ocular diseases, and is adapted to ten multi-country external datasets. The generated images accurately capture essential lesional characteristics, achieving high alignment with text prompts as evaluated by objective metrics and human experts. Furthermore, integrating generated images significantly enhances the accuracy of detecting minority classes and rare eye diseases, surpassing traditional oversampling methods in addressing data imbalance. EyeDiff effectively tackles the issue of data imbalance and insufficiency typically encountered in rare diseases and addresses the challenges of collecting large-scale annotated images, offering a transformative solution to enhance the development of expert-level diseases diagnosis models in ophthalmic field.
• Abstract（参考訳）: 視力の弱まる網膜疾患の流行は、世界の医療システムに大きな負担をもたらす。 ディープラーニング(DL)は、自動疾患スクリーニングのための有望なソリューションを提供するが、かなりのデータを必要とする。 様々なモダリティにまたがる大量の眼画像の収集とラベル付けは、特に稀な疾患において、いくつかの現実的な課題に直面している。 本稿では、自然言語のプロンプトからマルチモーダル眼画像を生成するためのテキスト・ツー・イメージモデルであるEyeDiffを紹介し、一般的な疾患や稀な疾患の診断におけるその適用性を評価する。 EyeDiffは、高度な潜伏拡散モデルを使用して8つの大規模データセットでトレーニングされており、14の眼科画像モダリティと80以上の眼疾患をカバーし、10のマルチカントリー外部データセットに適応している。 生成された画像は、本質的な病変の特徴を正確に把握し、客観的な指標や人間の専門家によって評価されるように、テキストプロンプトと高いアライメントを達成する。 さらに、生成画像の統合により、データ不均衡に対処する従来のオーバーサンプリング手法よりも、マイノリティクラスやまれな眼疾患の検出精度が大幅に向上する。 EyeDiffは、まれな疾患でよく見られるデータ不均衡と不全の問題に効果的に取り組み、大規模な注釈画像を集めるという課題に対処し、眼科領域における専門家レベルの疾患診断モデルの開発を促進するための変換ソリューションを提供する。

関連論文リスト

• EyeCLIP: A visual-language foundation model for multi-modal ophthalmic image analysis [20.318178211934985]
  本研究では,277万点以上の眼科画像と部分テキストデータを用いた視覚言語基盤モデルであるEyeCLIPを提案する。 EyeCLIPは、眼疾患や全身疾患を含む幅広い下流のタスクに移行することができる。
  論文  参考訳（メタデータ） (2024-09-10T17:00:19Z)
• A Disease-Specific Foundation Model Using Over 100K Fundus Images: Release and Validation for Abnormality and Multi-Disease Classification on Downstream Tasks [0.0]
  基礎画像の異常を検出するための教師付き人工知能モデルであるFundus-Specific Pretrained Model(Image+Fundus)を開発した。 57,803枚の画像を用いて、この事前訓練されたモデルを開発し、様々な下流タスクにおいて優れた性能を実現した。
  論文  参考訳（メタデータ） (2024-08-16T15:03:06Z)
• Potential of Multimodal Large Language Models for Data Mining of Medical Images and Free-text Reports [51.45762396192655]
  特にGemini-Vision-Series (Gemini) と GPT-4-Series (GPT-4) は、コンピュータビジョンのための人工知能のパラダイムシフトを象徴している。 本研究は,14の医用画像データセットを対象に,Gemini,GPT-4,および4つの一般的な大規模モデルの性能評価を行った。
  論文  参考訳（メタデータ） (2024-07-08T09:08:42Z)
• EyeFound: A Multimodal Generalist Foundation Model for Ophthalmic Imaging [13.88319807760491]
  眼科画像のマルチモーダル基盤モデルであるEyeFoundを提案する。 ラベルのないマルチモーダル網膜画像から一般化可能な表現を学習する。 11の眼科領域にわたる227の病院の278万枚の画像で訓練されている。
  論文  参考訳（メタデータ） (2024-05-18T17:03:39Z)
• Diagnosis of Multiple Fundus Disorders Amidst a Scarcity of Medical Experts Via Self-supervised Machine Learning [13.174267261284733]
  ファンドス病は、世界中の視覚障害と視覚障害の主な原因である。 本研究では,無ラベルのファンドス画像から多種多様なファンドス病を処理できる,汎用的な自己教師型機械学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-04-20T14:15:25Z)
• Reliable Multimodality Eye Disease Screening via Mixture of Student's t Distributions [49.4545260500952]
  眼疾患スクリーニングのための新しい多モード顕在核融合パイプラインEyeMoStについて紹介する。 本モデルでは,一様性に対する局所的不確実性と融合モードに対する大域的不確実性の両方を推定し,信頼性の高い分類結果を生成する。 パブリックデータセットと社内データセットの両方に関する実験結果から、我々のモデルは現在の手法よりも信頼性が高いことが判明した。
  論文  参考訳（メタデータ） (2023-03-17T06:18:16Z)
• Generative Residual Attention Network for Disease Detection [51.60842580044539]
  本稿では, 条件付き生成逆学習を用いたX線疾患発生のための新しいアプローチを提案する。 我々は,患者の身元を保存しながら,対象領域に対応する放射線画像を生成する。 次に、ターゲット領域で生成されたX線画像を用いてトレーニングを増強し、検出性能を向上させる。
  論文  参考訳（メタデータ） (2021-10-25T14:15:57Z)
• Assessing glaucoma in retinal fundus photographs using Deep Feature Consistent Variational Autoencoders [63.391402501241195]
  緑内障は症状が重くなるまで無症状のままでいるため、検出が困難である。 緑内障の早期診断は機能的,構造的,臨床的評価に基づいて行われることが多い。 ディープラーニング手法はこのジレンマを、マーカー識別段階をバイパスし、ハイレベルな情報を分析してデータを分類することで部分的に解決している。
  論文  参考訳（メタデータ） (2021-10-04T16:06:49Z)
• An Interpretable Multiple-Instance Approach for the Detection of referable Diabetic Retinopathy from Fundus Images [72.94446225783697]
  基礎画像における参照糖尿病網膜症検出のための機械学習システムを提案する。 画像パッチから局所情報を抽出し,アテンション機構により効率的に組み合わせることで,高い分類精度を実現することができる。 我々は,現在入手可能な網膜画像データセットに対するアプローチを評価し,最先端の性能を示す。
  論文  参考訳（メタデータ） (2021-03-02T13:14:15Z)
• Many-to-One Distribution Learning and K-Nearest Neighbor Smoothing for Thoracic Disease Identification [83.6017225363714]
  ディープラーニングは、病気の識別性能を改善するための最も強力なコンピュータ支援診断技術となった。 胸部X線撮影では、大規模データの注釈付けには専門的なドメイン知識が必要で、時間を要する。 本論文では、単一モデルにおける疾患同定性能を改善するために、複数対1の分布学習(MODL)とK-nearest neighbor smoothing(KNNS)手法を提案する。
  論文  参考訳（メタデータ） (2021-02-26T02:29:30Z)
• Improving Robustness using Joint Attention Network For Detecting Retinal Degeneration From Optical Coherence Tomography Images [0.0]
  本稿では,2つのジョイントネットワークからなる新しいアーキテクチャとして,病原性特徴表現を用いることを提案する。 公開データセットに対する実験結果から,提案したジョイントネットワークは,未確認データセット上での最先端網膜疾患分類ネットワークの精度と堅牢性を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2020-05-16T20:32:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。