論文の概要: Improved Automatic Diabetic Retinopathy Severity Classification Using
Deep Multimodal Fusion of UWF-CFP and OCTA Images
- arxiv url: http://arxiv.org/abs/2310.01912v1
- Date: Tue, 3 Oct 2023 09:35:38 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-04 14:58:23.066297
- Title: Improved Automatic Diabetic Retinopathy Severity Classification Using
Deep Multimodal Fusion of UWF-CFP and OCTA Images
- Title(参考訳): UWF-CFPとOCTA画像の深層多モード融合による糖尿病網膜症重症度自動分類の改善
- Authors: Mostafa El Habib Daho, Yihao Li, Rachid Zeghlache, Yapo Cedric Atse,
Hugo Le Boit\'e, Sophie Bonnin, Deborah Cosette, Pierre Deman, Laurent
Borderie, Capucine Lepicard, Ramin Tadayoni, B\'eatrice Cochener,
Pierre-Henri Conze, Mathieu Lamard, and Gwenol\'e Quellec
- Abstract要約: 糖尿病網膜症(英: Diabetic Retinopathy、DR)は、世界中の何百万人もの患者に影響を及ぼす糖尿病の合併症である。
近年のイメージング技術の進歩は、DRを早期に検出する機会を提供するが、同時に大きな課題も生んでいる。
本研究は,これらの画像モダリティを利用してDR分類を顕著に向上する,新しいマルチモーダル手法を提案する。
- 参考スコア(独自算出の注目度): 1.6449510885987357
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Diabetic Retinopathy (DR), a prevalent and severe complication of diabetes,
affects millions of individuals globally, underscoring the need for accurate
and timely diagnosis. Recent advancements in imaging technologies, such as
Ultra-WideField Color Fundus Photography (UWF-CFP) imaging and Optical
Coherence Tomography Angiography (OCTA), provide opportunities for the early
detection of DR but also pose significant challenges given the disparate nature
of the data they produce. This study introduces a novel multimodal approach
that leverages these imaging modalities to notably enhance DR classification.
Our approach integrates 2D UWF-CFP images and 3D high-resolution 6x6 mm$^3$
OCTA (both structure and flow) images using a fusion of ResNet50 and
3D-ResNet50 models, with Squeeze-and-Excitation (SE) blocks to amplify relevant
features. Additionally, to increase the model's generalization capabilities, a
multimodal extension of Manifold Mixup, applied to concatenated multimodal
features, is implemented. Experimental results demonstrate a remarkable
enhancement in DR classification performance with the proposed multimodal
approach compared to methods relying on a single modality only. The methodology
laid out in this work holds substantial promise for facilitating more accurate,
early detection of DR, potentially improving clinical outcomes for patients.
- Abstract(参考訳): 糖尿病の重篤な合併症である糖尿病網膜症(dr)は、世界中の何百万人もの個人に影響を与え、正確かつタイムリーな診断の必要性を強調する。
UWF-CFP(Ultra-WideField Color Fundus Photography)やOCTA(Optra Coherence Tomography Angiography)のような最近の画像技術の発展は、DRの早期検出の機会を提供するが、それらが生成するデータの異なる性質を考えると、大きな課題も生んでいる。
本研究は,これらの画像モダリティを利用してDR分類を顕著に向上する新しいマルチモーダル手法を提案する。
提案手法では,ResNet50モデルと3D-ResNet50モデルの融合による2次元UWF-CFP画像と3次元高分解能6x6 mm$^3$ OCTA画像をSqueeze-and-Excitation (SE)ブロックで統合し,関連する特徴を増幅する。
さらに、モデルの一般化能力を高めるために、統合されたマルチモーダル特徴に適用されるManifold Mixupのマルチモーダル拡張を実装した。
実験結果から,単一のモードのみに依存する手法と比較して,DR分類性能の顕著な向上が示された。
この研究で示された方法論は、より正確で早期のdr検出を促進し、患者の臨床結果を改善する可能性を秘めている。
関連論文リスト
- SDR-Former: A Siamese Dual-Resolution Transformer for Liver Lesion
Classification Using 3D Multi-Phase Imaging [59.78761085714715]
本研究は肝病変分類のための新しいSDR-Formerフレームワークを提案する。
提案フレームワークは2つの臨床データセットに関する総合的な実験を通じて検証された。
科学コミュニティを支援するため,肝病変解析のための多段階MRデータセットを公開しています。
論文 参考訳(メタデータ) (2024-02-27T06:32:56Z) - EMIT-Diff: Enhancing Medical Image Segmentation via Text-Guided
Diffusion Model [4.057796755073023]
EMIT-Diffと呼ばれる医用画像合成のための制御可能な拡散モデルを開発した。
近年の拡散確率モデルを利用して、現実的で多様な合成医用画像データを生成する。
提案手法では, 合成試料が医療上の制約に適合することを確実にする。
論文 参考訳(メタデータ) (2023-10-19T16:18:02Z) - Three-Dimensional Medical Image Fusion with Deformable Cross-Attention [10.26573411162757]
マルチモーダル医療画像融合は、医療画像処理のいくつかの領域において重要な役割を担っている。
従来の融合法は、特徴を組み合わせて融合像を再構成する前に、それぞれのモダリティを独立して処理する傾向にある。
本研究では,これらの制限を是正するために設計された,革新的な教師なしの相互学習融合ネットワークを提案する。
論文 参考訳(メタデータ) (2023-10-10T04:10:56Z) - LVM-Med: Learning Large-Scale Self-Supervised Vision Models for Medical
Imaging via Second-order Graph Matching [59.01894976615714]
LVM-Medは、大規模医療データセットに基づいてトレーニングされた、最初のディープネットワークファミリーである。
55の公開データセットから約13万の医療画像を収集しました。
LVM-Medは、多くの最先端の教師付き、自己監督型、基礎モデルよりも経験的に優れている。
論文 参考訳(メタデータ) (2023-06-20T22:21:34Z) - DiffMIC: Dual-Guidance Diffusion Network for Medical Image
Classification [32.67098520984195]
一般医用画像分類のための拡散モデル(DiffMIC)を提案する。
実験の結果,DiffMICは最先端の手法よりも有意に優れていた。
論文 参考訳(メタデータ) (2023-03-19T09:15:45Z) - Deep-OCTA: Ensemble Deep Learning Approaches for Diabetic Retinopathy
Analysis on OCTA Images [10.16138081361263]
糖尿病網膜症解析チャレンジ(DRAC)のための超広範OCTAに基づく新規かつ実用的な深層学習ソリューションを提案する。
DR損傷タスクのセグメンテーションでは、UNetとUNet++を使用して、3つの病変を強力なデータ拡張とモデルアンサンブルで分割する。
画像品質評価タスクでは、インセプションV3、SE-ResNeXt、Vision Transformerモデルのアンサンブルを作成する。
論文 参考訳(メタデータ) (2022-10-02T13:23:56Z) - Model-Guided Multi-Contrast Deep Unfolding Network for MRI
Super-resolution Reconstruction [68.80715727288514]
MRI観察行列を用いて,反復型MGDUNアルゴリズムを新しいモデル誘導深部展開ネットワークに展開する方法を示す。
本稿では,医療画像SR再構成のためのモデルガイド型解釈可能なDeep Unfolding Network(MGDUN)を提案する。
論文 参考訳(メタデータ) (2022-09-15T03:58:30Z) - Mutual Attention-based Hybrid Dimensional Network for Multimodal Imaging
Computer-aided Diagnosis [4.657804635843888]
マルチモーダル3次元医用画像分類(MMNet)のための新しい相互注意型ハイブリッド次元ネットワークを提案する。
ハイブリッド次元ネットワークは2D CNNと3D畳み込みモジュールを統合し、より深くより情報的な特徴マップを生成する。
さらに,画像モダリティの異なる類似の立体視領域において,各領域の整合性を構築するために,ネットワーク内の相互注意フレームワークを設計する。
論文 参考訳(メタデータ) (2022-01-24T02:31:25Z) - Multi-modal Aggregation Network for Fast MR Imaging [85.25000133194762]
我々は,完全サンプル化された補助モダリティから補完表現を発見できる,MANetという新しいマルチモーダル・アグリゲーション・ネットワークを提案する。
我々のMANetでは,完全サンプリングされた補助的およびアンアンサンプされた目標モダリティの表現は,特定のネットワークを介して独立に学習される。
私たちのMANetは、$k$-spaceドメインの周波数信号を同時に回復できるハイブリッドドメイン学習フレームワークに従います。
論文 参考訳(メタデータ) (2021-10-15T13:16:59Z) - Multifold Acceleration of Diffusion MRI via Slice-Interleaved Diffusion
Encoding (SIDE) [50.65891535040752]
本稿では,Slice-Interleaved Diffusionと呼ばれる拡散符号化方式を提案する。
SIDEは、拡散重み付き(DW)画像ボリュームを異なる拡散勾配で符号化したスライスでインターリーブする。
また,高いスライスアンサンプデータからDW画像を効果的に再構成するためのディープラーニングに基づく手法を提案する。
論文 参考訳(メタデータ) (2020-02-25T14:48:17Z) - Hi-Net: Hybrid-fusion Network for Multi-modal MR Image Synthesis [143.55901940771568]
マルチモーダルMR画像合成のためのHybrid-fusion Network(Hi-Net)を提案する。
当社のHi-Netでは,各モーダリティの表現を学習するために,モーダリティ特化ネットワークを用いている。
マルチモーダル合成ネットワークは、潜在表現と各モーダルの階層的特徴を密結合するように設計されている。
論文 参考訳(メタデータ) (2020-02-11T08:26:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。