Fugu-MT 論文翻訳(概要): Improved Automatic Diabetic Retinopathy Severity Classification Using Deep Multimodal Fusion of UWF-CFP and OCTA Images

論文の概要: Improved Automatic Diabetic Retinopathy Severity Classification Using Deep Multimodal Fusion of UWF-CFP and OCTA Images

arxiv url: http://arxiv.org/abs/2310.01912v1
Date: Tue, 3 Oct 2023 09:35:38 GMT
ステータス: 処理完了
システム内更新日: 2023-10-04 14:58:23.066297
Title: Improved Automatic Diabetic Retinopathy Severity Classification Using Deep Multimodal Fusion of UWF-CFP and OCTA Images
Title（参考訳）: UWF-CFPとOCTA画像の深層多モード融合による糖尿病網膜症重症度自動分類の改善
Authors: Mostafa El Habib Daho, Yihao Li, Rachid Zeghlache, Yapo Cedric Atse, Hugo Le Boit\'e, Sophie Bonnin, Deborah Cosette, Pierre Deman, Laurent Borderie, Capucine Lepicard, Ramin Tadayoni, B\'eatrice Cochener, Pierre-Henri Conze, Mathieu Lamard, and Gwenol\'e Quellec
Abstract要約: 糖尿病網膜症(英: Diabetic Retinopathy、DR)は、世界中の何百万人もの患者に影響を及ぼす糖尿病の合併症である。近年のイメージング技術の進歩は、DRを早期に検出する機会を提供するが、同時に大きな課題も生んでいる。本研究は,これらの画像モダリティを利用してDR分類を顕著に向上する,新しいマルチモーダル手法を提案する。
参考スコア（独自算出の注目度）: 1.6449510885987357
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Diabetic Retinopathy (DR), a prevalent and severe complication of diabetes, affects millions of individuals globally, underscoring the need for accurate and timely diagnosis. Recent advancements in imaging technologies, such as Ultra-WideField Color Fundus Photography (UWF-CFP) imaging and Optical Coherence Tomography Angiography (OCTA), provide opportunities for the early detection of DR but also pose significant challenges given the disparate nature of the data they produce. This study introduces a novel multimodal approach that leverages these imaging modalities to notably enhance DR classification. Our approach integrates 2D UWF-CFP images and 3D high-resolution 6x6 mm$^3$ OCTA (both structure and flow) images using a fusion of ResNet50 and 3D-ResNet50 models, with Squeeze-and-Excitation (SE) blocks to amplify relevant features. Additionally, to increase the model's generalization capabilities, a multimodal extension of Manifold Mixup, applied to concatenated multimodal features, is implemented. Experimental results demonstrate a remarkable enhancement in DR classification performance with the proposed multimodal approach compared to methods relying on a single modality only. The methodology laid out in this work holds substantial promise for facilitating more accurate, early detection of DR, potentially improving clinical outcomes for patients.
Abstract（参考訳）: 糖尿病の重篤な合併症である糖尿病網膜症(dr)は、世界中の何百万人もの個人に影響を与え、正確かつタイムリーな診断の必要性を強調する。 UWF-CFP(Ultra-WideField Color Fundus Photography)やOCTA(Optra Coherence Tomography Angiography)のような最近の画像技術の発展は、DRの早期検出の機会を提供するが、それらが生成するデータの異なる性質を考えると、大きな課題も生んでいる。本研究は,これらの画像モダリティを利用してDR分類を顕著に向上する新しいマルチモーダル手法を提案する。提案手法では,ResNet50モデルと3D-ResNet50モデルの融合による2次元UWF-CFP画像と3次元高分解能6x6 mm$^3$ OCTA画像をSqueeze-and-Excitation (SE)ブロックで統合し,関連する特徴を増幅する。さらに、モデルの一般化能力を高めるために、統合されたマルチモーダル特徴に適用されるManifold Mixupのマルチモーダル拡張を実装した。実験結果から,単一のモードのみに依存する手法と比較して,DR分類性能の顕著な向上が示された。この研究で示された方法論は、より正確で早期のdr検出を促進し、患者の臨床結果を改善する可能性を秘めている。

関連論文リスト

Cross-Fundus Transformer for Multi-modal Diabetic Retinopathy Grading with Cataract [17.77175890577782]
糖尿病網膜症(英: Diabetic retinopathy, DR)は、世界の視覚障害の主要な原因であり、糖尿病の合併症である。本研究では,カラーファンドス写真(IFP)と赤外線ファンドス写真(IFP)の情報をより正確なDRグレーディングに融合する,新しい多モード深層学習フレームワークを提案する。
論文参考訳（メタデータ） (2024-11-01T16:38:49Z)
BrainMVP: Multi-modal Vision Pre-training for Brain Image Analysis using Multi-parametric MRI [11.569448567735435]
BrainMVPは、マルチパラメトリックMRIスキャンを用いた脳画像解析のためのマルチモーダルビジョン事前トレーニングフレームワークである。クロスモーダル・コンストラクション(英語版)は、特徴ある脳画像の埋め込みと効率的なモーダル融合能力を学習するために研究されている。ダウンストリームタスクの実験は、医学領域における最先端の事前訓練方法よりも優れた性能を示す。
論文参考訳（メタデータ） (2024-10-14T15:12:16Z)
Simultaneous Tri-Modal Medical Image Fusion and Super-Resolution using Conditional Diffusion Model [2.507050016527729]
トリモーダル医療画像融合は、病気の形状、位置、生物学的活動をより包括的に見ることができる。画像装置の限界や患者の安全への配慮により、医療画像の品質は制限されることが多い。画像の解像度を向上し、マルチモーダル情報を統合できる技術が緊急に必要である。
論文参考訳（メタデータ） (2024-04-26T12:13:41Z)
NeuroPictor: Refining fMRI-to-Image Reconstruction via Multi-individual Pretraining and Multi-level Modulation [55.51412454263856]
本稿では,fMRI信号を用いた拡散モデル生成過程を直接変調することを提案する。様々な個人から約67,000 fMRI-imageペアのトレーニングを行うことで,fMRI-to-imageデコーディング能力に優れたモデルが得られた。
論文参考訳（メタデータ） (2024-03-27T02:42:52Z)
SDR-Former: A Siamese Dual-Resolution Transformer for Liver Lesion Classification Using 3D Multi-Phase Imaging [59.78761085714715]
本研究は肝病変分類のための新しいSDR-Formerフレームワークを提案する。提案フレームワークは2つの臨床データセットに関する総合的な実験を通じて検証された。科学コミュニティを支援するため,肝病変解析のための多段階MRデータセットを公開しています。
論文参考訳（メタデータ） (2024-02-27T06:32:56Z)
Three-Dimensional Medical Image Fusion with Deformable Cross-Attention [10.26573411162757]
マルチモーダル医療画像融合は、医療画像処理のいくつかの領域において重要な役割を担っている。従来の融合法は、特徴を組み合わせて融合像を再構成する前に、それぞれのモダリティを独立して処理する傾向にある。本研究では,これらの制限を是正するために設計された,革新的な教師なしの相互学習融合ネットワークを提案する。
論文参考訳（メタデータ） (2023-10-10T04:10:56Z)
LVM-Med: Learning Large-Scale Self-Supervised Vision Models for Medical Imaging via Second-order Graph Matching [59.01894976615714]
LVM-Medは、大規模医療データセットに基づいてトレーニングされた、最初のディープネットワークファミリーである。 55の公開データセットから約13万の医療画像を収集しました。 LVM-Medは、多くの最先端の教師付き、自己監督型、基礎モデルよりも経験的に優れている。
論文参考訳（メタデータ） (2023-06-20T22:21:34Z)
Deep-OCTA: Ensemble Deep Learning Approaches for Diabetic Retinopathy Analysis on OCTA Images [10.16138081361263]
糖尿病網膜症解析チャレンジ(DRAC)のための超広範OCTAに基づく新規かつ実用的な深層学習ソリューションを提案する。 DR損傷タスクのセグメンテーションでは、UNetとUNet++を使用して、3つの病変を強力なデータ拡張とモデルアンサンブルで分割する。画像品質評価タスクでは、インセプションV3、SE-ResNeXt、Vision Transformerモデルのアンサンブルを作成する。
論文参考訳（メタデータ） (2022-10-02T13:23:56Z)
Multi-modal Aggregation Network for Fast MR Imaging [85.25000133194762]
我々は,完全サンプル化された補助モダリティから補完表現を発見できる,MANetという新しいマルチモーダル・アグリゲーション・ネットワークを提案する。我々のMANetでは,完全サンプリングされた補助的およびアンアンサンプされた目標モダリティの表現は,特定のネットワークを介して独立に学習される。私たちのMANetは、$k$-spaceドメインの周波数信号を同時に回復できるハイブリッドドメイン学習フレームワークに従います。
論文参考訳（メタデータ） (2021-10-15T13:16:59Z)
Multifold Acceleration of Diffusion MRI via Slice-Interleaved Diffusion Encoding (SIDE) [50.65891535040752]
本稿では,Slice-Interleaved Diffusionと呼ばれる拡散符号化方式を提案する。 SIDEは、拡散重み付き(DW)画像ボリュームを異なる拡散勾配で符号化したスライスでインターリーブする。また,高いスライスアンサンプデータからDW画像を効果的に再構成するためのディープラーニングに基づく手法を提案する。
論文参考訳（メタデータ） (2020-02-25T14:48:17Z)
Hi-Net: Hybrid-fusion Network for Multi-modal MR Image Synthesis [143.55901940771568]
マルチモーダルMR画像合成のためのHybrid-fusion Network(Hi-Net)を提案する。当社のHi-Netでは,各モーダリティの表現を学習するために,モーダリティ特化ネットワークを用いている。マルチモーダル合成ネットワークは、潜在表現と各モーダルの階層的特徴を密結合するように設計されている。
論文参考訳（メタデータ） (2020-02-11T08:26:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。