論文の概要: Leveraging Multimodal Fusion for Enhanced Diagnosis of Multiple Retinal
Diseases in Ultra-wide OCTA
- arxiv url: http://arxiv.org/abs/2311.10331v1
- Date: Fri, 17 Nov 2023 05:23:57 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-22 14:49:03.703504
- Title: Leveraging Multimodal Fusion for Enhanced Diagnosis of Multiple Retinal
Diseases in Ultra-wide OCTA
- Title(参考訳): 超広汎OCTAにおけるマルチモーダル核融合法による多発網膜疾患の診断
- Authors: Hao Wei, Peilun Shi, Guitao Bai, Minqing Zhang, Shuangle Li and Wu
Yuan
- Abstract要約: 我々は、最初のマルチモーダル、マルチディスリーズ、そして最も広い視野のUW-OCTAデータセットである、先駆的なM3 OCTAデータセットをキュレートした。
複数の疾患の診断にマルチモーダル情報を活用する初めてのクロスモーダル融合フレームワークを提案する。
M3 OCTAデータセットの構築は、眼科画像分析コミュニティにおける研究を進めることを目的としている。
- 参考スコア(独自算出の注目度): 4.741967726600469
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Ultra-wide optical coherence tomography angiography (UW-OCTA) is an emerging
imaging technique that offers significant advantages over traditional OCTA by
providing an exceptionally wide scanning range of up to 24 x 20 $mm^{2}$,
covering both the anterior and posterior regions of the retina. However, the
currently accessible UW-OCTA datasets suffer from limited comprehensive
hierarchical information and corresponding disease annotations. To address this
limitation, we have curated the pioneering M3OCTA dataset, which is the first
multimodal (i.e., multilayer), multi-disease, and widest field-of-view UW-OCTA
dataset. Furthermore, the effective utilization of multi-layer ultra-wide
ocular vasculature information from UW-OCTA remains underdeveloped. To tackle
this challenge, we propose the first cross-modal fusion framework that
leverages multi-modal information for diagnosing multiple diseases. Through
extensive experiments conducted on our openly available M3OCTA dataset, we
demonstrate the effectiveness and superior performance of our method, both in
fixed and varying modalities settings. The construction of the M3OCTA dataset,
the first multimodal OCTA dataset encompassing multiple diseases, aims to
advance research in the ophthalmic image analysis community.
- Abstract(参考訳): Ultra-wide optical coherence tomography angiography (UW-OCTA) は、網膜の前部と後部の両方をカバーする24 x 20 $mm^{2}$の走査範囲を提供することにより、従来のOCTAに対して大きな優位性をもたらす新興画像技術である。
しかし、現在アクセス可能なuw-octaデータセットは、包括的な階層情報と対応する病気アノテーションに苦しむ。
この制限に対処するために、先駆的なm3octaデータセットをキュレートしました。これは、最初のマルチモーダル(つまり、多層)、マルチダイザス、そして最も広い視野のuw-octaデータセットです。
さらにUW-OCTAからの多層超広視野血管情報の有効利用も未開発である。
そこで本研究では,複数の疾患の診断にマルチモーダル情報を活用するクロスモーダル融合フレームワークを提案する。
オープンに利用可能なm3octaデータセット上で行った広範囲な実験を通じて,本手法の有効性と優れた性能を示す。
複数の疾患を含む最初のマルチモーダルOCTAデータセットであるM3OCTAデータセットの構築は、眼科画像分析コミュニティにおける研究を進めることを目的としている。
関連論文リスト
- SDR-Former: A Siamese Dual-Resolution Transformer for Liver Lesion
Classification Using 3D Multi-Phase Imaging [59.78761085714715]
本研究は肝病変分類のための新しいSDR-Formerフレームワークを提案する。
提案フレームワークは2つの臨床データセットに関する総合的な実験を通じて検証された。
科学コミュニティを支援するため,肝病変解析のための多段階MRデータセットを公開しています。
論文 参考訳(メタデータ) (2024-02-27T06:32:56Z) - HEALNet -- Hybrid Multi-Modal Fusion for Heterogeneous Biomedical Data [12.109041184519281]
本稿では, フレキシブルなマルチモーダル融合アーキテクチャであるHybrid Early-fusion Attention Learning Network (HEALNet)を提案する。
The Cancer Genome Atlas (TCGA) の4つの癌コホートにおける全スライド画像と多モードデータの多モード生存解析を行った。
HEALNetは最先端のパフォーマンスを実現し、ユニモーダルベースラインと最近のマルチモーダルベースラインの両方を大幅に改善した。
論文 参考訳(メタデータ) (2023-11-15T17:06:26Z) - Three-Dimensional Medical Image Fusion with Deformable Cross-Attention [10.26573411162757]
マルチモーダル医療画像融合は、医療画像処理のいくつかの領域において重要な役割を担っている。
従来の融合法は、特徴を組み合わせて融合像を再構成する前に、それぞれのモダリティを独立して処理する傾向にある。
本研究では,これらの制限を是正するために設計された,革新的な教師なしの相互学習融合ネットワークを提案する。
論文 参考訳(メタデータ) (2023-10-10T04:10:56Z) - C^2M-DoT: Cross-modal consistent multi-view medical report generation
with domain transfer network [67.97926983664676]
ドメイン転送ネットワーク(C2M-DoT)を用いたクロスモーダルなマルチビュー医療レポート生成を提案する。
C2M-DoTは、すべてのメトリクスで最先端のベースラインを大幅に上回る。
論文 参考訳(メタデータ) (2023-10-09T02:31:36Z) - Improved Automatic Diabetic Retinopathy Severity Classification Using
Deep Multimodal Fusion of UWF-CFP and OCTA Images [1.6449510885987357]
糖尿病網膜症(英: Diabetic Retinopathy、DR)は、世界中の何百万人もの患者に影響を及ぼす糖尿病の合併症である。
近年のイメージング技術の進歩は、DRを早期に検出する機会を提供するが、同時に大きな課題も生んでいる。
本研究は,これらの画像モダリティを利用してDR分類を顕著に向上する,新しいマルチモーダル手法を提案する。
論文 参考訳(メタデータ) (2023-10-03T09:35:38Z) - LVM-Med: Learning Large-Scale Self-Supervised Vision Models for Medical
Imaging via Second-order Graph Matching [59.01894976615714]
LVM-Medは、大規模医療データセットに基づいてトレーニングされた、最初のディープネットワークファミリーである。
55の公開データセットから約13万の医療画像を収集しました。
LVM-Medは、多くの最先端の教師付き、自己監督型、基礎モデルよりも経験的に優れている。
論文 参考訳(メタデータ) (2023-06-20T22:21:34Z) - Multimodal Information Fusion for Glaucoma and DR Classification [1.5616442980374279]
複数の情報源からの情報を組み合わせることで、臨床医はより正確な判断をすることができる。
本稿では,網膜解析の課題を解決するために,ディープラーニングに基づく3つのマルチモーダル情報融合戦略について検討する。
論文 参考訳(メタデータ) (2022-09-02T12:19:03Z) - AlignTransformer: Hierarchical Alignment of Visual Regions and Disease
Tags for Medical Report Generation [50.21065317817769]
本稿では,Align Hierarchical Attention (AHA)とMulti-Grained Transformer (MGT)モジュールを含むAlign Transformerフレームワークを提案する。
パブリックなIU-XrayとMIMIC-CXRデータセットの実験は、AlignTransformerが2つのデータセットの最先端メソッドと競合する結果が得られることを示している。
論文 参考訳(メタデータ) (2022-03-18T13:43:53Z) - Multi-Modal Multi-Instance Learning for Retinal Disease Recognition [10.294738095942812]
我々は、特定の症例に対する複数の視覚障害を認識できるディープニューラルネットワークの構築を目指している。
データ取得と手動ラベリングは医療分野では非常に高価であるため、ネットワークは比較的軽量でなければならない。
論文 参考訳(メタデータ) (2021-09-25T08:16:47Z) - FetReg: Placental Vessel Segmentation and Registration in Fetoscopy
Challenge Dataset [57.30136148318641]
Fetoscopy Laser Photocoagulation はツイン・ツー・ツイン・トランスフュージョン症候群(TTTS)の治療に広く用いられている治療法である
これにより、プロシージャ時間と不完全アブレーションが増加し、持続的なTTTSが生じる可能性がある。
コンピュータ支援による介入は、ビデオモザイクによって胎児の視野を広げ、船体ネットワークのより良い視覚化を提供することによって、これらの課題を克服するのに役立つかもしれない。
本稿では,長期フェトスコープビデオからドリフトフリーモザイクを作成することを目的とした,胎児環境のための汎用的でロバストなセマンティックセマンティックセグメンテーションとビデオモザイクアルゴリズムを開発するための大規模マルチセントデータセットを提案する。
論文 参考訳(メタデータ) (2021-06-10T17:14:27Z) - Cross-Modal Information Maximization for Medical Imaging: CMIM [62.28852442561818]
病院では、同じ情報を異なるモダリティの下で利用できるようにする特定の情報システムにデータがサイロ化される。
これは、テスト時に常に利用できないかもしれない同じ情報の複数のビューを列車で取得し、使用するためのユニークな機会を提供する。
テスト時にモダリティの低下に耐性を持つマルチモーダル入力の優れた表現を学習することで、利用可能なデータを最大限活用する革新的なフレームワークを提案する。
論文 参考訳(メタデータ) (2020-10-20T20:05:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。