論文の概要: Leveraging Multimodal Fusion for Enhanced Diagnosis of Multiple Retinal
Diseases in Ultra-wide OCTA
- arxiv url: http://arxiv.org/abs/2311.10331v1
- Date: Fri, 17 Nov 2023 05:23:57 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-22 14:49:03.703504
- Title: Leveraging Multimodal Fusion for Enhanced Diagnosis of Multiple Retinal
Diseases in Ultra-wide OCTA
- Title（参考訳）: 超広汎OCTAにおけるマルチモーダル核融合法による多発網膜疾患の診断
- Authors: Hao Wei, Peilun Shi, Guitao Bai, Minqing Zhang, Shuangle Li and Wu
Yuan
- Abstract要約: 我々は、最初のマルチモーダル、マルチディスリーズ、そして最も広い視野のUW-OCTAデータセットである、先駆的なM3 OCTAデータセットをキュレートした。
複数の疾患の診断にマルチモーダル情報を活用する初めてのクロスモーダル融合フレームワークを提案する。
M3 OCTAデータセットの構築は、眼科画像分析コミュニティにおける研究を進めることを目的としている。
- 参考スコア（独自算出の注目度）: 4.741967726600469
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Ultra-wide optical coherence tomography angiography (UW-OCTA) is an emerging
imaging technique that offers significant advantages over traditional OCTA by
providing an exceptionally wide scanning range of up to 24 x 20 $mm^{2}$,
covering both the anterior and posterior regions of the retina. However, the
currently accessible UW-OCTA datasets suffer from limited comprehensive
hierarchical information and corresponding disease annotations. To address this
limitation, we have curated the pioneering M3OCTA dataset, which is the first
multimodal (i.e., multilayer), multi-disease, and widest field-of-view UW-OCTA
dataset. Furthermore, the effective utilization of multi-layer ultra-wide
ocular vasculature information from UW-OCTA remains underdeveloped. To tackle
this challenge, we propose the first cross-modal fusion framework that
leverages multi-modal information for diagnosing multiple diseases. Through
extensive experiments conducted on our openly available M3OCTA dataset, we
demonstrate the effectiveness and superior performance of our method, both in
fixed and varying modalities settings. The construction of the M3OCTA dataset,
the first multimodal OCTA dataset encompassing multiple diseases, aims to
advance research in the ophthalmic image analysis community.
- Abstract（参考訳）: Ultra-wide optical coherence tomography angiography (UW-OCTA) は、網膜の前部と後部の両方をカバーする24 x 20 $mm^{2}$の走査範囲を提供することにより、従来のOCTAに対して大きな優位性をもたらす新興画像技術である。
しかし、現在アクセス可能なuw-octaデータセットは、包括的な階層情報と対応する病気アノテーションに苦しむ。
この制限に対処するために、先駆的なm3octaデータセットをキュレートしました。これは、最初のマルチモーダル(つまり、多層)、マルチダイザス、そして最も広い視野のuw-octaデータセットです。
さらにUW-OCTAからの多層超広視野血管情報の有効利用も未開発である。
そこで本研究では,複数の疾患の診断にマルチモーダル情報を活用するクロスモーダル融合フレームワークを提案する。
オープンに利用可能なm3octaデータセット上で行った広範囲な実験を通じて,本手法の有効性と優れた性能を示す。
複数の疾患を含む最初のマルチモーダルOCTAデータセットであるM3OCTAデータセットの構築は、眼科画像分析コミュニティにおける研究を進めることを目的としている。
関連論文リスト
- Multi-View and Multi-Scale Alignment for Contrastive Language-Image
Pre-training in Mammography [4.500815515502233]
対照的な言語-画像事前学習は、医療画像解析において有望であるが、かなりのデータと計算資源を必要とする。
本稿では,マンモグラフィに完全CLIPモデルを適用することを提案する。
論文 参考訳（メタデータ） (2024-09-26T17:56:59Z) - ViKL: A Mammography Interpretation Framework via Multimodal Aggregation of Visual-knowledge-linguistic Features [54.37042005469384]
MVKLは,マルチビュー画像,詳細な表示,報告を含む最初のマルチモーダルマンモグラフィーデータセットである。
このデータセットに基づいて、教師なし事前学習のチャラリングタスクに焦点を当てる。
視覚,知識,言語機能を相乗化するフレームワークであるViKLを提案する。
論文 参考訳（メタデータ） (2024-09-24T05:01:23Z) - Multi-OCT-SelfNet: Integrating Self-Supervised Learning with Multi-Source Data Fusion for Enhanced Multi-Class Retinal Disease Classification [2.5091334993691206]
網膜疾患診断のための堅牢なディープラーニングモデルの開発には、トレーニングのためのかなりのデータセットが必要である。
より小さなデータセットで効果的に一般化する能力は、依然として永続的な課題である。
さまざまなデータソースを組み合わせて、パフォーマンスを改善し、新しいデータに一般化しています。
論文 参考訳（メタデータ） (2024-09-17T17:22:35Z) - MedTrinity-25M: A Large-scale Multimodal Dataset with Multigranular Annotations for Medicine [53.01393667775077]
本稿では,医療用大規模マルチモーダルデータセットであるMedTrinity-25Mを紹介する。
10のモダリティで2500万枚以上の画像をカバーしており、65以上の疾患に対する多彩なアノテーションがある。
画像テキストペアの可用性によって制限された既存のアプローチとは異なり、私たちは最初の自動パイプラインを開発しました。
論文 参考訳（メタデータ） (2024-08-06T02:09:35Z) - SDR-Former: A Siamese Dual-Resolution Transformer for Liver Lesion
Classification Using 3D Multi-Phase Imaging [59.78761085714715]
本研究は肝病変分類のための新しいSDR-Formerフレームワークを提案する。
提案フレームワークは2つの臨床データセットに関する総合的な実験を通じて検証された。
科学コミュニティを支援するため,肝病変解析のための多段階MRデータセットを公開しています。
論文 参考訳（メタデータ） (2024-02-27T06:32:56Z) - Three-Dimensional Medical Image Fusion with Deformable Cross-Attention [10.26573411162757]
マルチモーダル医療画像融合は、医療画像処理のいくつかの領域において重要な役割を担っている。
従来の融合法は、特徴を組み合わせて融合像を再構成する前に、それぞれのモダリティを独立して処理する傾向にある。
本研究では,これらの制限を是正するために設計された,革新的な教師なしの相互学習融合ネットワークを提案する。
論文 参考訳（メタデータ） (2023-10-10T04:10:56Z) - C^2M-DoT: Cross-modal consistent multi-view medical report generation
with domain transfer network [67.97926983664676]
ドメイン転送ネットワーク(C2M-DoT)を用いたクロスモーダルなマルチビュー医療レポート生成を提案する。
C2M-DoTは、すべてのメトリクスで最先端のベースラインを大幅に上回る。
論文 参考訳（メタデータ） (2023-10-09T02:31:36Z) - LVM-Med: Learning Large-Scale Self-Supervised Vision Models for Medical
Imaging via Second-order Graph Matching [59.01894976615714]
LVM-Medは、大規模医療データセットに基づいてトレーニングされた、最初のディープネットワークファミリーである。
55の公開データセットから約13万の医療画像を収集しました。
LVM-Medは、多くの最先端の教師付き、自己監督型、基礎モデルよりも経験的に優れている。
論文 参考訳（メタデータ） (2023-06-20T22:21:34Z) - Multimodal Information Fusion for Glaucoma and DR Classification [1.5616442980374279]
複数の情報源からの情報を組み合わせることで、臨床医はより正確な判断をすることができる。
本稿では,網膜解析の課題を解決するために,ディープラーニングに基づく3つのマルチモーダル情報融合戦略について検討する。
論文 参考訳（メタデータ） (2022-09-02T12:19:03Z) - Multi-Modal Multi-Instance Learning for Retinal Disease Recognition [10.294738095942812]
我々は、特定の症例に対する複数の視覚障害を認識できるディープニューラルネットワークの構築を目指している。
データ取得と手動ラベリングは医療分野では非常に高価であるため、ネットワークは比較的軽量でなければならない。
論文 参考訳（メタデータ） (2021-09-25T08:16:47Z) - FetReg: Placental Vessel Segmentation and Registration in Fetoscopy
Challenge Dataset [57.30136148318641]
Fetoscopy Laser Photocoagulation はツイン・ツー・ツイン・トランスフュージョン症候群(TTTS)の治療に広く用いられている治療法である
これにより、プロシージャ時間と不完全アブレーションが増加し、持続的なTTTSが生じる可能性がある。
コンピュータ支援による介入は、ビデオモザイクによって胎児の視野を広げ、船体ネットワークのより良い視覚化を提供することによって、これらの課題を克服するのに役立つかもしれない。
本稿では,長期フェトスコープビデオからドリフトフリーモザイクを作成することを目的とした,胎児環境のための汎用的でロバストなセマンティックセマンティックセグメンテーションとビデオモザイクアルゴリズムを開発するための大規模マルチセントデータセットを提案する。
論文 参考訳（メタデータ） (2021-06-10T17:14:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。