論文の概要: ELF: An End-to-end Local and Global Multimodal Fusion Framework for
Glaucoma Grading
- arxiv url: http://arxiv.org/abs/2311.08032v1
- Date: Tue, 14 Nov 2023 09:51:00 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-15 14:54:04.700872
- Title: ELF: An End-to-end Local and Global Multimodal Fusion Framework for
Glaucoma Grading
- Title(参考訳): ELF:緑内障治療のためのローカル・グローバル・マルチモーダル融合フレームワーク
- Authors: Wenyun Li and Chi-Man Pun
- Abstract要約: ELFと呼ばれる緑内障のグレーディングのための,エンドツーエンドの局所的およびグローバルなマルチモーダル融合フレームワークを提案する。
ELFは、FundusとOCTの補完情報を十分に活用することができる。
GAMMAデータセットを用いたマルチモーダル緑内障に対する広範囲な実験により,ELFの有効性が証明された。
- 参考スコア(独自算出の注目度): 43.12236694270165
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Glaucoma is a chronic neurodegenerative condition that can lead to blindness.
Early detection and curing are very important in stopping the disease from
getting worse for glaucoma patients. The 2D fundus images and optical coherence
tomography(OCT) are useful for ophthalmologists in diagnosing glaucoma. There
are many methods based on the fundus images or 3D OCT volumes; however, the
mining for multi-modality, including both fundus images and data, is less
studied. In this work, we propose an end-to-end local and global multi-modal
fusion framework for glaucoma grading, named ELF for short. ELF can fully
utilize the complementary information between fundus and OCT. In addition,
unlike previous methods that concatenate the multi-modal features together,
which lack exploring the mutual information between different modalities, ELF
can take advantage of local-wise and global-wise mutual information. The
extensive experiment conducted on the multi-modal glaucoma grading GAMMA
dataset can prove the effiectness of ELF when compared with other
state-of-the-art methods.
- Abstract(参考訳): 緑内障は視覚障害を引き起こす慢性神経変性疾患である。
早期発見と治療は緑内障患者にとって病気の悪化を防ぐ上で非常に重要である。
2次元眼底像と光学コヒーレンス断層像(oct)は緑内障の診断において眼科医に有用である。
眼底画像や3d octボリュームに基づく手法は数多く存在するが、眼底画像とデータの両方を含むマルチモダリティのマイニングはあまり研究されていない。
本研究では,緑内障治療のための局所的およびグローバルな多モード融合フレームワークであるELFを提案する。
ELFは、FundusとOCTの補完情報を十分に活用することができる。
さらに、異なるモダリティ間の相互情報を探索しないマルチモーダル特徴を結合する以前の方法とは異なり、elfは局所的およびグローバル的相互情報を利用することができる。
GAMMAデータセットを用いたマルチモーダル緑内障に対する広範な実験は、他の最先端手法と比較して、ELFの有効性を証明できる。
関連論文リスト
- MMed-RAG: Versatile Multimodal RAG System for Medical Vision Language Models [49.765466293296186]
近年,Med-LVLM (Med-LVLMs) の進歩により,対話型診断ツールの新たな可能性が高まっている。
Med-LVLMは、しばしば事実の幻覚に悩まされ、誤った診断につながることがある。
我々は,Med-LVLMの現実性を高めるために,多目的マルチモーダルRAGシステムMMed-RAGを提案する。
論文 参考訳(メタデータ) (2024-10-16T23:03:27Z) - ETSCL: An Evidence Theory-Based Supervised Contrastive Learning Framework for Multi-modal Glaucoma Grading [7.188153974946432]
緑内障は視覚障害の主要な原因の1つである。
医用画像の類似度が高いことと、不均衡なマルチモーダルデータ分布のため、信頼性の高い特徴を抽出することは依然として困難である。
コントラストのある特徴抽出段階と決定レベルの融合段階からなる新しいフレームワークであるETSCLを提案する。
論文 参考訳(メタデータ) (2024-07-19T11:57:56Z) - Fundus-Enhanced Disease-Aware Distillation Model for Retinal Disease
Classification from OCT Images [6.72159216082989]
OCT画像から網膜疾患分類のための基礎疾患対応蒸留モデルを提案する。
本フレームワークは, 未完成の眼底画像を用いて, OCTモデルを訓練中に強化する。
提案手法は網膜疾患分類のための単一モーダル,多モーダルおよび最先端蒸留法より優れている。
論文 参考訳(メタデータ) (2023-08-01T05:13:02Z) - Reliable Multimodality Eye Disease Screening via Mixture of Student's t
Distributions [49.4545260500952]
眼疾患スクリーニングのための新しい多モード顕在核融合パイプラインEyeMoStについて紹介する。
本モデルでは,一様性に対する局所的不確実性と融合モードに対する大域的不確実性の両方を推定し,信頼性の高い分類結果を生成する。
パブリックデータセットと社内データセットの両方に関する実験結果から、我々のモデルは現在の手法よりも信頼性が高いことが判明した。
論文 参考訳(メタデータ) (2023-03-17T06:18:16Z) - Multimodal Information Fusion for Glaucoma and DR Classification [1.5616442980374279]
複数の情報源からの情報を組み合わせることで、臨床医はより正確な判断をすることができる。
本稿では,網膜解析の課題を解決するために,ディープラーニングに基づく3つのマルチモーダル情報融合戦略について検討する。
論文 参考訳(メタデータ) (2022-09-02T12:19:03Z) - GAMMA Challenge:Glaucoma grAding from Multi-Modality imAges [48.98620387924817]
グラウコーマgAding from Multi-Modality imAges (GAMMA) Challenge を作成した。
この課題の主な課題は,2次元眼底画像と3D OCTスキャンボリュームから緑内障を診断することである。
緑内障のカラー写真と3D OCTボリュームを併用した緑内障アノテートデータセットを公表した。
論文 参考訳(メタデータ) (2022-02-14T06:54:15Z) - COROLLA: An Efficient Multi-Modality Fusion Framework with Supervised
Contrastive Learning for Glaucoma Grading [1.2250035750661867]
緑内障の診断に有効な多モード教師付きコントラスト学習フレームワークであるCOROLLAを提案する。
教師付きコントラスト学習を用いて、より良い収束性でモデルの識別能力を高めます。
GAMMAデータセットでは,我々のCOROLLAフレームワークは最先端の手法と比較して圧倒的な緑内障グレーディング性能を達成している。
論文 参考訳(メタデータ) (2022-01-11T06:00:51Z) - Assessing glaucoma in retinal fundus photographs using Deep Feature
Consistent Variational Autoencoders [63.391402501241195]
緑内障は症状が重くなるまで無症状のままでいるため、検出が困難である。
緑内障の早期診断は機能的,構造的,臨床的評価に基づいて行われることが多い。
ディープラーニング手法はこのジレンマを、マーカー識別段階をバイパスし、ハイレベルな情報を分析してデータを分類することで部分的に解決している。
論文 参考訳(メタデータ) (2021-10-04T16:06:49Z) - Modeling and Enhancing Low-quality Retinal Fundus Images [167.02325845822276]
低画質の眼底画像は臨床観察における不確実性を高め、誤診のリスクを引き起こす。
本稿では,グローバルな劣化要因を抑えるために,臨床指向の基盤拡張ネットワーク(cofe-Net)を提案する。
合成画像と実画像の両方の実験により、我々のアルゴリズムは網膜の細部を失うことなく、低品質の眼底画像を効果的に補正することを示した。
論文 参考訳(メタデータ) (2020-05-12T08:01:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。