論文の概要: MultiEYE: Dataset and Benchmark for OCT-Enhanced Retinal Disease Recognition from Fundus Images

• arxiv url: http://arxiv.org/abs/2412.09402v1
• Date: Thu, 12 Dec 2024 16:08:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-13 13:32:20.196570
• Title: MultiEYE: Dataset and Benchmark for OCT-Enhanced Retinal Disease Recognition from Fundus Images
• Title（参考訳）: MultiEYE:眼底画像からのOCTによる網膜疾患認識のためのデータセットとベンチマーク
• Authors: Lehan Wang, Chongchong Qi, Chubin Ou, Lin An, Mei Jin, Xiangbin Kong, Xiaomeng Li,
• Abstract要約: 眼疾患診断用マルチモーダル・マルチクラスデータセットであるMultiEYEについて述べる。 OCT画像から疾患関連知識を抽出するためのOCT支援概念蒸留アプローチ(OCT-CoDA)を提案する。 提案するOCT-CoDAは,臨床応用の可能性が高く,顕著な結果と解釈可能性を示した。
• 参考スコア（独自算出の注目度）: 4.885485496458059
• License:
• Abstract: Existing multi-modal learning methods on fundus and OCT images mostly require both modalities to be available and strictly paired for training and testing, which appears less practical in clinical scenarios. To expand the scope of clinical applications, we formulate a novel setting, "OCT-enhanced disease recognition from fundus images", that allows for the use of unpaired multi-modal data during the training phase and relies on the widespread fundus photographs for testing. To benchmark this setting, we present the first large multi-modal multi-class dataset for eye disease diagnosis, MultiEYE, and propose an OCT-assisted Conceptual Distillation Approach (OCT-CoDA), which employs semantically rich concepts to extract disease-related knowledge from OCT images and leverage them into the fundus model. Specifically, we regard the image-concept relation as a link to distill useful knowledge from the OCT teacher model to the fundus student model, which considerably improves the diagnostic performance based on fundus images and formulates the cross-modal knowledge transfer into an explainable process. Through extensive experiments on the multi-disease classification task, our proposed OCT-CoDA demonstrates remarkable results and interpretability, showing great potential for clinical application. Our dataset and code are available at https://github.com/xmed-lab/MultiEYE.
• Abstract（参考訳）: 既存の眼底画像とOCT画像のマルチモーダル学習法は、主に、トレーニングとテストのための厳密なペアリングの両方のモダリティを必要とするが、臨床シナリオでは実用的でないように見える。 臨床応用の範囲を拡大するために、トレーニング期間中に未経験のマルチモーダルデータを使用でき、検査に広く使われているファンドス写真に依存する新しい設定「OCT強調疾患認識」を定式化する。 この設定をベンチマークするために、眼疾患診断のための最初の大規模マルチモーダルマルチクラスデータセットであるMultiEYEを提示し、OCT-CoDA(OCT-CoDA)を提案する。 具体的には,OCT教師モデルから基礎学生モデルへ有用な知識を抽出するリンクとしてイメージ概念関係を考察し,基礎画像に基づいて診断性能を大幅に向上させ,説明可能なプロセスへのクロスモーダルな知識伝達を定式化する。 今回提案したOCT-CoDAは,多変量分類タスクの広範な実験を通じて,臨床応用の可能性を示した。 データセットとコードはhttps://github.com/xmed-lab/MultiEYE.comで公開されています。

関連論文リスト

• Embeddings are all you need! Achieving High Performance Medical Image Classification through Training-Free Embedding Analysis [0.0]
  医療画像のための人工知能(AI)と機械学習(ML)モデルの開発は通常、大規模なデータセットに対する広範なトレーニングとテストを含む。 従来の訓練手順を埋め込み型アプローチで置き換える可能性について検討した。
  論文  参考訳（メタデータ） (2024-12-12T16:59:37Z)
• CC-DCNet: Dynamic Convolutional Neural Network with Contrastive Constraints for Identifying Lung Cancer Subtypes on Multi-modality Images [13.655407979403945]
  肺がんサブタイプを多次元・多モード画像で正確に分類するための新しい深層学習ネットワークを提案する。 提案モデルの強みは, 対のCT-病理画像セットと独立のCT画像セットの両方を動的に処理できることにある。 また,ネットワーク学習を通じてモダリティ関係を定量的にマッピングするコントラスト制約モジュールも開発した。
  論文  参考訳（メタデータ） (2024-07-18T01:42:00Z)
• Integrating Medical Imaging and Clinical Reports Using Multimodal Deep Learning for Advanced Disease Analysis [3.8758525789991896]
  医用画像や臨床報告からの異種情報を深く統合する,革新的なマルチモーダル深層学習モデルを提案する。 医用画像では、畳み込みニューラルネットワークを用いて高次元の特徴を抽出し、重要な視覚情報をキャプチャした。 臨床報告テキストでは,2方向の長期・短期記憶ネットワークと注意機構を組み合わせることで,深い意味理解を実現する。
  論文  参考訳（メタデータ） (2024-05-23T02:22:10Z)
• Fundus-Enhanced Disease-Aware Distillation Model for Retinal Disease Classification from OCT Images [6.72159216082989]
  OCT画像から網膜疾患分類のための基礎疾患対応蒸留モデルを提案する。 本フレームワークは, 未完成の眼底画像を用いて, OCTモデルを訓練中に強化する。 提案手法は網膜疾患分類のための単一モーダル,多モーダルおよび最先端蒸留法より優れている。
  論文  参考訳（メタデータ） (2023-08-01T05:13:02Z)
• LVM-Med: Learning Large-Scale Self-Supervised Vision Models for Medical Imaging via Second-order Graph Matching [59.01894976615714]
  LVM-Medは、大規模医療データセットに基づいてトレーニングされた、最初のディープネットワークファミリーである。 55の公開データセットから約13万の医療画像を収集しました。 LVM-Medは、多くの最先端の教師付き、自己監督型、基礎モデルよりも経験的に優れている。
  論文  参考訳（メタデータ） (2023-06-20T22:21:34Z)
• Multimodal Information Fusion for Glaucoma and DR Classification [1.5616442980374279]
  複数の情報源からの情報を組み合わせることで、臨床医はより正確な判断をすることができる。 本稿では,網膜解析の課題を解決するために,ディープラーニングに基づく3つのマルチモーダル情報融合戦略について検討する。
  論文  参考訳（メタデータ） (2022-09-02T12:19:03Z)
• Malignancy Prediction and Lesion Identification from Clinical Dermatological Images [65.1629311281062]
  臨床皮膚画像から機械学習に基づく悪性度予測と病変の同定を検討する。 まず, サブタイプや悪性度に関わらず画像に存在するすべての病変を同定し, その悪性度を推定し, 凝集により, 画像レベルの悪性度も生成する。
  論文  参考訳（メタデータ） (2021-04-02T20:52:05Z)
• A Multi-Stage Attentive Transfer Learning Framework for Improving COVID-19 Diagnosis [49.3704402041314]
  新型コロナの診断を改善するための多段階集中移動学習フレームワークを提案する。 提案するフレームワークは、複数のソースタスクと異なるドメインのデータから知識を学習し、正確な診断モデルを訓練する3つの段階からなる。 本稿では,肺CT画像のマルチスケール表現を学習するための自己教師付き学習手法を提案する。
  論文  参考訳（メタデータ） (2021-01-14T01:39:19Z)
• Cross-Modal Information Maximization for Medical Imaging: CMIM [62.28852442561818]
  病院では、同じ情報を異なるモダリティの下で利用できるようにする特定の情報システムにデータがサイロ化される。 これは、テスト時に常に利用できないかもしれない同じ情報の複数のビューを列車で取得し、使用するためのユニークな機会を提供する。 テスト時にモダリティの低下に耐性を持つマルチモーダル入力の優れた表現を学習することで、利用可能なデータを最大限活用する革新的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-10-20T20:05:35Z)
• Explaining Clinical Decision Support Systems in Medical Imaging using Cycle-Consistent Activation Maximization [112.2628296775395]
  ディープニューラルネットワークを用いた臨床意思決定支援は、着実に関心が高まりつつあるトピックとなっている。 臨床医は、その根底にある意思決定プロセスが不透明で理解しにくいため、この技術の採用をためらうことが多い。 そこで我々は,より小さなデータセットであっても,分類器決定の高品質な可視化を生成するCycleGANアクティベーションに基づく,新たな意思決定手法を提案する。
  論文  参考訳（メタデータ） (2020-10-09T14:39:27Z)
• Pathological Retinal Region Segmentation From OCT Images Using Geometric Relation Based Augmentation [84.7571086566595]
  本稿では,幾何学と形状の内在的関係を共同で符号化することで,従来のGANベースの医用画像合成法よりも優れた手法を提案する。 提案手法は,取得手順の異なる画像を有する公開RETOUCHデータセット上で,最先端のセグメンテーション手法より優れている。
  論文  参考訳（メタデータ） (2020-03-31T11:50:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。