論文の概要: MIRAGE: Multimodal foundation model and benchmark for comprehensive retinal OCT image analysis
- arxiv url: http://arxiv.org/abs/2506.08900v2
- Date: Wed, 11 Jun 2025 09:38:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-12 16:13:48.084762
- Title: MIRAGE: Multimodal foundation model and benchmark for comprehensive retinal OCT image analysis
- Title(参考訳): MIRAGE:総合網膜CT画像解析のためのマルチモーダル基礎モデルとベンチマーク
- Authors: José Morano, Botond Fazekas, Emese Sükei, Ronald Fecso, Taha Emre, Markus Gumpinger, Georg Faustmann, Marzieh Oghbaie, Ursula Schmidt-Erfurth, Hrvoje Bogunović,
- Abstract要約: MIRAGEは、OCTと走査型レーザー眼鏡(SLO)画像の解析のための新しいFMである。
OCT/SLO分類とセグメンテーションタスクを用いた新しい評価ベンチマークを提案する。
一般および専門的なFMとセグメンテーション法との比較は,MIRAGEの両タスクにおける優位性を示している。
- 参考スコア(独自算出の注目度): 1.8230765666532822
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Artificial intelligence (AI) has become a fundamental tool for assisting clinicians in analyzing ophthalmic images, such as optical coherence tomography (OCT). However, developing AI models often requires extensive annotation, and existing models tend to underperform on independent, unseen data. Foundation models (FMs), large AI models trained on vast unlabeled datasets, have shown promise in overcoming these challenges. Nonetheless, available FMs for ophthalmology lack extensive validation, especially for segmentation tasks, and focus on a single imaging modality. In this context, we propose MIRAGE, a novel multimodal FM for the analysis of OCT and scanning laser ophthalmoscopy (SLO) images. Additionally, we propose a new evaluation benchmark with OCT/SLO classification and segmentation tasks. The comparison with general and specialized FMs and segmentation methods shows the superiority of MIRAGE in both types of tasks, highlighting its suitability as a basis for the development of robust AI systems for retinal OCT image analysis. Both MIRAGE and the evaluation benchmark are publicly available: https://github.com/j-morano/MIRAGE.
- Abstract(参考訳): 人工知能(AI)は、光コヒーレンス断層撮影(OCT)などの眼科画像の解析において、臨床医を支援するための基本的なツールとなっている。
しかし、AIモデルの開発には広範囲なアノテーションが必要であることが多く、既存のモデルは独立して見えないデータに対して過小評価される傾向がある。
膨大なラベルのないデータセットでトレーニングされた大規模なAIモデルであるファンデーションモデル(FM)は、これらの課題を克服する上で有望であることを示している。
それにもかかわらず、眼科用のFMは、特にセグメンテーションタスクに対する広範な検証を欠いており、単一の画像モダリティに焦点を当てている。
そこで本研究では,OCTと走査型レーザー眼鏡(SLO)画像の解析のための新しいマルチモーダルFMであるMIRAGEを提案する。
さらに,OCT/SLO分類とセグメンテーションタスクを用いた新しい評価ベンチマークを提案する。
一般および専門的なFMとセグメンテーション法との比較は、MIRAGEの両タスクにおける優位性を示し、網膜CT画像解析のための堅牢なAIシステムの開発の基盤として、その適合性を強調している。
MIRAGEと評価ベンチマークの両方が公開されている。
関連論文リスト
- MRGen: Segmentation Data Engine For Underrepresented MRI Modalities [59.61465292965639]
稀ながら臨床的に重要な画像モダリティのための医用画像分割モデルの訓練は、注釈付きデータの不足により困難である。
本稿では、生成モデルを利用してトレーニングデータを合成し、未表現のモダリティに対するセグメンテーションモデルを訓練する。
論文 参考訳(メタデータ) (2024-12-04T16:34:22Z) - Towards a vision foundation model for comprehensive assessment of Cardiac MRI [11.838157772803282]
心臓磁気共鳴画像(CMR)評価のための視覚基礎モデルを提案する。
CMRワークフローに典型的な9つの臨床的タスクについて、教師付き方法でモデルを微調整する。
すべてのタスクにおいて、ラベル付きデータセットサイズの範囲で、精度と堅牢性が改善されたことを実証する。
論文 参考訳(メタデータ) (2024-10-02T15:32:01Z) - Benchmarking Embedding Aggregation Methods in Computational Pathology: A Clinical Data Perspective [32.93871326428446]
人工知能(AI)の最近の進歩は、医療画像と計算病理に革命をもたらしている。
デジタル全スライド画像(WSI)の解析における一定の課題は、何万ものタイルレベルの画像埋め込みをスライドレベルの表現に集約する問題である。
本研究は,9つの臨床的課題を対象とした10種類のスライドレベルのアグリゲーション手法のベンチマーク分析を行った。
論文 参考訳(メタデータ) (2024-07-10T17:00:57Z) - VIS-MAE: An Efficient Self-supervised Learning Approach on Medical Image Segmentation and Classification [33.699424327366856]
医用画像に特化して設計された新しいモデルウェイトであるVisualization and Masked AutoEncoder(VIS-MAE)について述べる。
VIS-MAEは、様々なモダリティから250万枚の未ラベル画像のデータセットで訓練されている。
その後、明示的なラベルを使って分類とセグメンテーションのタスクに適応する。
論文 参考訳(メタデータ) (2024-02-01T21:45:12Z) - On Sensitivity and Robustness of Normalization Schemes to Input
Distribution Shifts in Automatic MR Image Diagnosis [58.634791552376235]
深層学習(DL)モデルは、再構成画像を入力として、複数の疾患の診断において最先端のパフォーマンスを達成した。
DLモデルは、トレーニングとテストフェーズ間の入力データ分布の変化につながるため、さまざまなアーティファクトに敏感である。
本稿では,グループ正規化やレイヤ正規化といった他の正規化手法を用いて,画像のさまざまなアーチファクトに対して,モデル性能にロバスト性を注入することを提案する。
論文 参考訳(メタデータ) (2023-06-23T03:09:03Z) - LVM-Med: Learning Large-Scale Self-Supervised Vision Models for Medical
Imaging via Second-order Graph Matching [59.01894976615714]
LVM-Medは、大規模医療データセットに基づいてトレーニングされた、最初のディープネットワークファミリーである。
55の公開データセットから約13万の医療画像を収集しました。
LVM-Medは、多くの最先端の教師付き、自己監督型、基礎モデルよりも経験的に優れている。
論文 参考訳(メタデータ) (2023-06-20T22:21:34Z) - Artificial General Intelligence for Medical Imaging Analysis [92.3940918983821]
大規模人工知能(AGI)モデルは、様々な汎用ドメインタスクにおいて前例のない成功を収めた。
これらのモデルは、医学分野固有の複雑さとユニークな特徴から生じる顕著な課題に直面している。
このレビューは、医療画像、医療などにおけるAGIの将来的な意味についての洞察を提供することを目的としている。
論文 参考訳(メタデータ) (2023-06-08T18:04:13Z) - Domain Generalization for Mammographic Image Analysis with Contrastive
Learning [62.25104935889111]
効果的なディープラーニングモデルのトレーニングには、さまざまなスタイルと品質を備えた大規模なデータが必要である。
より優れたスタイルの一般化能力を備えた深層学習モデルを実現するために,新しいコントラスト学習法が開発された。
提案手法は,様々なベンダスタイルドメインのマンモグラムや,いくつかのパブリックデータセットを用いて,広範囲かつ厳密に評価されている。
論文 参考訳(メタデータ) (2023-04-20T11:40:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。