論文の概要: A Survey of Multimodal Ophthalmic Diagnostics: From Task-Specific Approaches to Foundational Models
- arxiv url: http://arxiv.org/abs/2508.03734v1
- Date: Thu, 31 Jul 2025 10:49:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-07 20:09:22.34551
- Title: A Survey of Multimodal Ophthalmic Diagnostics: From Task-Specific Approaches to Foundational Models
- Title（参考訳）: マルチモーダル眼科診断の実態調査 : タスク特異的アプローチから基礎的モデルへ
- Authors: Xiaoling Luo, Ruli Zheng, Qiaojian Zheng, Zibo Du, Shuo Yang, Meidan Ding, Qihao Xu, Chengliang Liu, Linlin Shen,
- Abstract要約: このレビューでは、タスク固有のマルチモーダルアプローチと大規模マルチモーダル基盤モデルという2つの主要なカテゴリに焦点を当てている。
この調査は重要なデータセット、評価指標、方法論の革新について批判的に調査している。
また、データの多様性、アノテーションの制限、解釈可能性の欠如、様々な患者集団における一般化可能性の問題など、現在進行中の課題についても論じている。
- 参考スコア（独自算出の注目度）: 28.34025112894094
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Visual impairment represents a major global health challenge, with multimodal imaging providing complementary information that is essential for accurate ophthalmic diagnosis. This comprehensive survey systematically reviews the latest advances in multimodal deep learning methods in ophthalmology up to the year 2025. The review focuses on two main categories: task-specific multimodal approaches and large-scale multimodal foundation models. Task-specific approaches are designed for particular clinical applications such as lesion detection, disease diagnosis, and image synthesis. These methods utilize a variety of imaging modalities including color fundus photography, optical coherence tomography, and angiography. On the other hand, foundation models combine sophisticated vision-language architectures and large language models pretrained on diverse ophthalmic datasets. These models enable robust cross-modal understanding, automated clinical report generation, and decision support. The survey critically examines important datasets, evaluation metrics, and methodological innovations including self-supervised learning, attention-based fusion, and contrastive alignment. It also discusses ongoing challenges such as variability in data, limited annotations, lack of interpretability, and issues with generalizability across different patient populations. Finally, the survey outlines promising future directions that emphasize the use of ultra-widefield imaging and reinforcement learning-based reasoning frameworks to create intelligent, interpretable, and clinically applicable AI systems for ophthalmology.
- Abstract（参考訳）: 視覚障害は、正確な眼科診断に不可欠な相補的な情報を提供するマルチモーダルイメージングによって、世界的な健康上の大きな課題となっている。
この総合的な調査は、2025年までの眼科領域におけるマルチモーダルディープラーニング手法の最新の進歩を体系的にレビューしている。
このレビューでは、タスク固有のマルチモーダルアプローチと大規模マルチモーダル基盤モデルという2つの主要なカテゴリに焦点を当てている。
タスク固有のアプローチは、病変検出、疾患診断、画像合成などの特定の臨床応用のために設計されている。
これらの方法は、カラーファンドス撮影、光コヒーレンス断層撮影、血管造影など、様々な画像モダリティを利用する。
一方、基礎モデルは高度な視覚言語アーキテクチャと多様な眼科データセットで事前訓練された大きな言語モデルを組み合わせる。
これらのモデルは、堅牢なクロスモーダル理解、自動臨床報告生成、意思決定支援を可能にする。
この調査は、自己教師付き学習、注意に基づく融合、コントラスト的アライメントを含む重要なデータセット、評価指標、方法論的革新を批判的に調査する。
また、データの多様性、アノテーションの制限、解釈可能性の欠如、様々な患者集団における一般化可能性の問題など、現在進行中の課題についても論じている。
最後に、この調査は、超広視野イメージングと強化学習に基づく推論フレームワークの使用を強調した将来的な方向性を概説している。
関連論文リスト
- From Pixels to Polygons: A Survey of Deep Learning Approaches for Medical Image-to-Mesh Reconstruction [38.67693323186832]
この調査は、既存のアプローチを、テンプレートモデル、統計モデル、生成モデル、暗黙モデルという4つの主要なカテゴリに体系的に分類する。
心臓画像から神経学的研究まで,様々な解剖学的応用にまたがって,これらの手法を広範囲に評価する。
この調査は、トポロジカルな正しさ、幾何的精度、マルチモーダリティ統合の要件を含む、この分野における現在の課題を明らかにしている。
論文 参考訳（メタデータ） (2025-05-06T15:01:43Z) - EyecareGPT: Boosting Comprehensive Ophthalmology Understanding with Tailored Dataset, Benchmark and Model [51.66031028717933]
Med-LVLM(Med-LVLM)は、医療において重要な可能性を示す。
現在、知的眼科診断は、(i)データ、(ii)ベンチマーク、(iii)モデルという3つの大きな課題に直面している。
我々は、前述の3つの課題に対処するEyecare Kitを提案する。
論文 参考訳（メタデータ） (2025-04-18T12:09:15Z) - A Survey of Medical Vision-and-Language Applications and Their Techniques [48.268198631277315]
医療ビジョン・アンド・ランゲージモデル(MVLM)は、複雑な医療データを解釈するための自然言語インタフェースを提供する能力から、大きな関心を集めている。
本稿では,MVLMの概要と適用した各種医療課題について概観する。
また、これらのタスクに使用するデータセットについても検討し、標準化された評価指標に基づいて異なるモデルの性能を比較した。
論文 参考訳（メタデータ） (2024-11-19T03:27:05Z) - ViKL: A Mammography Interpretation Framework via Multimodal Aggregation of Visual-knowledge-linguistic Features [54.37042005469384]
MVKLは,マルチビュー画像,詳細な表示,報告を含む最初のマルチモーダルマンモグラフィーデータセットである。
このデータセットに基づいて、教師なし事前学習のチャラリングタスクに焦点を当てる。
視覚,知識,言語機能を相乗化するフレームワークであるViKLを提案する。
論文 参考訳（メタデータ） (2024-09-24T05:01:23Z) - EyeCLIP: A visual-language foundation model for multi-modal ophthalmic image analysis [20.318178211934985]
本研究では,277万点以上の眼科画像と部分テキストデータを用いた視覚言語基盤モデルであるEyeCLIPを提案する。
EyeCLIPは、眼疾患や全身疾患を含む幅広い下流のタスクに移行することができる。
論文 参考訳（メタデータ） (2024-09-10T17:00:19Z) - QUBIQ: Uncertainty Quantification for Biomedical Image Segmentation Challenge [93.61262892578067]
医用画像分割作業の不確実性、特にラター間変動性は重要な課題である。
この可変性は、自動セグメンテーションアルゴリズムの開発と評価に直接影響を及ぼす。
バイオメディカル画像量化チャレンジ(QUBIQ)における不確実性の定量化のベンチマーク結果を報告する。
論文 参考訳（メタデータ） (2024-03-19T17:57:24Z) - Deep Learning and Computer Vision for Glaucoma Detection: A Review [0.8379286663107844]
緑内障は世界中で不可逆的な盲目の原因となっている。
コンピュータビジョンとディープラーニングの最近の進歩は、自動評価の可能性を示している。
眼底,光コヒーレンス断層撮影,視野画像を用いたAIによる緑内障の診断に関する最近の研究について調査した。
論文 参考訳（メタデータ） (2023-07-31T09:49:51Z) - MedFMC: A Real-world Dataset and Benchmark For Foundation Model
Adaptation in Medical Image Classification [41.16626194300303]
ファンデーションモデルは、多くの場合、大規模なデータで事前訓練されているが、様々なビジョンや言語アプリケーションのジャンプ開始において、最も成功している。
最近の進歩により、下流タスクにおける基礎モデルの適応は、少数のトレーニングサンプルだけで効率的に行えるようになった。
しかし, 医用画像解析におけるそのような学習パラダイムの適用は, 一般に公開されているデータやベンチマークが不足しているため, 依然として少ない。
論文 参考訳（メタデータ） (2023-06-16T01:46:07Z) - Pixel-Level Explanation of Multiple Instance Learning Models in
Biomedical Single Cell Images [52.527733226555206]
複数のインスタンス学習モデルを説明するための4つの属性法について検討する。
急性骨髄性白血病の2つのデータセットと100万以上の単細胞画像について検討した。
我々は、属性マップと医療専門家の注釈を比較し、モデルの意思決定が人間の基準とどのように異なるかを確認する。
論文 参考訳（メタデータ） (2023-03-15T14:00:11Z) - Recent advances and clinical applications of deep learning in medical
image analysis [7.132678647070632]
我々は最近200以上の論文をレビュー・要約し、様々な医用画像解析タスクにおける深層学習手法の適用の概要を概観した。
特に,医用画像における最先端の非教師あり半教師あり深層学習の進歩と貢献を強調した。
論文 参考訳（メタデータ） (2021-05-27T18:05:12Z) - Learning Binary Semantic Embedding for Histology Image Classification
and Retrieval [56.34863511025423]
バイナリ・セマンティック・エンベディング(LBSE)の学習方法を提案する。
効率的な埋め込み、分類、検索を行い、組織像の解釈可能なコンピュータ支援診断を提供する。
3つのベンチマークデータセットで実施された実験は、様々なシナリオにおいてLBSEの優位性を検証する。
論文 参考訳（メタデータ） (2020-10-07T08:36:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。