論文の概要: UOPSL: Unpaired OCT Predilection Sites Learning for Fundus Image Diagnosis Augmentation
- arxiv url: http://arxiv.org/abs/2509.08624v1
- Date: Wed, 10 Sep 2025 14:19:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-11 15:16:52.453151
- Title: UOPSL: Unpaired OCT Predilection Sites Learning for Fundus Image Diagnosis Augmentation
- Title(参考訳): UOPSL: 基礎画像診断のための未完成OCT前駆体サイト
- Authors: Zhihao Zhao, Yinzheng Zhao, Junjie Yang, Xiangtong Yao, Quanmin Liang, Daniel Zapp, Kai Huang, Nassir Navab, M. Ali Nasseri,
- Abstract要約: 我々は,OCTから派生した空間的先行情報を用いて,捕食部位を動的に識別する新しい無ペアマルチモーダルフレームワーク UOPSL を提案する。
我々のアプローチは、拡張された病気のテキスト記述を通して、未治療の根本とOCTを橋渡しする。
28の重要カテゴリにわたる9つの多様なデータセットで実施された実験は、我々のフレームワークが既存のベンチマークを上回っていることを示している。
- 参考スコア(独自算出の注目度): 47.08936359575974
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Significant advancements in AI-driven multimodal medical image diagnosis have led to substantial improvements in ophthalmic disease identification in recent years. However, acquiring paired multimodal ophthalmic images remains prohibitively expensive. While fundus photography is simple and cost-effective, the limited availability of OCT data and inherent modality imbalance hinder further progress. Conventional approaches that rely solely on fundus or textual features often fail to capture fine-grained spatial information, as each imaging modality provides distinct cues about lesion predilection sites. In this study, we propose a novel unpaired multimodal framework \UOPSL that utilizes extensive OCT-derived spatial priors to dynamically identify predilection sites, enhancing fundus image-based disease recognition. Our approach bridges unpaired fundus and OCTs via extended disease text descriptions. Initially, we employ contrastive learning on a large corpus of unpaired OCT and fundus images while simultaneously learning the predilection sites matrix in the OCT latent space. Through extensive optimization, this matrix captures lesion localization patterns within the OCT feature space. During the fine-tuning or inference phase of the downstream classification task based solely on fundus images, where paired OCT data is unavailable, we eliminate OCT input and utilize the predilection sites matrix to assist in fundus image classification learning. Extensive experiments conducted on 9 diverse datasets across 28 critical categories demonstrate that our framework outperforms existing benchmarks.
- Abstract(参考訳): 近年、AIによるマルチモーダル画像診断の進歩により、眼科疾患の同定が大幅に改善されている。
しかし, 対の多モード眼底画像の取得は違法な費用がかかる。
基礎撮影は単純で費用対効果があるが、OCTデータと固有のモダリティの不均衡はさらなる進歩を妨げる。
基礎的特徴やテキスト的特徴にのみ依存する従来のアプローチは、それぞれの画像モダリティが病変の予測部位に関する明確な手がかりを提供するため、細粒度の空間情報を捉えることができないことが多い。
そこで本研究では, OCT由来の空間先行情報を用いて, 捕食部位を動的に同定し, 眼底画像に基づく疾患認識を向上する, 新規なマルチモーダルフレームワークであるUOPSLを提案する。
我々のアプローチは、拡張された病気のテキスト記述を通して、未治療の根本とOCTを橋渡しする。
当初我々は,OCT潜伏空間の捕食部位行列を同時に学習しながら,未ペアOCTと基底画像の大規模なコーパスに対してコントラスト学習を施した。
広範囲な最適化により、この行列はOCT特徴空間内の病変の局在パターンをキャプチャする。
OCTデータのペア化が不可能な基底画像のみに基づく下流分類タスクの微調整・推論フェーズにおいて、OCT入力を排除し、予測サイト行列を用いて、基底画像分類学習を支援する。
28の重要カテゴリにわたる9つの多様なデータセットで実施された大規模な実験は、我々のフレームワークが既存のベンチマークを上回っていることを示している。
関連論文リスト
- MultiEYE: Dataset and Benchmark for OCT-Enhanced Retinal Disease Recognition from Fundus Images [4.885485496458059]
眼疾患診断用マルチモーダル・マルチクラスデータセットであるMultiEYEについて述べる。
OCT画像から疾患関連知識を抽出するためのOCT支援概念蒸留アプローチ(OCT-CoDA)を提案する。
提案するOCT-CoDAは,臨床応用の可能性が高く,顕著な結果と解釈可能性を示した。
論文 参考訳(メタデータ) (2024-12-12T16:08:43Z) - Enhancing Retinal Disease Classification from OCTA Images via Active Learning Techniques [0.8035416719640156]
高齢のアメリカ人では眼疾患が一般的であり、視力や視力の低下につながることがある。
光コヒーレンス・トモグラフィ・アンギオグラフィー(OCTA)により、臨床医が網膜血管の高品質な画像を取得することができる画像技術の最近の進歩
OCTAは、一般的なOCT画像から得られる構造情報と比較して、詳細な血管画像を提供する。
論文 参考訳(メタデータ) (2024-07-21T23:24:49Z) - Fundus-Enhanced Disease-Aware Distillation Model for Retinal Disease
Classification from OCT Images [6.72159216082989]
OCT画像から網膜疾患分類のための基礎疾患対応蒸留モデルを提案する。
本フレームワークは, 未完成の眼底画像を用いて, OCTモデルを訓練中に強化する。
提案手法は網膜疾患分類のための単一モーダル,多モーダルおよび最先端蒸留法より優れている。
論文 参考訳(メタデータ) (2023-08-01T05:13:02Z) - Disruptive Autoencoders: Leveraging Low-level features for 3D Medical
Image Pre-training [51.16994853817024]
本研究は、3Dラジオグラフィ画像のための効果的な事前学習フレームワークの設計に焦点をあてる。
ローカルマスキングと低レベルの摂動の組み合わせによって生成された破壊から、オリジナルのイメージを再構築しようとする事前トレーニングフレームワークであるDisruptive Autoencodersを紹介する。
提案する事前トレーニングフレームワークは、複数のダウンストリームタスクでテストされ、最先端のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2023-07-31T17:59:42Z) - The Whole Pathological Slide Classification via Weakly Supervised
Learning [7.313528558452559]
細胞核疾患と病理タイルの空間的相関の2つの病因を考察した。
本研究では,抽出器訓練中の汚れ分離を利用したデータ拡張手法を提案する。
次に,隣接行列を用いてタイル間の空間的関係を記述する。
これら2つのビューを統合することで,H&E染色組織像を解析するためのマルチインスタンス・フレームワークを設計した。
論文 参考訳(メタデータ) (2023-07-12T16:14:23Z) - LVM-Med: Learning Large-Scale Self-Supervised Vision Models for Medical
Imaging via Second-order Graph Matching [59.01894976615714]
LVM-Medは、大規模医療データセットに基づいてトレーニングされた、最初のディープネットワークファミリーである。
55の公開データセットから約13万の医療画像を収集しました。
LVM-Medは、多くの最先端の教師付き、自己監督型、基礎モデルよりも経験的に優れている。
論文 参考訳(メタデータ) (2023-06-20T22:21:34Z) - Explaining Clinical Decision Support Systems in Medical Imaging using
Cycle-Consistent Activation Maximization [112.2628296775395]
ディープニューラルネットワークを用いた臨床意思決定支援は、着実に関心が高まりつつあるトピックとなっている。
臨床医は、その根底にある意思決定プロセスが不透明で理解しにくいため、この技術の採用をためらうことが多い。
そこで我々は,より小さなデータセットであっても,分類器決定の高品質な可視化を生成するCycleGANアクティベーションに基づく,新たな意思決定手法を提案する。
論文 参考訳(メタデータ) (2020-10-09T14:39:27Z) - Modeling and Enhancing Low-quality Retinal Fundus Images [167.02325845822276]
低画質の眼底画像は臨床観察における不確実性を高め、誤診のリスクを引き起こす。
本稿では,グローバルな劣化要因を抑えるために,臨床指向の基盤拡張ネットワーク(cofe-Net)を提案する。
合成画像と実画像の両方の実験により、我々のアルゴリズムは網膜の細部を失うことなく、低品質の眼底画像を効果的に補正することを示した。
論文 参考訳(メタデータ) (2020-05-12T08:01:16Z) - Pathological Retinal Region Segmentation From OCT Images Using Geometric
Relation Based Augmentation [84.7571086566595]
本稿では,幾何学と形状の内在的関係を共同で符号化することで,従来のGANベースの医用画像合成法よりも優れた手法を提案する。
提案手法は,取得手順の異なる画像を有する公開RETOUCHデータセット上で,最先端のセグメンテーション手法より優れている。
論文 参考訳(メタデータ) (2020-03-31T11:50:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。