論文の概要: Learning Two-Stream CNN for Multi-Modal Age-related Macular Degeneration
Categorization
- arxiv url: http://arxiv.org/abs/2012.01879v1
- Date: Thu, 3 Dec 2020 12:50:36 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-23 15:11:52.289732
- Title: Learning Two-Stream CNN for Multi-Modal Age-related Macular Degeneration
Categorization
- Title(参考訳): マルチモーダル年代関連黄斑変性分類のための2ストリームCNN学習
- Authors: Weisen Wang, Xirong Li, Zhiyan Xu, Weihong Yu, Jianchun Zhao, Dayong
Ding, Youxin Chen
- Abstract要約: 加齢関連黄斑変性症(AMD)は50歳以上では一般的な黄斑疾患である。
これまでの研究は、主にシングルモーダル入力によるAMD分類に焦点を当てていた。
対照的に,多モード入力によるAMD分類は臨床的に有意だがほとんど探索されていない方向である。
- 参考スコア(独自算出の注目度): 6.023239837661721
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper tackles automated categorization of Age-related Macular
Degeneration (AMD), a common macular disease among people over 50. Previous
research efforts mainly focus on AMD categorization with a single-modal input,
let it be a color fundus image or an OCT image. By contrast, we consider AMD
categorization given a multi-modal input, a direction that is clinically
meaningful yet mostly unexplored. Contrary to the prior art that takes a
traditional approach of feature extraction plus classifier training that cannot
be jointly optimized, we opt for end-to-end multi-modal Convolutional Neural
Networks (MM-CNN). Our MM-CNN is instantiated by a two-stream CNN, with
spatially-invariant fusion to combine information from the fundus and OCT
streams. In order to visually interpret the contribution of the individual
modalities to the final prediction, we extend the class activation mapping
(CAM) technique to the multi-modal scenario. For effective training of MM-CNN,
we develop two data augmentation methods. One is GAN-based fundus / OCT image
synthesis, with our novel use of CAMs as conditional input of a high-resolution
image-to-image translation GAN. The other method is Loose Pairing, which pairs
a fundus image and an OCT image on the basis of their classes instead of eye
identities. Experiments on a clinical dataset consisting of 1,099 color fundus
images and 1,290 OCT images acquired from 1,099 distinct eyes verify the
effectiveness of the proposed solution for multi-modal AMD categorization.
- Abstract(参考訳): 本稿では50歳以上の男性に共通する黄斑疾患である老化関連黄斑変性症(AMD)の自動分類に取り組む。
これまでの研究は主に、単モード入力によるamdの分類に焦点を当てており、カラーベースイメージやoctイメージとしていた。
対照的に,多モード入力によるAMD分類は臨床的に有意だがほとんど探索されていない方向である。
従来の特徴抽出と協調最適化ができない分類器トレーニングを取り入れた手法とは対照的に,我々はエンドツーエンドのマルチモーダル畳み込みニューラルネットワーク(MM-CNN)を選択する。
MM-CNNは2ストリームCNNでインスタンス化され,空間的不変な融合により基礎とCTストリームからの情報を組み合わせる。
最終的な予測に対する個々のモダリティの寄与を視覚的に解釈するために,クラスアクティベーションマッピング(CAM)手法をマルチモーダルシナリオに拡張する。
MM-CNNの効果的な訓練のために,2つのデータ拡張手法を開発した。
ひとつは、高分解能画像から画像への変換 GAN の条件入力として CAM を用いた GAN-based fundus / OCT 画像合成である。
もう1つの方法はルースペアリング(Loose Pairing)であり、眼の身元ではなく、クラスに基づいて基礎画像とCT画像をペアリングする。
1,099個の異なる眼から得られた1,099色眼底画像と1,290 oct画像からなる臨床データセットを用いた実験により,マルチモーダルamd分類法の有効性が検証された。
関連論文リスト
- Fundus-Enhanced Disease-Aware Distillation Model for Retinal Disease
Classification from OCT Images [6.72159216082989]
OCT画像から網膜疾患分類のための基礎疾患対応蒸留モデルを提案する。
本フレームワークは, 未完成の眼底画像を用いて, OCTモデルを訓練中に強化する。
提案手法は網膜疾患分類のための単一モーダル,多モーダルおよび最先端蒸留法より優れている。
論文 参考訳(メタデータ) (2023-08-01T05:13:02Z) - LVM-Med: Learning Large-Scale Self-Supervised Vision Models for Medical
Imaging via Second-order Graph Matching [59.01894976615714]
LVM-Medは、大規模医療データセットに基づいてトレーニングされた、最初のディープネットワークファミリーである。
55の公開データセットから約13万の医療画像を収集しました。
LVM-Medは、多くの最先端の教師付き、自己監督型、基礎モデルよりも経験的に優れている。
論文 参考訳(メタデータ) (2023-06-20T22:21:34Z) - AMIGO: Sparse Multi-Modal Graph Transformer with Shared-Context
Processing for Representation Learning of Giga-pixel Images [53.29794593104923]
本稿では,スライド病理像全体に対する共有コンテキスト処理の新たな概念を提案する。
AMIGOは、組織内のセルラーグラフを使用して、患者に単一の表現を提供する。
我々のモデルは、データの20%以下で同じ性能を達成できる程度に、欠落した情報に対して強い堅牢性を示す。
論文 参考訳(メタデータ) (2023-03-01T23:37:45Z) - Early Diagnosis of Retinal Blood Vessel Damage via Deep Learning-Powered
Collective Intelligence Models [0.3670422696827525]
Swarmアルゴリズムのパワーは、タスクに最適なモデルを提供するために、畳み込み層、プーリング層、正規化層の様々な組み合わせを探すために使用される。
最高のTDCNモデルは90.3%、AUC ROCは0.956、Cohenスコアは0.967である。
論文 参考訳(メタデータ) (2022-10-17T21:38:38Z) - Conversion Between CT and MRI Images Using Diffusion and Score-Matching
Models [7.745729132928934]
本稿では,拡散モデルとスコアマッチングモデルという,新たなディープラーニングフレームワークを提案する。
以上の結果から, 拡散およびスコアマッチングモデルにより, CNNおよびGANモデルよりも優れた合成CT画像が生成されることがわかった。
本研究は,相補的な画像モダリティを用いて得られた画像に基づいて高品質な画像を生成するために,拡散とスコアマッチングモデルが優れていることを示唆する。
論文 参考訳(メタデータ) (2022-09-24T23:50:54Z) - Harmonizing Pathological and Normal Pixels for Pseudo-healthy Synthesis [68.5287824124996]
そこで本研究では,新しいタイプの識別器であるセグメンタを提案し,病変の正確な特定と擬似健康画像の視覚的品質の向上を図っている。
医用画像強調に生成画像を適用し,低コントラスト問題に対処するために拡張結果を利用する。
BraTSのT2モダリティに関する総合的な実験により、提案手法は最先端の手法よりも大幅に優れていることが示された。
論文 参考訳(メタデータ) (2022-03-29T08:41:17Z) - Deep AUC Maximization for Medical Image Classification: Challenges and
Opportunities [60.079782224958414]
我々は、AUCによる新たな深層学習手法による機会と課題を提示し、議論する(別名、アンダーラインbfディープアンダーラインbfAUC分類)。
論文 参考訳(メタデータ) (2021-11-01T15:31:32Z) - A Unified Framework for Generalized Low-Shot Medical Image Segmentation
with Scarce Data [24.12765716392381]
距離距離距離距離学習(DML)に基づく医用画像分割の一般化のための統一的枠組みを提案する。
DMLでは,各カテゴリの多モード混合表現を学習し,画素の深層埋め込みとカテゴリ表現との間の余弦距離に基づいて密接な予測を行う。
脳MRIおよび腹部CTデータセットの実験において,提案手法は標準DNN(3D U-Net)法と古典的登録(ANT)法に対して,低ショットセグメンテーションにおいて優れた性能を示す。
論文 参考訳(メタデータ) (2021-10-18T13:01:06Z) - Multi-Modal Multi-Instance Learning for Retinal Disease Recognition [10.294738095942812]
我々は、特定の症例に対する複数の視覚障害を認識できるディープニューラルネットワークの構築を目指している。
データ取得と手動ラベリングは医療分野では非常に高価であるため、ネットワークは比較的軽量でなければならない。
論文 参考訳(メタデータ) (2021-09-25T08:16:47Z) - Retinopathy of Prematurity Stage Diagnosis Using Object Segmentation and
Convolutional Neural Networks [68.96150598294072]
未熟児網膜症(英: Retinopathy of Prematurity、ROP)は、主に体重の低い未熟児に影響を及ぼす眼疾患である。
網膜の血管の増殖を招き、視力喪失を招き、最終的には網膜剥離を招き、失明を引き起こす。
近年,ディープラーニングを用いて診断を自動化する試みが盛んに行われている。
本稿では,従来のモデルの成功を基盤として,オブジェクトセグメンテーションと畳み込みニューラルネットワーク(CNN)を組み合わせた新しいアーキテクチャを開発する。
提案システムでは,まず対象分割モデルを訓練し,画素レベルでの区切り線を識別し,その結果のマスクを追加の"カラー"チャネルとして付加する。
論文 参考訳(メタデータ) (2020-04-03T14:07:41Z) - Hi-Net: Hybrid-fusion Network for Multi-modal MR Image Synthesis [143.55901940771568]
マルチモーダルMR画像合成のためのHybrid-fusion Network(Hi-Net)を提案する。
当社のHi-Netでは,各モーダリティの表現を学習するために,モーダリティ特化ネットワークを用いている。
マルチモーダル合成ネットワークは、潜在表現と各モーダルの階層的特徴を密結合するように設計されている。
論文 参考訳(メタデータ) (2020-02-11T08:26:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。