論文の概要: Learning Two-Stream CNN for Multi-Modal Age-related Macular Degeneration Categorization

• arxiv url: http://arxiv.org/abs/2012.01879v1
• Date: Thu, 3 Dec 2020 12:50:36 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-23 15:11:52.289732
• Title: Learning Two-Stream CNN for Multi-Modal Age-related Macular Degeneration Categorization
• Title（参考訳）: マルチモーダル年代関連黄斑変性分類のための2ストリームCNN学習
• Authors: Weisen Wang, Xirong Li, Zhiyan Xu, Weihong Yu, Jianchun Zhao, Dayong Ding, Youxin Chen
• Abstract要約: 加齢関連黄斑変性症(AMD)は50歳以上では一般的な黄斑疾患である。 これまでの研究は、主にシングルモーダル入力によるAMD分類に焦点を当てていた。 対照的に,多モード入力によるAMD分類は臨床的に有意だがほとんど探索されていない方向である。
• 参考スコア（独自算出の注目度）: 6.023239837661721
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper tackles automated categorization of Age-related Macular Degeneration (AMD), a common macular disease among people over 50. Previous research efforts mainly focus on AMD categorization with a single-modal input, let it be a color fundus image or an OCT image. By contrast, we consider AMD categorization given a multi-modal input, a direction that is clinically meaningful yet mostly unexplored. Contrary to the prior art that takes a traditional approach of feature extraction plus classifier training that cannot be jointly optimized, we opt for end-to-end multi-modal Convolutional Neural Networks (MM-CNN). Our MM-CNN is instantiated by a two-stream CNN, with spatially-invariant fusion to combine information from the fundus and OCT streams. In order to visually interpret the contribution of the individual modalities to the final prediction, we extend the class activation mapping (CAM) technique to the multi-modal scenario. For effective training of MM-CNN, we develop two data augmentation methods. One is GAN-based fundus / OCT image synthesis, with our novel use of CAMs as conditional input of a high-resolution image-to-image translation GAN. The other method is Loose Pairing, which pairs a fundus image and an OCT image on the basis of their classes instead of eye identities. Experiments on a clinical dataset consisting of 1,099 color fundus images and 1,290 OCT images acquired from 1,099 distinct eyes verify the effectiveness of the proposed solution for multi-modal AMD categorization.
• Abstract（参考訳）: 本稿では50歳以上の男性に共通する黄斑疾患である老化関連黄斑変性症(AMD)の自動分類に取り組む。 これまでの研究は主に、単モード入力によるamdの分類に焦点を当てており、カラーベースイメージやoctイメージとしていた。 対照的に,多モード入力によるAMD分類は臨床的に有意だがほとんど探索されていない方向である。 従来の特徴抽出と協調最適化ができない分類器トレーニングを取り入れた手法とは対照的に,我々はエンドツーエンドのマルチモーダル畳み込みニューラルネットワーク(MM-CNN)を選択する。 MM-CNNは2ストリームCNNでインスタンス化され,空間的不変な融合により基礎とCTストリームからの情報を組み合わせる。 最終的な予測に対する個々のモダリティの寄与を視覚的に解釈するために,クラスアクティベーションマッピング(CAM)手法をマルチモーダルシナリオに拡張する。 MM-CNNの効果的な訓練のために,2つのデータ拡張手法を開発した。 ひとつは、高分解能画像から画像への変換 GAN の条件入力として CAM を用いた GAN-based fundus / OCT 画像合成である。 もう1つの方法はルースペアリング(Loose Pairing)であり、眼の身元ではなく、クラスに基づいて基礎画像とCT画像をペアリングする。 1,099個の異なる眼から得られた1,099色眼底画像と1,290 oct画像からなる臨床データセットを用いた実験により,マルチモーダルamd分類法の有効性が検証された。

関連論文リスト

• MM-UNet: A Mixed MLP Architecture for Improved Ophthalmic Image Segmentation [3.2846676620336632]
  眼科画像分割は眼疾患の診断において重要な基礎となる。 トランスフォーマーベースのモデルはこれらの制限に対処するが、かなりの計算オーバーヘッドをもたらす。 本稿では,眼内画像分割に適したMixedモデルであるMM-UNetを紹介する。
  論文  参考訳（メタデータ） (2024-08-16T08:34:50Z)
• Generative artificial intelligence in ophthalmology: multimodal retinal images for the diagnosis of Alzheimer's disease with convolutional neural networks [0.0]
  本研究の目的は,マルチモーダル網膜イメージングと畳み込みニューラルネットワーク(CNN)を用いたアミロイドポジトロンCT(AmyloidPET)の現状予測である。 Denoising Diffusion Probabilistic Models (DDPM) は合成画像を生成するために訓練された。 単調なCNNは合成データで事前訓練され、実際のデータで微調整されたり、実際のデータでのみ訓練された。
  論文  参考訳（メタデータ） (2024-06-26T10:49:26Z)
• Enhance Image Classification via Inter-Class Image Mixup with Diffusion Model [80.61157097223058]
  画像分類性能を高めるための一般的な戦略は、T2Iモデルによって生成された合成画像でトレーニングセットを増強することである。 本研究では,既存のデータ拡張技術の欠点について検討する。 Diff-Mixと呼ばれる革新的なクラス間データ拡張手法を導入する。
  論文  参考訳（メタデータ） (2024-03-28T17:23:45Z)
• Adapting Visual-Language Models for Generalizable Anomaly Detection in Medical Images [68.42215385041114]
  本稿では,CLIPモデルを用いた医用異常検出のための軽量な多レベル適応と比較フレームワークを提案する。 提案手法では,複数の残像アダプタを事前学習した視覚エンコーダに統合し,視覚的特徴の段階的向上を実現する。 医学的異常検出ベンチマーク実験により,本手法が現在の最先端モデルを大幅に上回っていることが示された。
  論文  参考訳（メタデータ） (2024-03-19T09:28:19Z)
• Fundus-Enhanced Disease-Aware Distillation Model for Retinal Disease Classification from OCT Images [6.72159216082989]
  OCT画像から網膜疾患分類のための基礎疾患対応蒸留モデルを提案する。 本フレームワークは, 未完成の眼底画像を用いて, OCTモデルを訓練中に強化する。 提案手法は網膜疾患分類のための単一モーダル,多モーダルおよび最先端蒸留法より優れている。
  論文  参考訳（メタデータ） (2023-08-01T05:13:02Z)
• LVM-Med: Learning Large-Scale Self-Supervised Vision Models for Medical Imaging via Second-order Graph Matching [59.01894976615714]
  LVM-Medは、大規模医療データセットに基づいてトレーニングされた、最初のディープネットワークファミリーである。 55の公開データセットから約13万の医療画像を収集しました。 LVM-Medは、多くの最先端の教師付き、自己監督型、基礎モデルよりも経験的に優れている。
  論文  参考訳（メタデータ） (2023-06-20T22:21:34Z)
• AMIGO: Sparse Multi-Modal Graph Transformer with Shared-Context Processing for Representation Learning of Giga-pixel Images [53.29794593104923]
  本稿では,スライド病理像全体に対する共有コンテキスト処理の新たな概念を提案する。 AMIGOは、組織内のセルラーグラフを使用して、患者に単一の表現を提供する。 我々のモデルは、データの20%以下で同じ性能を達成できる程度に、欠落した情報に対して強い堅牢性を示す。
  論文  参考訳（メタデータ） (2023-03-01T23:37:45Z)
• Early Diagnosis of Retinal Blood Vessel Damage via Deep Learning-Powered Collective Intelligence Models [0.3670422696827525]
  Swarmアルゴリズムのパワーは、タスクに最適なモデルを提供するために、畳み込み層、プーリング層、正規化層の様々な組み合わせを探すために使用される。 最高のTDCNモデルは90.3%、AUC ROCは0.956、Cohenスコアは0.967である。
  論文  参考訳（メタデータ） (2022-10-17T21:38:38Z)
• Harmonizing Pathological and Normal Pixels for Pseudo-healthy Synthesis [68.5287824124996]
  そこで本研究では,新しいタイプの識別器であるセグメンタを提案し,病変の正確な特定と擬似健康画像の視覚的品質の向上を図っている。 医用画像強調に生成画像を適用し,低コントラスト問題に対処するために拡張結果を利用する。 BraTSのT2モダリティに関する総合的な実験により、提案手法は最先端の手法よりも大幅に優れていることが示された。
  論文  参考訳（メタデータ） (2022-03-29T08:41:17Z)
• A Unified Framework for Generalized Low-Shot Medical Image Segmentation with Scarce Data [24.12765716392381]
  距離距離距離距離学習(DML)に基づく医用画像分割の一般化のための統一的枠組みを提案する。 DMLでは,各カテゴリの多モード混合表現を学習し,画素の深層埋め込みとカテゴリ表現との間の余弦距離に基づいて密接な予測を行う。 脳MRIおよび腹部CTデータセットの実験において,提案手法は標準DNN(3D U-Net)法と古典的登録(ANT)法に対して,低ショットセグメンテーションにおいて優れた性能を示す。
  論文  参考訳（メタデータ） (2021-10-18T13:01:06Z)
• Hi-Net: Hybrid-fusion Network for Multi-modal MR Image Synthesis [143.55901940771568]
  マルチモーダルMR画像合成のためのHybrid-fusion Network(Hi-Net)を提案する。 当社のHi-Netでは,各モーダリティの表現を学習するために,モーダリティ特化ネットワークを用いている。 マルチモーダル合成ネットワークは、潜在表現と各モーダルの階層的特徴を密結合するように設計されている。
  論文  参考訳（メタデータ） (2020-02-11T08:26:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。