論文の概要: Multimodal Information Fusion for Glaucoma and DR Classification
- arxiv url: http://arxiv.org/abs/2209.00979v1
- Date: Fri, 2 Sep 2022 12:19:03 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-05 12:20:45.055450
- Title: Multimodal Information Fusion for Glaucoma and DR Classification
- Title(参考訳): 緑内障のマルチモーダル情報融合とDR分類
- Authors: Yihao Li, Mostafa El Habib Daho, Pierre-Henri Conze, Hassan Al Hajj,
Sophie Bonnin, Hugang Ren, Niranchana Manivannan, Stephanie Magazzeni, Ramin
Tadayoni, B\'eatrice Cochener, Mathieu Lamard, Gwenol\'e Quellec
- Abstract要約: 複数の情報源からの情報を組み合わせることで、臨床医はより正確な判断をすることができる。
本稿では,網膜解析の課題を解決するために,ディープラーニングに基づく3つのマルチモーダル情報融合戦略について検討する。
- 参考スコア(独自算出の注目度): 1.5616442980374279
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multimodal information is frequently available in medical tasks. By combining
information from multiple sources, clinicians are able to make more accurate
judgments. In recent years, multiple imaging techniques have been used in
clinical practice for retinal analysis: 2D fundus photographs, 3D optical
coherence tomography (OCT) and 3D OCT angiography, etc. Our paper investigates
three multimodal information fusion strategies based on deep learning to solve
retinal analysis tasks: early fusion, intermediate fusion, and hierarchical
fusion. The commonly used early and intermediate fusions are simple but do not
fully exploit the complementary information between modalities. We developed a
hierarchical fusion approach that focuses on combining features across multiple
dimensions of the network, as well as exploring the correlation between
modalities. These approaches were applied to glaucoma and diabetic retinopathy
classification, using the public GAMMA dataset (fundus photographs and OCT) and
a private dataset of PlexElite 9000 (Carl Zeis Meditec Inc.) OCT angiography
acquisitions, respectively. Our hierarchical fusion method performed the best
in both cases and paved the way for better clinical diagnosis.
- Abstract(参考訳): マルチモーダル情報はしばしば医療業務で利用できる。
複数の情報源からの情報を組み合わせることで、臨床医はより正確な判断をすることができる。
近年,2次元眼底写真,3D光コヒーレンス断層撮影(OCT),3D OCTアンギオグラフィなど,網膜分析のための複数の画像技術が臨床応用されている。
本稿では,早期融合,中間融合,階層融合という網膜解析課題を解決するために,ディープラーニングに基づく3つのマルチモーダル情報融合戦略を検討する。
一般的に用いられるアーリー融合と中間融合は単純であるが、モダリティ間の相補的な情報を完全に活用していない。
我々は,ネットワークの多次元的特徴とモダリティ間の相関性を検討することに焦点を当てた階層的融合手法を開発した。
これらのアプローチを緑内障および糖尿病網膜症分類に応用し,公共GAMMAデータセットとPlexElite 9000 (Carl Zeis Meditec Inc.) OCTアンギオグラフィーの個人データセットを用いて検討した。
両症例とも階層的融合法が良好に機能し, 良好な臨床診断への道を開いた。
関連論文リスト
- An Attention-based Multi-Scale Feature Learning Network for Multimodal
Medical Image Fusion [24.415389503712596]
マルチモーダル医療画像は、医師が診断する患者についての豊富な情報を提供する可能性がある。
画像融合技術は、マルチモーダル画像からの補完情報を単一の画像に合成することができる。
医用画像融合タスクのための新しいDilated Residual Attention Networkを提案する。
論文 参考訳(メタデータ) (2022-12-09T04:19:43Z) - GAMMA Challenge:Glaucoma grAding from Multi-Modality imAges [48.98620387924817]
グラウコーマgAding from Multi-Modality imAges (GAMMA) Challenge を作成した。
この課題の主な課題は,2次元眼底画像と3D OCTスキャンボリュームから緑内障を診断することである。
緑内障のカラー写真と3D OCTボリュームを併用した緑内障アノテートデータセットを公表した。
論文 参考訳(メタデータ) (2022-02-14T06:54:15Z) - Mutual Attention-based Hybrid Dimensional Network for Multimodal Imaging
Computer-aided Diagnosis [4.657804635843888]
マルチモーダル3次元医用画像分類(MMNet)のための新しい相互注意型ハイブリッド次元ネットワークを提案する。
ハイブリッド次元ネットワークは2D CNNと3D畳み込みモジュールを統合し、より深くより情報的な特徴マップを生成する。
さらに,画像モダリティの異なる類似の立体視領域において,各領域の整合性を構築するために,ネットワーク内の相互注意フレームワークを設計する。
論文 参考訳(メタデータ) (2022-01-24T02:31:25Z) - Cross Modality 3D Navigation Using Reinforcement Learning and Neural
Style Transfer [3.0152753984876854]
本稿では,MARL(Multi-Agent Reinforcement Learning)を用いて,医用画像から3次元解剖学的ボリュームのナビゲーションを行う。
我々はニューラルスタイルトランスファーを用いて,合成CT(Computed Tomography)エージェントジム環境を作成する。
我々のフレームワークはラベル付き臨床データを一切必要とせず、複数の画像翻訳技術と容易に統合できる。
論文 参考訳(メタデータ) (2021-11-05T13:11:45Z) - SpineOne: A One-Stage Detection Framework for Degenerative Discs and
Vertebrae [54.751251046196494]
SpineOneと呼ばれる一段階検出フレームワークを提案し、MRIスライスから変性椎骨と椎骨を同時に局在化・分類する。
1)キーポイントの局所化と分類を促進するためのキーポイント・ヒートマップの新しい設計、2)ディスクと脊椎の表現をよりよく区別するためのアテンション・モジュールの使用、3)後期訓練段階における複数の学習目標を関連付けるための新しい勾配誘導客観的アソシエーション機構。
論文 参考訳(メタデータ) (2021-10-28T12:59:06Z) - Contextual Information Enhanced Convolutional Neural Networks for
Retinal Vessel Segmentation in Color Fundus Images [0.0]
自動網膜血管セグメンテーションシステムは、臨床診断及び眼科研究を効果的に促進することができる。
ディープラーニングベースの手法が提案され、いくつかのカスタマイズされたモジュールが有名なエンコーダデコーダアーキテクチャU-netに統合されている。
その結果,提案手法は先行技術よりも優れ,感性/リコール,F1スコア,MCCの最先端性能を実現している。
論文 参考訳(メタデータ) (2021-03-25T06:10:47Z) - Cross-Modal Information Maximization for Medical Imaging: CMIM [62.28852442561818]
病院では、同じ情報を異なるモダリティの下で利用できるようにする特定の情報システムにデータがサイロ化される。
これは、テスト時に常に利用できないかもしれない同じ情報の複数のビューを列車で取得し、使用するためのユニークな機会を提供する。
テスト時にモダリティの低下に耐性を持つマルチモーダル入力の優れた表現を学習することで、利用可能なデータを最大限活用する革新的なフレームワークを提案する。
論文 参考訳(メタデータ) (2020-10-20T20:05:35Z) - Explaining Clinical Decision Support Systems in Medical Imaging using
Cycle-Consistent Activation Maximization [112.2628296775395]
ディープニューラルネットワークを用いた臨床意思決定支援は、着実に関心が高まりつつあるトピックとなっている。
臨床医は、その根底にある意思決定プロセスが不透明で理解しにくいため、この技術の採用をためらうことが多い。
そこで我々は,より小さなデータセットであっても,分類器決定の高品質な可視化を生成するCycleGANアクティベーションに基づく,新たな意思決定手法を提案する。
論文 参考訳(メタデータ) (2020-10-09T14:39:27Z) - Learning Binary Semantic Embedding for Histology Image Classification
and Retrieval [56.34863511025423]
バイナリ・セマンティック・エンベディング(LBSE)の学習方法を提案する。
効率的な埋め込み、分類、検索を行い、組織像の解釈可能なコンピュータ支援診断を提供する。
3つのベンチマークデータセットで実施された実験は、様々なシナリオにおいてLBSEの優位性を検証する。
論文 参考訳(メタデータ) (2020-10-07T08:36:44Z) - A review: Deep learning for medical image segmentation using
multi-modality fusion [4.4259821861544]
マルチモダリティは、ターゲットについてのマルチ情報を提供することができるため、医用画像に広く用いられている。
ディープラーニングベースのアプローチでは、画像分類、セグメンテーション、オブジェクト検出、トラッキングタスクにおける最先端のパフォーマンスが提示されている。
本稿では,マルチモーダルな医用画像分割作業における深層学習に基づくアプローチの概要について述べる。
論文 参考訳(メタデータ) (2020-04-22T16:00:53Z) - Hi-Net: Hybrid-fusion Network for Multi-modal MR Image Synthesis [143.55901940771568]
マルチモーダルMR画像合成のためのHybrid-fusion Network(Hi-Net)を提案する。
当社のHi-Netでは,各モーダリティの表現を学習するために,モーダリティ特化ネットワークを用いている。
マルチモーダル合成ネットワークは、潜在表現と各モーダルの階層的特徴を密結合するように設計されている。
論文 参考訳(メタデータ) (2020-02-11T08:26:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。