論文の概要: Multimodal Information Fusion for Glaucoma and DR Classification
- arxiv url: http://arxiv.org/abs/2209.00979v1
- Date: Fri, 2 Sep 2022 12:19:03 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-05 12:20:45.055450
- Title: Multimodal Information Fusion for Glaucoma and DR Classification
- Title（参考訳）: 緑内障のマルチモーダル情報融合とDR分類
- Authors: Yihao Li, Mostafa El Habib Daho, Pierre-Henri Conze, Hassan Al Hajj,
Sophie Bonnin, Hugang Ren, Niranchana Manivannan, Stephanie Magazzeni, Ramin
Tadayoni, B\'eatrice Cochener, Mathieu Lamard, Gwenol\'e Quellec
- Abstract要約: 複数の情報源からの情報を組み合わせることで、臨床医はより正確な判断をすることができる。
本稿では,網膜解析の課題を解決するために,ディープラーニングに基づく3つのマルチモーダル情報融合戦略について検討する。
- 参考スコア（独自算出の注目度）: 1.5616442980374279
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multimodal information is frequently available in medical tasks. By combining
information from multiple sources, clinicians are able to make more accurate
judgments. In recent years, multiple imaging techniques have been used in
clinical practice for retinal analysis: 2D fundus photographs, 3D optical
coherence tomography (OCT) and 3D OCT angiography, etc. Our paper investigates
three multimodal information fusion strategies based on deep learning to solve
retinal analysis tasks: early fusion, intermediate fusion, and hierarchical
fusion. The commonly used early and intermediate fusions are simple but do not
fully exploit the complementary information between modalities. We developed a
hierarchical fusion approach that focuses on combining features across multiple
dimensions of the network, as well as exploring the correlation between
modalities. These approaches were applied to glaucoma and diabetic retinopathy
classification, using the public GAMMA dataset (fundus photographs and OCT) and
a private dataset of PlexElite 9000 (Carl Zeis Meditec Inc.) OCT angiography
acquisitions, respectively. Our hierarchical fusion method performed the best
in both cases and paved the way for better clinical diagnosis.
- Abstract（参考訳）: マルチモーダル情報はしばしば医療業務で利用できる。
複数の情報源からの情報を組み合わせることで、臨床医はより正確な判断をすることができる。
近年,2次元眼底写真,3D光コヒーレンス断層撮影(OCT),3D OCTアンギオグラフィなど,網膜分析のための複数の画像技術が臨床応用されている。
本稿では,早期融合,中間融合,階層融合という網膜解析課題を解決するために,ディープラーニングに基づく3つのマルチモーダル情報融合戦略を検討する。
一般的に用いられるアーリー融合と中間融合は単純であるが、モダリティ間の相補的な情報を完全に活用していない。
我々は,ネットワークの多次元的特徴とモダリティ間の相関性を検討することに焦点を当てた階層的融合手法を開発した。
これらのアプローチを緑内障および糖尿病網膜症分類に応用し,公共GAMMAデータセットとPlexElite 9000 (Carl Zeis Meditec Inc.) OCTアンギオグラフィーの個人データセットを用いて検討した。
両症例とも階層的融合法が良好に機能し, 良好な臨床診断への道を開いた。
関連論文リスト
- Autoregressive Sequence Modeling for 3D Medical Image Representation [48.706230961589924]
本稿では, 自己回帰シーケンス事前学習フレームワークを用いて, 3次元医用画像表現を学習するための先駆的手法を提案する。
我々は,空間的,コントラスト的,意味的相関に基づく様々な3次元医用画像にアプローチし,トークンシーケンス内の相互接続された視覚トークンとして扱う。
論文 参考訳（メタデータ） (2024-09-13T10:19:10Z) - A review of deep learning-based information fusion techniques for multimodal medical image classification [1.996181818659251]
深層学習に基づくマルチモーダル融合技術は、医用画像分類を改善する強力なツールとして登場した。
本総説では,深層学習に基づく医療分類タスクのためのマルチモーダルフュージョンの開発状況について概説する。
論文 参考訳（メタデータ） (2024-04-23T13:31:18Z) - Eye-gaze Guided Multi-modal Alignment for Medical Representation Learning [65.54680361074882]
アイゲイズガイドマルチモーダルアライメント(EGMA)フレームワークは、アイゲイズデータを利用して、医用視覚的特徴とテキスト的特徴のアライメントを改善する。
我々は4つの医療データセット上で画像分類と画像テキスト検索の下流タスクを行う。
論文 参考訳（メタデータ） (2024-03-19T03:59:14Z) - A New Multimodal Medical Image Fusion based on Laplacian Autoencoder
with Channel Attention [3.1531360678320897]
ディープラーニングモデルは、非常に堅牢で正確なパフォーマンスでエンドツーエンドの画像融合を実現した。
ほとんどのDLベースの融合モデルは、学習可能なパラメータや計算量を最小限に抑えるために、入力画像上でダウンサンプリングを行う。
本稿では,ラープラシア・ガウス統合とアテンションプールを融合したマルチモーダル医用画像融合モデルを提案する。
論文 参考訳（メタデータ） (2023-10-18T11:29:53Z) - Three-Dimensional Medical Image Fusion with Deformable Cross-Attention [10.26573411162757]
マルチモーダル医療画像融合は、医療画像処理のいくつかの領域において重要な役割を担っている。
従来の融合法は、特徴を組み合わせて融合像を再構成する前に、それぞれのモダリティを独立して処理する傾向にある。
本研究では,これらの制限を是正するために設計された,革新的な教師なしの相互学習融合ネットワークを提案する。
論文 参考訳（メタデータ） (2023-10-10T04:10:56Z) - Multi-View Vertebra Localization and Identification from CT Images [57.56509107412658]
我々は,CT画像からの多視点椎体局在と同定を提案する。
本研究では,3次元問題を異なる視点における2次元局所化および識別タスクに変換する。
本手法は,多視点グローバル情報を自然に学習することができる。
論文 参考訳（メタデータ） (2023-07-24T14:43:07Z) - LVM-Med: Learning Large-Scale Self-Supervised Vision Models for Medical
Imaging via Second-order Graph Matching [59.01894976615714]
LVM-Medは、大規模医療データセットに基づいてトレーニングされた、最初のディープネットワークファミリーである。
55の公開データセットから約13万の医療画像を収集しました。
LVM-Medは、多くの最先端の教師付き、自己監督型、基礎モデルよりも経験的に優れている。
論文 参考訳（メタデータ） (2023-06-20T22:21:34Z) - M$^{2}$SNet: Multi-scale in Multi-scale Subtraction Network for Medical
Image Segmentation [73.10707675345253]
医用画像から多様なセグメンテーションを仕上げるマルチスケールサブトラクションネットワーク(M$2$SNet)を提案する。
本手法は,4つの異なる医用画像セグメンテーションタスクの11つのデータセットに対して,異なる評価基準の下で,ほとんどの最先端手法に対して好意的に機能する。
論文 参考訳（メタデータ） (2023-03-20T06:26:49Z) - An Attention-based Multi-Scale Feature Learning Network for Multimodal
Medical Image Fusion [24.415389503712596]
マルチモーダル医療画像は、医師が診断する患者についての豊富な情報を提供する可能性がある。
画像融合技術は、マルチモーダル画像からの補完情報を単一の画像に合成することができる。
医用画像融合タスクのための新しいDilated Residual Attention Networkを提案する。
論文 参考訳（メタデータ） (2022-12-09T04:19:43Z) - Cross-Modal Information Maximization for Medical Imaging: CMIM [62.28852442561818]
病院では、同じ情報を異なるモダリティの下で利用できるようにする特定の情報システムにデータがサイロ化される。
これは、テスト時に常に利用できないかもしれない同じ情報の複数のビューを列車で取得し、使用するためのユニークな機会を提供する。
テスト時にモダリティの低下に耐性を持つマルチモーダル入力の優れた表現を学習することで、利用可能なデータを最大限活用する革新的なフレームワークを提案する。
論文 参考訳（メタデータ） (2020-10-20T20:05:35Z) - A review: Deep learning for medical image segmentation using
multi-modality fusion [4.4259821861544]
マルチモダリティは、ターゲットについてのマルチ情報を提供することができるため、医用画像に広く用いられている。
ディープラーニングベースのアプローチでは、画像分類、セグメンテーション、オブジェクト検出、トラッキングタスクにおける最先端のパフォーマンスが提示されている。
本稿では,マルチモーダルな医用画像分割作業における深層学習に基づくアプローチの概要について述べる。
論文 参考訳（メタデータ） (2020-04-22T16:00:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。