論文の概要: A review of deep learning-based information fusion techniques for multimodal medical image classification
- arxiv url: http://arxiv.org/abs/2404.15022v1
- Date: Tue, 23 Apr 2024 13:31:18 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-24 13:51:55.439731
- Title: A review of deep learning-based information fusion techniques for multimodal medical image classification
- Title（参考訳）: 深層学習に基づくマルチモーダル医用画像分類のための情報融合手法の検討
- Authors: Yihao Li, Mostafa El Habib Daho, Pierre-Henri Conze, Rachid Zeghlache, Hugo Le Boité, Ramin Tadayoni, Béatrice Cochener, Mathieu Lamard, Gwenolé Quellec,
- Abstract要約: 深層学習に基づくマルチモーダル融合技術は、医用画像分類を改善する強力なツールとして登場した。
本総説では,深層学習に基づく医療分類タスクのためのマルチモーダルフュージョンの開発状況について概説する。
- 参考スコア（独自算出の注目度）: 1.996181818659251
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multimodal medical imaging plays a pivotal role in clinical diagnosis and research, as it combines information from various imaging modalities to provide a more comprehensive understanding of the underlying pathology. Recently, deep learning-based multimodal fusion techniques have emerged as powerful tools for improving medical image classification. This review offers a thorough analysis of the developments in deep learning-based multimodal fusion for medical classification tasks. We explore the complementary relationships among prevalent clinical modalities and outline three main fusion schemes for multimodal classification networks: input fusion, intermediate fusion (encompassing single-level fusion, hierarchical fusion, and attention-based fusion), and output fusion. By evaluating the performance of these fusion techniques, we provide insight into the suitability of different network architectures for various multimodal fusion scenarios and application domains. Furthermore, we delve into challenges related to network architecture selection, handling incomplete multimodal data management, and the potential limitations of multimodal fusion. Finally, we spotlight the promising future of Transformer-based multimodal fusion techniques and give recommendations for future research in this rapidly evolving field.
- Abstract（参考訳）: マルチモーダル・メディカル・イメージングは臨床診断と研究において重要な役割を担っている。
近年, 深層学習に基づくマルチモーダル融合技術が, 医用画像分類の改善のための強力なツールとして出現している。
本総説では,深層学習に基づく医療分類タスクのためのマルチモーダルフュージョンの開発状況について概説する。
本研究は,多モード分類網の3つの主要な融合スキーム,入力融合,中間核融合(単一レベル核融合,階層核融合,アテンションベース核融合)の相補的関係を考察する。
これらの融合技術の性能を評価することにより、様々なマルチモーダル融合シナリオやアプリケーションドメインに対する異なるネットワークアーキテクチャの適合性について考察する。
さらに,ネットワークアーキテクチャの選択,不完全なマルチモーダルデータ管理,およびマルチモーダル融合の潜在的な限界について検討する。
最後に,Transformerベースのマルチモーダル融合技術の将来を見極め,この急速に発展する分野での今後の研究を推奨する。
関連論文リスト
- Random Token Fusion for Multi-View Medical Diagnosis [2.3458652461211935]
多視点医療データセットでは、ディープラーニングモデルは診断性能を改善するために、異なる画像の観点から情報を融合することが多い。
既存のアプローチは過度に適合する傾向があり、ビュー固有の機能に大きく依存する。
本研究では,マルチビュー医療用トランスを用いた画像解析技術を提案する。
論文 参考訳（メタデータ） (2024-10-21T10:19:45Z) - A Systematic Review of Intermediate Fusion in Multimodal Deep Learning for Biomedical Applications [0.7831774233149619]
本研究は,生物医学的応用における現在の中間核融合法の解析と形式化を目的としている。
バイオメディカルドメインを超えて,これらの手法の理解と応用を高めるための構造的表記法を導入する。
我々の発見は、より高度で洞察に富んだマルチモーダルモデルの開発において、研究者、医療専門家、そしてより広範なディープラーニングコミュニティを支援することを目的としています。
論文 参考訳（メタデータ） (2024-08-02T11:48:04Z) - Automated Ensemble Multimodal Machine Learning for Healthcare [52.500923923797835]
本稿では,自動機械学習を用いた構造化臨床(タブラル)データと医用画像の統合を実現するマルチモーダルフレームワークAutoPrognosis-Mを紹介する。
AutoPrognosis-Mには、畳み込みニューラルネットワークとビジョントランスフォーマーを含む17のイメージングモデルと、3つの異なるマルチモーダル融合戦略が含まれている。
論文 参考訳（メタデータ） (2024-07-25T17:46:38Z) - Deep Equilibrium Multimodal Fusion [88.04713412107947]
多重モーダル融合は、複数のモーダルに存在する相補的な情報を統合し、近年多くの注目を集めている。
本稿では,動的多モード核融合プロセスの固定点を求めることにより,多モード核融合に対する新しいDeep equilibrium (DEQ)法を提案する。
BRCA,MM-IMDB,CMU-MOSI,SUN RGB-D,VQA-v2の実験により,DEC融合の優位性が示された。
論文 参考訳（メタデータ） (2023-06-29T03:02:20Z) - Multi-task Paired Masking with Alignment Modeling for Medical
Vision-Language Pre-training [55.56609500764344]
本稿では,マルチタスク・ペアド・マスキング・アライメント(MPMA)に基づく統合フレームワークを提案する。
また, メモリ拡張クロスモーダルフュージョン (MA-CMF) モジュールを導入し, 視覚情報を完全統合し, レポート再構築を支援する。
論文 参考訳（メタデータ） (2023-05-13T13:53:48Z) - An Attention-based Multi-Scale Feature Learning Network for Multimodal
Medical Image Fusion [24.415389503712596]
マルチモーダル医療画像は、医師が診断する患者についての豊富な情報を提供する可能性がある。
画像融合技術は、マルチモーダル画像からの補完情報を単一の画像に合成することができる。
医用画像融合タスクのための新しいDilated Residual Attention Networkを提案する。
論文 参考訳（メタデータ） (2022-12-09T04:19:43Z) - Multimodal Information Fusion for Glaucoma and DR Classification [1.5616442980374279]
複数の情報源からの情報を組み合わせることで、臨床医はより正確な判断をすることができる。
本稿では,網膜解析の課題を解決するために,ディープラーニングに基づく3つのマルチモーダル情報融合戦略について検討する。
論文 参考訳（メタデータ） (2022-09-02T12:19:03Z) - Hybrid Transformer with Multi-level Fusion for Multimodal Knowledge
Graph Completion [112.27103169303184]
マルチモーダル知識グラフ(MKG)は、視覚テキストの事実知識を整理する。
MKGformerは、マルチモーダルリンク予測、マルチモーダルRE、マルチモーダルNERの4つのデータセット上でSOTA性能を得ることができる。
論文 参考訳（メタデータ） (2022-05-04T23:40:04Z) - Multimodal Image Synthesis and Editing: The Generative AI Era [131.9569600472503]
マルチモーダル画像合成と編集は 近年 ホットな研究テーマになっている。
近年のマルチモーダル画像合成・編集の進歩を包括的に理解している。
ベンチマークデータセットと評価指標と,それに対応する実験結果について述べる。
論文 参考訳（メタデータ） (2021-12-27T10:00:16Z) - A review: Deep learning for medical image segmentation using
multi-modality fusion [4.4259821861544]
マルチモダリティは、ターゲットについてのマルチ情報を提供することができるため、医用画像に広く用いられている。
ディープラーニングベースのアプローチでは、画像分類、セグメンテーション、オブジェクト検出、トラッキングタスクにおける最先端のパフォーマンスが提示されている。
本稿では,マルチモーダルな医用画像分割作業における深層学習に基づくアプローチの概要について述べる。
論文 参考訳（メタデータ） (2020-04-22T16:00:53Z) - Robust Multimodal Brain Tumor Segmentation via Feature Disentanglement
and Gated Fusion [71.87627318863612]
画像モダリティの欠如に頑健な新しいマルチモーダルセグメンテーションフレームワークを提案する。
我々のネットワークは、入力モードをモダリティ固有の外観コードに分解するために、特徴不整合を用いる。
我々は,BRATSチャレンジデータセットを用いて,重要なマルチモーダル脳腫瘍セグメンテーション課題に対する本手法の有効性を検証した。
論文 参考訳（メタデータ） (2020-02-22T14:32:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。