論文の概要: Multimodal Fusion Learning with Dual Attention for Medical Imaging

• arxiv url: http://arxiv.org/abs/2412.01248v1
• Date: Mon, 02 Dec 2024 08:11:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:45:18.756475
• Title: Multimodal Fusion Learning with Dual Attention for Medical Imaging
• Title（参考訳）: 医用イメージングのためのデュアルアテンションを用いたマルチモーダル核融合学習
• Authors: Joy Dhar, Nayyar Zaidi, Maryam Haghighat, Puneet Goyal, Sudipta Roy, Azadeh Alavi, Vikas Kumar,
• Abstract要約: マルチモーダル・フュージョン・ラーニングは皮膚癌や脳腫瘍など様々な疾患の分類において有望である。 既存のメソッドには3つの重要な制限がある。 DRIFAは、ディープニューラルネットワークと統合することができ、DRIFA-Netと呼ばれるマルチモーダル融合学習フレームワークを形成する。
• 参考スコア（独自算出の注目度）: 8.74917075651321
• License:
• Abstract: Multimodal fusion learning has shown significant promise in classifying various diseases such as skin cancer and brain tumors. However, existing methods face three key limitations. First, they often lack generalizability to other diagnosis tasks due to their focus on a particular disease. Second, they do not fully leverage multiple health records from diverse modalities to learn robust complementary information. And finally, they typically rely on a single attention mechanism, missing the benefits of multiple attention strategies within and across various modalities. To address these issues, this paper proposes a dual robust information fusion attention mechanism (DRIFA) that leverages two attention modules, i.e. multi-branch fusion attention module and the multimodal information fusion attention module. DRIFA can be integrated with any deep neural network, forming a multimodal fusion learning framework denoted as DRIFA-Net. We show that the multi-branch fusion attention of DRIFA learns enhanced representations for each modality, such as dermoscopy, pap smear, MRI, and CT-scan, whereas multimodal information fusion attention module learns more refined multimodal shared representations, improving the network's generalization across multiple tasks and enhancing overall performance. Additionally, to estimate the uncertainty of DRIFA-Net predictions, we have employed an ensemble Monte Carlo dropout strategy. Extensive experiments on five publicly available datasets with diverse modalities demonstrate that our approach consistently outperforms state-of-the-art methods. The code is available at https://github.com/misti1203/DRIFA-Net.
• Abstract（参考訳）: マルチモーダル・フュージョン・ラーニングは皮膚癌や脳腫瘍など様々な疾患の分類において有望である。 しかし、既存の手法には3つの重要な制限がある。 第一に、それらは特定の疾患に焦点を当てているため、他の診断タスクに対する一般化性に欠けることが多い。 第2に、さまざまなモダリティから複数の健康記録を完全に活用して、堅牢な相補的な情報を学ぶことはできない。 そして最後に、それらは一般的に単一の注意機構に依存しており、様々なモダリティの中で複数の注意戦略の利点を欠いている。 これらの課題に対処するために,マルチブランチ・フュージョン・アテンション・モジュールとマルチモーダル・インフォメーション・アテンション・モジュールの2つのアテンション・モジュールを利用するデュアルロバスト・インフォメーション・アテンション・アテンション・メカニズム(DRIFA)を提案する。 DRIFAは、ディープニューラルネットワークと統合することができ、DRIFA-Netと呼ばれるマルチモーダル融合学習フレームワークを形成する。 DRIFAのマルチブランチ・フュージョン・アテンション(マルチブランチ・フュージョン・アテンション・アテンション・アテンション・アテンション・アテンション・アテンション・アテンション・アテンション・アテンション・アテンション・アテンション・アテンション・アテンション・アテンション・アテンション・アテンション・アテンション・アテンション・アテンション・アテンション・アテンション・アテンション・アテンション・アテンション・アテンション・アテンション・アテンション・アテンション・アテンション・インテンション・アテンション・アテンション・アテンション・インテンション・アテンション・アテンション・インテンション・アテンション・アテンション)は、皮膚鏡、パップ・スミア、MRI、MRI、MRI、CT、CT、CT、CT、CT、CT、CT、CTといった各モダリティの表現を学習する。 さらに、DRIFA-Net予測の不確実性を推定するために、モンテカルロのドロップアウト戦略をアンサンブル化した。 様々なモダリティを持つ5つの公開データセットに対する大規模な実験は、我々のアプローチが常に最先端の手法より優れていることを示している。 コードはhttps://github.com/misti1203/DRIFA-Netで公開されている。

関連論文リスト

• Deep Multimodal Collaborative Learning for Polyp Re-Identification [4.4028428688691905]
  大腸内視鏡によるポリープ再同定は、大きなギャラリーの同じポリープと異なるカメラで撮影された異なるビューの画像とを一致させることを目的としている。 ImageNetデータセットでトレーニングされたCNNモデルを直接適用する従来のオブジェクトReIDの手法は、不満足な検索性能をもたらす。 本稿では,ポリプ再同定のためのDMCLという新しい多モーダル協調学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-12T04:05:19Z)
• Automated Ensemble Multimodal Machine Learning for Healthcare [52.500923923797835]
  本稿では,自動機械学習を用いた構造化臨床(タブラル)データと医用画像の統合を実現するマルチモーダルフレームワークAutoPrognosis-Mを紹介する。 AutoPrognosis-Mには、畳み込みニューラルネットワークとビジョントランスフォーマーを含む17のイメージングモデルと、3つの異なるマルチモーダル融合戦略が含まれている。
  論文  参考訳（メタデータ） (2024-07-25T17:46:38Z)
• Modality-Aware and Shift Mixer for Multi-modal Brain Tumor Segmentation [12.094890186803958]
  マルチモーダル画像のモダリティ内依存性とモダリティ間依存性を統合した新しいModality Aware and Shift Mixerを提案する。 具体的には,低レベルのモザイク対関係をモデル化するためのニューロイメージング研究に基づいてModality-Awareモジュールを導入し,モザイクパターンを具体化したModality-Shiftモジュールを開発し,高レベルのモザイク間の複雑な関係を自己注意を通して探索する。
  論文  参考訳（メタデータ） (2024-03-04T14:21:51Z)
• Deep Equilibrium Multimodal Fusion [88.04713412107947]
  多重モーダル融合は、複数のモーダルに存在する相補的な情報を統合し、近年多くの注目を集めている。 本稿では,動的多モード核融合プロセスの固定点を求めることにより,多モード核融合に対する新しいDeep equilibrium (DEQ)法を提案する。 BRCA,MM-IMDB,CMU-MOSI,SUN RGB-D,VQA-v2の実験により,DEC融合の優位性が示された。
  論文  参考訳（メタデータ） (2023-06-29T03:02:20Z)
• Multimodal Multi-Head Convolutional Attention with Various Kernel Sizes for Medical Image Super-Resolution [56.622832383316215]
  超解像CTおよびMRIスキャンのための新しいマルチヘッド畳み込みアテンションモジュールを提案する。 我々の注目モジュールは、畳み込み操作を用いて、複数の入力テンソルに対して共同的な空間チャネルアテンションを行う。 それぞれの頭部は空間的注意に対する特定の減少率に応じた受容野の大きさの異なる複数の注意ヘッドを導入している。
  論文  参考訳（メタデータ） (2022-04-08T07:56:55Z)
• A Multi-View Dynamic Fusion Framework: How to Improve the Multimodal Brain Tumor Segmentation from Multi-Views? [5.793853101758628]
  本稿では,脳腫瘍セグメンテーションの性能向上を目的としたマルチビューダイナミックフュージョンフレームワークを提案する。 BRATS 2015とBRATS 2018で提案されたフレームワークを評価することで、マルチビューからの融合結果が単一ビューからのセグメンテーション結果よりも優れたパフォーマンスを達成できることが分かります。
  論文  参考訳（メタデータ） (2020-12-21T09:45:23Z)
• M2Net: Multi-modal Multi-channel Network for Overall Survival Time Prediction of Brain Tumor Patients [151.4352001822956]
  生存時間(OS)の早期かつ正確な予測は、脳腫瘍患者に対するより良い治療計画を得るのに役立つ。 既存の予測手法は、磁気共鳴(MR)ボリュームの局所的な病変領域における放射能特性に依存している。 我々は,マルチモーダルマルチチャネルネットワーク(M2Net)のエンドツーエンドOS時間予測モデルを提案する。
  論文  参考訳（メタデータ） (2020-06-01T05:21:37Z)
• Robust Multimodal Brain Tumor Segmentation via Feature Disentanglement and Gated Fusion [71.87627318863612]
  画像モダリティの欠如に頑健な新しいマルチモーダルセグメンテーションフレームワークを提案する。 我々のネットワークは、入力モードをモダリティ固有の外観コードに分解するために、特徴不整合を用いる。 我々は,BRATSチャレンジデータセットを用いて,重要なマルチモーダル脳腫瘍セグメンテーション課題に対する本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2020-02-22T14:32:04Z)
• Unpaired Multi-modal Segmentation via Knowledge Distillation [77.39798870702174]
  本稿では,不対向画像分割のための新しい学習手法を提案する。 提案手法では,CTおよびMRI間での畳み込みカーネルの共有により,ネットワークパラメータを多用する。 我々は2つの多クラスセグメンテーション問題に対するアプローチを広範囲に検証した。
  論文  参考訳（メタデータ） (2020-01-06T20:03:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。