論文の概要: Joint-Individual Fusion Structure with Fusion Attention Module for
Multi-Modal Skin Cancer Classification
- arxiv url: http://arxiv.org/abs/2312.04189v1
- Date: Thu, 7 Dec 2023 10:16:21 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-08 15:15:47.366989
- Title: Joint-Individual Fusion Structure with Fusion Attention Module for
Multi-Modal Skin Cancer Classification
- Title(参考訳): マルチモーダル皮膚癌分類のための核融合注意モジュールを用いた細胞融合構造
- Authors: Peng Tang, Xintong Yan, Yang Nan, Xiaobin Hu, Xiaobin Hu, Bjoern H
Menzee.Sebastian Krammer, Tobias Lasser
- Abstract要約: 皮膚がん分類のための皮膚画像と患者メタデータを組み合わせた新しい融合法を提案する。
まず,多モードデータの共有特徴を学習する統合個別融合(JIF)構造を提案する。
第2に、最も関連性の高い画像とメタデータ機能を強化する統合アテンション(FA)モジュールを導入する。
- 参考スコア(独自算出の注目度): 10.959827268372422
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Most convolutional neural network (CNN) based methods for skin cancer
classification obtain their results using only dermatological images. Although
good classification results have been shown, more accurate results can be
achieved by considering the patient's metadata, which is valuable clinical
information for dermatologists. Current methods only use the simple joint
fusion structure (FS) and fusion modules (FMs) for the multi-modal
classification methods, there still is room to increase the accuracy by
exploring more advanced FS and FM. Therefore, in this paper, we design a new
fusion method that combines dermatological images (dermoscopy images or
clinical images) and patient metadata for skin cancer classification from the
perspectives of FS and FM. First, we propose a joint-individual fusion (JIF)
structure that learns the shared features of multi-modality data and preserves
specific features simultaneously. Second, we introduce a fusion attention (FA)
module that enhances the most relevant image and metadata features based on
both the self and mutual attention mechanism to support the decision-making
pipeline. We compare the proposed JIF-MMFA method with other state-of-the-art
fusion methods on three different public datasets. The results show that our
JIF-MMFA method improves the classification results for all tested CNN
backbones and performs better than the other fusion methods on the three public
datasets, demonstrating our method's effectiveness and robustness
- Abstract(参考訳): 皮膚がん分類のためのほとんどの畳み込みニューラルネットワーク(CNN)は皮膚画像のみを用いて結果を得る。
良好な分類結果が得られたが,皮膚科医にとって貴重な臨床情報である患者のメタデータを考慮すれば,より正確な結果が得られる。
現在の手法では, 単純結合融合構造 (fs) と核融合モジュール (fms) をマルチモーダル分類法にのみ使用するが, より高度なfsとfmを探索することで精度を高める余地がある。
そこで本研究では,皮膚画像(皮膚内視鏡画像または臨床画像)と皮膚がん分類のための患者メタデータをFSとFMの観点から組み合わせた新しい融合法を考案した。
まず,マルチモダリティデータの共有特徴を学習し,その特徴を同時に保存するjif(joint-individual fusion)構造を提案する。
第2に,意思決定パイプラインを支援するために,自己と相互の注意機構に基づいて,最も関連性の高い画像とメタデータの機能を強化する融合注意(fa)モジュールを提案する。
JIF-MMFA法と他の3つの公開データセットの融合法との比較を行った。
JIF-MMFA法は,テスト対象のCNNバックボーンの分類結果を改善し,他の3つの公開データセットの融合法よりも優れた性能を示し,本手法の有効性と堅牢性を示した。
関連論文リスト
- Joint Multimodal Transformer for Emotion Recognition in the Wild [49.735299182004404]
マルチモーダル感情認識(MMER)システムは、通常、単調なシステムよりも優れている。
本稿では,キーベースのクロスアテンションと融合するために,ジョイントマルチモーダルトランス (JMT) を利用するMMER法を提案する。
論文 参考訳(メタデータ) (2024-03-15T17:23:38Z) - PE-MVCNet: Multi-view and Cross-modal Fusion Network for Pulmonary Embolism Prediction [4.659998272408215]
肺塞栓症(PE)の早期発見は、患者の生存率を高めるために重要である。
PE-MVCNetとよばれる多モード核融合法を提案する。
提案モデルは既存の手法より優れており, 単一のデータモダリティを用いたモデルと比較して, マルチモーダル融合モデルの方が優れていることを裏付けるものである。
論文 参考訳(メタデータ) (2024-02-27T03:53:27Z) - MultiFusionNet: Multilayer Multimodal Fusion of Deep Neural Networks for
Chest X-Ray Image Classification [16.479941416339265]
畳み込みニューラルネットワーク(CNN)を用いた自動システムは胸部X線画像分類の精度と効率を向上させることを約束している。
本稿では,異なる層から特徴を抽出し,それらを融合させる深層学習に基づく多層核融合モデルを提案する。
提案モデルでは,3クラス分類と2クラス分類の両方において,97.21%,99.60%の精度を実現している。
論文 参考訳(メタデータ) (2024-01-01T11:50:01Z) - Multi-task Explainable Skin Lesion Classification [54.76511683427566]
少ないラベル付きデータでよく一般化する皮膚病変に対する数発のショットベースアプローチを提案する。
提案手法は,アテンションモジュールや分類ネットワークとして機能するセグメンテーションネットワークの融合を含む。
論文 参考訳(メタデータ) (2023-10-11T05:49:47Z) - Three-Dimensional Medical Image Fusion with Deformable Cross-Attention [10.26573411162757]
マルチモーダル医療画像融合は、医療画像処理のいくつかの領域において重要な役割を担っている。
従来の融合法は、特徴を組み合わせて融合像を再構成する前に、それぞれのモダリティを独立して処理する傾向にある。
本研究では,これらの制限を是正するために設計された,革新的な教師なしの相互学習融合ネットワークを提案する。
論文 参考訳(メタデータ) (2023-10-10T04:10:56Z) - MLF-DET: Multi-Level Fusion for Cross-Modal 3D Object Detection [54.52102265418295]
MLF-DETと呼ばれる,高性能なクロスモーダル3DオブジェクトDrectionのための,新規かつ効果的なマルチレベルフュージョンネットワークを提案する。
特徴レベルの融合では、マルチスケールのボクセル特徴と画像の特徴を密集したマルチスケールのボクセル画像融合(MVI)モジュールを提示する。
本稿では,画像のセマンティクスを利用して検出候補の信頼度を補正するFCR(Feature-cued Confidence Rectification)モジュールを提案する。
論文 参考訳(メタデータ) (2023-07-18T11:26:02Z) - Equivariant Multi-Modality Image Fusion [124.11300001864579]
エンドツーエンドの自己教師型学習のための同変多モードImAge融合パラダイムを提案する。
我々のアプローチは、自然画像応答が特定の変換に等しくなるという以前の知識に根ざしている。
実験により、EMMAは赤外線可視画像と医用画像に高品質な融合結果をもたらすことが確認された。
論文 参考訳(メタデータ) (2023-05-19T05:50:24Z) - Ambiguous Medical Image Segmentation using Diffusion Models [60.378180265885945]
我々は,グループ洞察の分布を学習することで,複数の可算出力を生成する単一拡散モデルに基づくアプローチを提案する。
提案モデルでは,拡散の固有のサンプリングプロセスを利用してセグメンテーションマスクの分布を生成する。
その結果,提案手法は既存の最先端曖昧なセグメンテーションネットワークよりも優れていることがわかった。
論文 参考訳(メタデータ) (2023-04-10T17:58:22Z) - CIFF-Net: Contextual Image Feature Fusion for Melanoma Diagnosis [0.4129225533930966]
メラノーマは、皮膚がん死の75%程度の原因となる皮膚がんの致命的な変異であると考えられている。
メラノーマを診断するために、臨床医は同一患者の複数の皮膚病変を同時に評価し、比較する。
この同時多重画像比較法は,既存の深層学習方式では検討されていない。
論文 参考訳(メタデータ) (2023-03-07T06:16:10Z) - Multimodal Information Fusion for Glaucoma and DR Classification [1.5616442980374279]
複数の情報源からの情報を組み合わせることで、臨床医はより正確な判断をすることができる。
本稿では,網膜解析の課題を解決するために,ディープラーニングに基づく3つのマルチモーダル情報融合戦略について検討する。
論文 参考訳(メタデータ) (2022-09-02T12:19:03Z) - A Multi-Stage Attentive Transfer Learning Framework for Improving
COVID-19 Diagnosis [49.3704402041314]
新型コロナの診断を改善するための多段階集中移動学習フレームワークを提案する。
提案するフレームワークは、複数のソースタスクと異なるドメインのデータから知識を学習し、正確な診断モデルを訓練する3つの段階からなる。
本稿では,肺CT画像のマルチスケール表現を学習するための自己教師付き学習手法を提案する。
論文 参考訳(メタデータ) (2021-01-14T01:39:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。