論文の概要: Joint-Individual Fusion Structure with Fusion Attention Module for
Multi-Modal Skin Cancer Classification
- arxiv url: http://arxiv.org/abs/2312.04189v1
- Date: Thu, 7 Dec 2023 10:16:21 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-08 15:15:47.366989
- Title: Joint-Individual Fusion Structure with Fusion Attention Module for
Multi-Modal Skin Cancer Classification
- Title（参考訳）: マルチモーダル皮膚癌分類のための核融合注意モジュールを用いた細胞融合構造
- Authors: Peng Tang, Xintong Yan, Yang Nan, Xiaobin Hu, Xiaobin Hu, Bjoern H
Menzee.Sebastian Krammer, Tobias Lasser
- Abstract要約: 皮膚がん分類のための皮膚画像と患者メタデータを組み合わせた新しい融合法を提案する。
まず,多モードデータの共有特徴を学習する統合個別融合(JIF)構造を提案する。
第2に、最も関連性の高い画像とメタデータ機能を強化する統合アテンション(FA)モジュールを導入する。
- 参考スコア（独自算出の注目度）: 10.959827268372422
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Most convolutional neural network (CNN) based methods for skin cancer
classification obtain their results using only dermatological images. Although
good classification results have been shown, more accurate results can be
achieved by considering the patient's metadata, which is valuable clinical
information for dermatologists. Current methods only use the simple joint
fusion structure (FS) and fusion modules (FMs) for the multi-modal
classification methods, there still is room to increase the accuracy by
exploring more advanced FS and FM. Therefore, in this paper, we design a new
fusion method that combines dermatological images (dermoscopy images or
clinical images) and patient metadata for skin cancer classification from the
perspectives of FS and FM. First, we propose a joint-individual fusion (JIF)
structure that learns the shared features of multi-modality data and preserves
specific features simultaneously. Second, we introduce a fusion attention (FA)
module that enhances the most relevant image and metadata features based on
both the self and mutual attention mechanism to support the decision-making
pipeline. We compare the proposed JIF-MMFA method with other state-of-the-art
fusion methods on three different public datasets. The results show that our
JIF-MMFA method improves the classification results for all tested CNN
backbones and performs better than the other fusion methods on the three public
datasets, demonstrating our method's effectiveness and robustness
- Abstract（参考訳）: 皮膚がん分類のためのほとんどの畳み込みニューラルネットワーク(CNN)は皮膚画像のみを用いて結果を得る。
良好な分類結果が得られたが,皮膚科医にとって貴重な臨床情報である患者のメタデータを考慮すれば,より正確な結果が得られる。
現在の手法では, 単純結合融合構造 (fs) と核融合モジュール (fms) をマルチモーダル分類法にのみ使用するが, より高度なfsとfmを探索することで精度を高める余地がある。
そこで本研究では,皮膚画像(皮膚内視鏡画像または臨床画像)と皮膚がん分類のための患者メタデータをFSとFMの観点から組み合わせた新しい融合法を考案した。
まず,マルチモダリティデータの共有特徴を学習し,その特徴を同時に保存するjif(joint-individual fusion)構造を提案する。
第2に,意思決定パイプラインを支援するために,自己と相互の注意機構に基づいて,最も関連性の高い画像とメタデータの機能を強化する融合注意(fa)モジュールを提案する。
JIF-MMFA法と他の3つの公開データセットの融合法との比較を行った。
JIF-MMFA法は,テスト対象のCNNバックボーンの分類結果を改善し,他の3つの公開データセットの融合法よりも優れた性能を示し,本手法の有効性と堅牢性を示した。
関連論文リスト
- Fuse4Seg: Image-Level Fusion Based Multi-Modality Medical Image Segmentation [13.497613339200184]
現在の機能レベルの融合戦略は、セマンティックな不整合やミスアライメントを引き起こす傾向がある、と我々は主張する。
画像レベルでの融合に基づく新しい医用画像分割法Fuse4Segを提案する。
得られた融合画像は、すべてのモダリティからの情報を正確にアマルガメートするコヒーレントな表現である。
論文 参考訳（メタデータ） (2024-09-16T14:39:04Z) - Joint Multimodal Transformer for Emotion Recognition in the Wild [49.735299182004404]
マルチモーダル感情認識(MMER)システムは、通常、単調なシステムよりも優れている。
本稿では,キーベースのクロスアテンションと融合するために,ジョイントマルチモーダルトランス (JMT) を利用するMMER法を提案する。
論文 参考訳（メタデータ） (2024-03-15T17:23:38Z) - PE-MVCNet: Multi-view and Cross-modal Fusion Network for Pulmonary Embolism Prediction [4.659998272408215]
肺塞栓症(PE)の早期発見は、患者の生存率を高めるために重要である。
PE-MVCNetとよばれる多モード核融合法を提案する。
提案モデルは既存の手法より優れており, 単一のデータモダリティを用いたモデルと比較して, マルチモーダル融合モデルの方が優れていることを裏付けるものである。
論文 参考訳（メタデータ） (2024-02-27T03:53:27Z) - Three-Dimensional Medical Image Fusion with Deformable Cross-Attention [10.26573411162757]
マルチモーダル医療画像融合は、医療画像処理のいくつかの領域において重要な役割を担っている。
従来の融合法は、特徴を組み合わせて融合像を再構成する前に、それぞれのモダリティを独立して処理する傾向にある。
本研究では,これらの制限を是正するために設計された,革新的な教師なしの相互学習融合ネットワークを提案する。
論文 参考訳（メタデータ） (2023-10-10T04:10:56Z) - MLF-DET: Multi-Level Fusion for Cross-Modal 3D Object Detection [54.52102265418295]
MLF-DETと呼ばれる,高性能なクロスモーダル3DオブジェクトDrectionのための,新規かつ効果的なマルチレベルフュージョンネットワークを提案する。
特徴レベルの融合では、マルチスケールのボクセル特徴と画像の特徴を密集したマルチスケールのボクセル画像融合(MVI)モジュールを提示する。
本稿では,画像のセマンティクスを利用して検出候補の信頼度を補正するFCR(Feature-cued Confidence Rectification)モジュールを提案する。
論文 参考訳（メタデータ） (2023-07-18T11:26:02Z) - Equivariant Multi-Modality Image Fusion [124.11300001864579]
エンドツーエンドの自己教師型学習のための同変多モードImAge融合パラダイムを提案する。
我々のアプローチは、自然画像応答が特定の変換に等しくなるという以前の知識に根ざしている。
実験により、EMMAは赤外線可視画像と医用画像に高品質な融合結果をもたらすことが確認された。
論文 参考訳（メタデータ） (2023-05-19T05:50:24Z) - Ambiguous Medical Image Segmentation using Diffusion Models [60.378180265885945]
我々は,グループ洞察の分布を学習することで,複数の可算出力を生成する単一拡散モデルに基づくアプローチを提案する。
提案モデルでは,拡散の固有のサンプリングプロセスを利用してセグメンテーションマスクの分布を生成する。
その結果,提案手法は既存の最先端曖昧なセグメンテーションネットワークよりも優れていることがわかった。
論文 参考訳（メタデータ） (2023-04-10T17:58:22Z) - CIFF-Net: Contextual Image Feature Fusion for Melanoma Diagnosis [0.4129225533930966]
メラノーマは、皮膚がん死の75%程度の原因となる皮膚がんの致命的な変異であると考えられている。
メラノーマを診断するために、臨床医は同一患者の複数の皮膚病変を同時に評価し、比較する。
この同時多重画像比較法は,既存の深層学習方式では検討されていない。
論文 参考訳（メタデータ） (2023-03-07T06:16:10Z) - Multimodal Information Fusion for Glaucoma and DR Classification [1.5616442980374279]
複数の情報源からの情報を組み合わせることで、臨床医はより正確な判断をすることができる。
本稿では,網膜解析の課題を解決するために,ディープラーニングに基づく3つのマルチモーダル情報融合戦略について検討する。
論文 参考訳（メタデータ） (2022-09-02T12:19:03Z) - A Multi-Stage Attentive Transfer Learning Framework for Improving
COVID-19 Diagnosis [49.3704402041314]
新型コロナの診断を改善するための多段階集中移動学習フレームワークを提案する。
提案するフレームワークは、複数のソースタスクと異なるドメインのデータから知識を学習し、正確な診断モデルを訓練する3つの段階からなる。
本稿では,肺CT画像のマルチスケール表現を学習するための自己教師付き学習手法を提案する。
論文 参考訳（メタデータ） (2021-01-14T01:39:19Z) - SAG-GAN: Semi-Supervised Attention-Guided GANs for Data Augmentation on
Medical Images [47.35184075381965]
本稿では,GAN(Cycle-Consistency Generative Adversarial Networks)を用いた医用画像生成のためのデータ拡張手法を提案する。
提案モデルでは,正常画像から腫瘍画像を生成することができ,腫瘍画像から正常画像を生成することもできる。
本研究では,従来のデータ拡張手法と合成画像を用いた分類モデルを用いて,実画像を用いた分類モデルを訓練する。
論文 参考訳（メタデータ） (2020-11-15T14:01:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。