論文の概要: Pay Less On Clinical Images: Asymmetric Multi-Modal Fusion Method For Efficient Multi-Label Skin Lesion Classification
- arxiv url: http://arxiv.org/abs/2407.09999v1
- Date: Sat, 13 Jul 2024 20:46:04 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-16 19:58:18.368997
- Title: Pay Less On Clinical Images: Asymmetric Multi-Modal Fusion Method For Efficient Multi-Label Skin Lesion Classification
- Title（参考訳）: 臨床画像の少なさ:高能率マルチラベル皮膚病変分類のための非対称多モード融合法
- Authors: Peng Tang, Tobias Lasser,
- Abstract要約: 既存のマルチモーダルアプローチは主に、高度な融合モジュールによるマルチラベル皮膚病変分類性能の向上に重点を置いている。
本稿では, 効率的な多ラベル皮膚病変分類のための新しい非対称多モード融合法を提案する。
- 参考スコア（独自算出の注目度）: 6.195015783344803
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Existing multi-modal approaches primarily focus on enhancing multi-label skin lesion classification performance through advanced fusion modules, often neglecting the associated rise in parameters. In clinical settings, both clinical and dermoscopy images are captured for diagnosis; however, dermoscopy images exhibit more crucial visual features for multi-label skin lesion classification. Motivated by this observation, we introduce a novel asymmetric multi-modal fusion method in this paper for efficient multi-label skin lesion classification. Our fusion method incorporates two innovative schemes. Firstly, we validate the effectiveness of our asymmetric fusion structure. It employs a light and simple network for clinical images and a heavier, more complex one for dermoscopy images, resulting in significant parameter savings compared to the symmetric fusion structure using two identical networks for both modalities. Secondly, in contrast to previous approaches using mutual attention modules for interaction between image modalities, we propose an asymmetric attention module. This module solely leverages clinical image information to enhance dermoscopy image features, considering clinical images as supplementary information in our pipeline. We conduct the extensive experiments on the seven-point checklist dataset. Results demonstrate the generality of our proposed method for both networks and Transformer structures, showcasing its superiority over existing methods We will make our code publicly available.
- Abstract（参考訳）: 既存のマルチモーダルアプローチは主に、高度な融合モジュールによるマルチラベル皮膚病変分類性能の向上に重点を置いており、しばしばパラメータの上昇を無視する。
臨床では臨床像と皮膚内視鏡像の両方が診断に有用であるが,皮膚内視鏡像は多彩な皮膚病変の分類においてより重要な視覚的特徴を示す。
本報告では, 効率的なマルチラベル皮膚病変分類のための新しい非対称多モード融合法を提案する。
我々の融合法は2つの革新的なスキームを取り入れている。
まず,非対称核融合構造の有効性を検証する。
臨床画像には軽量で単純なネットワークと、皮膚内視鏡画像にはより重く複雑なネットワークが使われており、両方のモダリティに2つの同一のネットワークを使用する対称核融合構造と比較して大きなパラメータの節約をもたらす。
第2に、画像モダリティ間の相互作用に相互注意モジュールを用いた従来のアプローチとは対照的に、非対称注意モジュールを提案する。
本モジュールは,臨床画像情報のみを利用して皮膚内視鏡画像の特徴を増強し,臨床画像をパイプライン内の補助情報として考慮する。
7点チェックリストデータセットについて広範な実験を行った。
その結果,提案手法のネットワーク構造とトランスフォーマー構造の両方に対する汎用性を実証し,既存の手法よりも優れていることを示す。
関連論文リスト
- Single-Shared Network with Prior-Inspired Loss for Parameter-Efficient Multi-Modal Imaging Skin Lesion Classification [6.195015783344803]
マルチモーダルアプローチを導入し,マルチスケールな臨床・皮膚内視鏡的特徴を1つのネットワークに効率的に統合する。
提案手法は,現在進行している手法と比較して,精度とモデルパラメータの両面で優位性を示す。
論文 参考訳（メタデータ） (2024-03-28T08:00:14Z) - MV-Swin-T: Mammogram Classification with Multi-view Swin Transformer [0.257133335028485]
マンモグラフィ画像分類における課題に対処するために,トランスフォーマーに基づく革新的なマルチビューネットワークを提案する。
提案手法では,ウィンドウベースの動的アテンションブロックを導入し,マルチビュー情報の効果的な統合を容易にする。
論文 参考訳（メタデータ） (2024-02-26T04:41:04Z) - Dual-scale Enhanced and Cross-generative Consistency Learning for Semi-supervised Medical Image Segmentation [49.57907601086494]
医用画像のセグメンテーションはコンピュータ支援診断において重要な役割を担っている。
半教師型医用画像(DEC-Seg)のための新しいDual-scale Enhanced and Cross-generative consistency learning frameworkを提案する。
論文 参考訳（メタデータ） (2023-12-26T12:56:31Z) - Self-Supervised Multi-Modality Learning for Multi-Label Skin Lesion
Classification [15.757141597485374]
マルチモーダル皮膚病変分類のための自己教師付き学習アルゴリズムを提案する。
本アルゴリズムは,2対の皮膚内視鏡像と臨床像との類似性を最大化することにより,マルチモーダリティ学習を実現する。
以上の結果から,我々のアルゴリズムは最先端のSSLよりも優れた性能を示した。
論文 参考訳（メタデータ） (2023-10-28T04:16:08Z) - A New Multimodal Medical Image Fusion based on Laplacian Autoencoder
with Channel Attention [3.1531360678320897]
ディープラーニングモデルは、非常に堅牢で正確なパフォーマンスでエンドツーエンドの画像融合を実現した。
ほとんどのDLベースの融合モデルは、学習可能なパラメータや計算量を最小限に抑えるために、入力画像上でダウンサンプリングを行う。
本稿では,ラープラシア・ガウス統合とアテンションプールを融合したマルチモーダル医用画像融合モデルを提案する。
論文 参考訳（メタデータ） (2023-10-18T11:29:53Z) - M$^{2}$SNet: Multi-scale in Multi-scale Subtraction Network for Medical
Image Segmentation [73.10707675345253]
医用画像から多様なセグメンテーションを仕上げるマルチスケールサブトラクションネットワーク(M$2$SNet)を提案する。
本手法は,4つの異なる医用画像セグメンテーションタスクの11つのデータセットに対して,異なる評価基準の下で,ほとんどの最先端手法に対して好意的に機能する。
論文 参考訳（メタデータ） (2023-03-20T06:26:49Z) - CIFF-Net: Contextual Image Feature Fusion for Melanoma Diagnosis [0.4129225533930966]
メラノーマは、皮膚がん死の75%程度の原因となる皮膚がんの致命的な変異であると考えられている。
メラノーマを診断するために、臨床医は同一患者の複数の皮膚病変を同時に評価し、比較する。
この同時多重画像比較法は,既存の深層学習方式では検討されていない。
論文 参考訳（メタデータ） (2023-03-07T06:16:10Z) - MedSegDiff-V2: Diffusion based Medical Image Segmentation with
Transformer [53.575573940055335]
我々は、MedSegDiff-V2と呼ばれるトランスフォーマーベースの拡散フレームワークを提案する。
画像の異なる20種類の画像分割作業において,その有効性を検証する。
論文 参考訳（メタデータ） (2023-01-19T03:42:36Z) - Malignancy Prediction and Lesion Identification from Clinical
Dermatological Images [65.1629311281062]
臨床皮膚画像から機械学習に基づく悪性度予測と病変の同定を検討する。
まず, サブタイプや悪性度に関わらず画像に存在するすべての病変を同定し, その悪性度を推定し, 凝集により, 画像レベルの悪性度も生成する。
論文 参考訳（メタデータ） (2021-04-02T20:52:05Z) - Few-shot Medical Image Segmentation using a Global Correlation Network
with Discriminative Embedding [60.89561661441736]
医療画像分割のための新しい手法を提案する。
深層畳み込みネットワークを用いた数ショット画像セグメンタを構築します。
深層埋め込みの識別性を高め,同一クラスの特徴領域のクラスタリングを促進する。
論文 参考訳（メタデータ） (2020-12-10T04:01:07Z) - Explaining Clinical Decision Support Systems in Medical Imaging using
Cycle-Consistent Activation Maximization [112.2628296775395]
ディープニューラルネットワークを用いた臨床意思決定支援は、着実に関心が高まりつつあるトピックとなっている。
臨床医は、その根底にある意思決定プロセスが不透明で理解しにくいため、この技術の採用をためらうことが多い。
そこで我々は,より小さなデータセットであっても,分類器決定の高品質な可視化を生成するCycleGANアクティベーションに基づく,新たな意思決定手法を提案する。
論文 参考訳（メタデータ） (2020-10-09T14:39:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。