論文の概要: A Novel Perspective for Multi-modal Multi-label Skin Lesion Classification

• arxiv url: http://arxiv.org/abs/2409.12390v1
• Date: Thu, 19 Sep 2024 01:31:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-07 15:03:37.844120
• Title: A Novel Perspective for Multi-modal Multi-label Skin Lesion Classification
• Title（参考訳）: マルチモーダル多ラベル皮膚病変分類の新しい展望
• Authors: Yuan Zhang, Yutong Xie, Hu Wang, Jodie C Avery, M Louise Hull, Gustavo Carneiro,
• Abstract要約: 本稿ではマルチモーダルマルチラベルトランスフォーマーモデル(SkinM2Former)を用いた皮膚病変について述べる。 SkinM2Formerは、平均平均精度77.27%、平均診断精度77.85%を公開Derm7ptデータセットで達成し、最先端(SOTA)法より優れている。
• 参考スコア（独自算出の注目度）: 20.05980794886644
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The efficacy of deep learning-based Computer-Aided Diagnosis (CAD) methods for skin diseases relies on analyzing multiple data modalities (i.e., clinical+dermoscopic images, and patient metadata) and addressing the challenges of multi-label classification. Current approaches tend to rely on limited multi-modal techniques and treat the multi-label problem as a multiple multi-class problem, overlooking issues related to imbalanced learning and multi-label correlation. This paper introduces the innovative Skin Lesion Classifier, utilizing a Multi-modal Multi-label TransFormer-based model (SkinM2Former). For multi-modal analysis, we introduce the Tri-Modal Cross-attention Transformer (TMCT) that fuses the three image and metadata modalities at various feature levels of a transformer encoder. For multi-label classification, we introduce a multi-head attention (MHA) module to learn multi-label correlations, complemented by an optimisation that handles multi-label and imbalanced learning problems. SkinM2Former achieves a mean average accuracy of 77.27% and a mean diagnostic accuracy of 77.85% on the public Derm7pt dataset, outperforming state-of-the-art (SOTA) methods.
• Abstract（参考訳）: 皮膚疾患に対するDeep Learning-based Computer-Aided Diagnosis (CAD)法の有効性は、複数のデータモダリティ(臨床+皮膚画像、患者メタデータ)を分析し、マルチラベル分類の課題に対処することに依存する。 現在のアプローチでは、限られたマルチモーダル手法に頼り、マルチラベル問題をマルチクラス問題として扱い、不均衡学習やマルチラベル相関の問題を見越す傾向にある。 本稿では,マルチモーダルマルチラベルトランスフォーマーモデル(SkinM2Former)を用いた,革新的な皮膚病変分類手法を提案する。 マルチモーダル解析のために,変換器エンコーダの特徴レベルにおいて3つの画像とメタデータを融合するTMCT(Tri-Modal Cross-attention Transformer)を導入する。 マルチラベル分類では,マルチラベル相関を学習するためのマルチヘッドアテンション(MHA)モジュールを導入する。 SkinM2Formerは、平均平均精度77.27%、平均診断精度77.85%を公開Derm7ptデータセットで達成し、最先端(SOTA)法より優れている。

関連論文リスト

• UNICORN: A Deep Learning Model for Integrating Multi-Stain Data in Histopathology [2.9389205138207277]
  UNICORNは動脈硬化の重症度予測のための多段階組織学を処理できるマルチモーダルトランスフォーマーである。 このアーキテクチャは、2段階のエンドツーエンドのトレーニング可能なモデルと、トランスフォーマーの自己保持ブロックを利用する特殊なモジュールから構成される。 UNICORNは0.67の分類精度を達成し、他の最先端モデルを上回った。
  論文  参考訳（メタデータ） (2024-09-26T12:13:52Z)
• Automated Ensemble Multimodal Machine Learning for Healthcare [52.500923923797835]
  本稿では,自動機械学習を用いた構造化臨床(タブラル)データと医用画像の統合を実現するマルチモーダルフレームワークAutoPrognosis-Mを紹介する。 AutoPrognosis-Mには、畳み込みニューラルネットワークとビジョントランスフォーマーを含む17のイメージングモデルと、3つの異なるマルチモーダル融合戦略が含まれている。
  論文  参考訳（メタデータ） (2024-07-25T17:46:38Z)
• Adapting Visual-Language Models for Generalizable Anomaly Detection in Medical Images [68.42215385041114]
  本稿では,CLIPモデルを用いた医用異常検出のための軽量な多レベル適応と比較フレームワークを提案する。 提案手法では,複数の残像アダプタを事前学習した視覚エンコーダに統合し,視覚的特徴の段階的向上を実現する。 医学的異常検出ベンチマーク実験により,本手法が現在の最先端モデルを大幅に上回っていることが示された。
  論文  参考訳（メタデータ） (2024-03-19T09:28:19Z)
• Self-Supervised Multi-Modality Learning for Multi-Label Skin Lesion Classification [15.757141597485374]
  マルチモーダル皮膚病変分類のための自己教師付き学習アルゴリズムを提案する。 本アルゴリズムは,2対の皮膚内視鏡像と臨床像との類似性を最大化することにより,マルチモーダリティ学習を実現する。 以上の結果から,我々のアルゴリズムは最先端のSSLよりも優れた性能を示した。
  論文  参考訳（メタデータ） (2023-10-28T04:16:08Z)
• A Transformer-based representation-learning model with unified processing of multimodal input for clinical diagnostics [63.106382317917344]
  本稿では,マルチモーダル入力を統一的に処理する臨床診断支援として,トランスフォーマーを用いた表現学習モデルについて報告する。 統一モデルは, 肺疾患の同定において, 画像のみのモデル, 非統一型マルチモーダル診断モデルより優れていた。
  論文  参考訳（メタデータ） (2023-06-01T16:23:47Z)
• Transformer-based interpretable multi-modal data fusion for skin lesion classification [0.40964539027092917]
  皮膚科における皮膚病変分類では、深層学習システムは、意思決定プロセスの透明性が限られているため、まだ初期段階にある。 本手法は,画像に富み,患者データに富む環境において,最先端のシングルモーダルかつマルチモーダルなDLアーキテクチャを克服する。
  論文  参考訳（メタデータ） (2023-04-03T11:45:27Z)
• Reliable Representations Learning for Incomplete Multi-View Partial Multi-Label Classification [78.15629210659516]
  本稿ではRANKという不完全なマルチビュー部分的マルチラベル分類ネットワークを提案する。 既存の手法に固有のビューレベルの重みを分解し、各サンプルのビューに品質スコアを動的に割り当てる品質対応サブネットワークを提案する。 我々のモデルは、完全なマルチビューマルチラベルデータセットを処理できるだけでなく、欠落したインスタンスやラベルを持つデータセットでも機能する。
  論文  参考訳（メタデータ） (2023-03-30T03:09:25Z)
• Medical Diagnosis with Large Scale Multimodal Transformers: Leveraging Diverse Data for More Accurate Diagnosis [0.15776842283814416]
  我々は「学習可能なシナジー」の新しい技術的アプローチを提案する。 我々のアプローチは容易に拡張可能であり、臨床ルーチンからのマルチモーダルデータ入力に自然に適応する。 臨床的に関連のある診断タスクにおいて、最先端のモデルよりも優れています。
  論文  参考訳（メタデータ） (2022-12-18T20:43:37Z)
• Tensor-Based Multi-Modality Feature Selection and Regression for Alzheimer's Disease Diagnosis [25.958167380664083]
  アルツハイマー病(AD)と軽度認知障害(MCI)の診断・バイオマーカー同定のための新しいテンソルベース多モード特徴選択と回帰法を提案する。 3つの画像モダリティを用いたADNIデータ解析における本手法の実用的利点について述べる。
  論文  参考訳（メタデータ） (2022-09-23T02:17:27Z)
• G-MIND: An End-to-End Multimodal Imaging-Genetics Framework for Biomarker Identification and Disease Classification [49.53651166356737]
  診断によって誘導される画像データと遺伝データを統合し、解釈可能なバイオマーカーを提供する新しいディープニューラルネットワークアーキテクチャを提案する。 2つの機能的MRI(fMRI)パラダイムとSingle Nucleotide Polymorphism (SNP)データを含む統合失調症の集団研究で本モデルを評価した。
  論文  参考訳（メタデータ） (2021-01-27T19:28:04Z)
• Semi-supervised Medical Image Classification with Relation-driven Self-ensembling Model [71.80319052891817]
  医用画像分類のための関係駆動型半教師付きフレームワークを提案する。 これは、摂動下で与えられた入力の予測一貫性を促進することでラベルのないデータを利用する。 本手法は,シングルラベルおよびマルチラベル画像分類のシナリオにおいて,最先端の半教師付き学習手法よりも優れる。
  論文  参考訳（メタデータ） (2020-05-15T06:57:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。