論文の概要: JI-ADF: Joint-Individual Learning with Adaptive Decision Fusion for Multimodal Skin Lesion Classification
- arxiv url: http://arxiv.org/abs/2604.27343v1
- Date: Thu, 30 Apr 2026 02:48:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-01 16:31:53.886198
- Title: JI-ADF: Joint-Individual Learning with Adaptive Decision Fusion for Multimodal Skin Lesion Classification
- Title(参考訳): JI-ADF:マルチモーダル皮膚病変分類のための適応的決定融合を用いた共同個別学習
- Authors: Phan Nguyen, Dat Cao, Quang Hien Kha, Hien Chu, Minh H. N. Le, Trang Quoc Thao Pham, Nguyen Quoc Khanh Le,
- Abstract要約: 皮膚病変の分類は早期皮膚科診断に不可欠である。
既存のコンピュータ支援システムの多くは、主に皮膚鏡画像に頼り、マルチモーダルな証拠を過小評価している。
皮膚内視鏡画像,臨床写真,構造化された患者のメタデータを統合した3モーダル深層学習フレームワークである textbfJI-ADF を提案する。
- 参考スコア(独自算出の注目度): 1.57333503756856
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Skin lesion classification is essential for early dermatological diagnosis, yet many existing computer-aided systems rely primarily on dermoscopic images and underutilize the multimodal evidence routinely available in clinical practice. To address this gap, we propose \textbf{JI-ADF}, a trimodal deep learning framework that integrates dermoscopic images, clinical photographs, and structured patient metadata for clinically grounded skin lesion classification. The proposed architecture combines joint multimodal representation learning with modality-specific auxiliary supervision and an adaptive decision fusion mechanism that dynamically calibrates modality contributions on a per-sample basis. To enhance cross-modal reasoning while preserving modality-specific evidence, we further introduce a multimodal fusion attention (MMFA) module. We evaluate JI-ADF on the large-scale MILK10k benchmark, which reflects real-world clinical acquisition conditions and severe class imbalance. The proposed method demonstrates strong and well-balanced performance across lesion categories, improving sensitivity and Dice score while maintaining high specificity and good calibration. Extensive analyses, including modality ablation, calibration evaluation, and Grad-CAM visualization, further confirm the robustness and clinically meaningful behavior of the model. These results indicate that JI-ADF provides a reliable and practical foundation for multimodal skin lesion classification in real-world clinical settings.
- Abstract(参考訳): 皮膚病変の分類は早期皮膚科診断に必須であるが,既存のコンピュータ支援システムの多くは主に皮膚内視鏡画像に依存し,臨床で日常的に利用できるマルチモーダルエビデンスを過小評価している。
このギャップに対処するため,皮膚病変分類のための皮膚画像,臨床写真,構造化された患者のメタデータを統合した3モーダル深層学習フレームワークである「textbf{JI-ADF}」を提案する。
提案アーキテクチャは,共同マルチモーダル表現学習と,モジュールごとのモダリティ貢献を動的に校正する適応的決定融合機構を組み合わせる。
モダリティ特異的な証拠を保存しつつ,相互モーダルな推論を強化するために,マルチモーダル融合注意モジュール(MMFA)を導入する。
MILK10kベンチマークを用いたJI-ADFの評価を行った。
提案手法は, 病変のカテゴリ間での強度・バランスが良く, 感度とDiceのスコアが向上し, 高い特異性と校正性を維持した。
モダリティ・アブレーション、キャリブレーション評価、グラッド・CAM可視化を含む広範囲な分析により、モデルの堅牢性と臨床的に有意義な振る舞いがさらに確認された。
これらの結果から,JI-ADFは実地臨床環境でのマルチモーダル皮膚病変分類の信頼性と実践的基盤を提供することが明らかとなった。
関連論文リスト
- Clinical Cognition Alignment for Gastrointestinal Diagnosis with Multimodal LLMs [63.535652574541764]
MLLM(Multimodal Large Language Models)は医用画像解析において顕著な可能性を示した。
消化器内視鏡におけるそれらの応用は、現在、2つの重要な限界によって妨げられている。
本稿では,これらの課題に対処する新しい臨床認知アライメント(CogAlign)フレームワークを提案する。
論文 参考訳(メタデータ) (2026-03-21T07:47:37Z) - Multi-View Stenosis Classification Leveraging Transformer-Based Multiple-Instance Learning Using Real-World Clinical Data [76.89269238957593]
冠動脈狭窄は心血管疾患の主要な原因であり,多発血管造影で冠動脈を解析し診断した。
患者レベルの狭窄分類のためのトランスフォーマーベースマルチビューマルチインスタンス学習フレームワークであるSegmentMILを提案する。
論文 参考訳(メタデータ) (2026-02-02T13:07:52Z) - CLEAR-Mamba:Towards Accurate, Adaptive and Trustworthy Multi-Sequence Ophthalmic Angiography Classification [18.95392587947337]
医用画像分類はコンピュータ支援診断(CAD)のコアタスクである
眼科領域ではFlurecein fundus angiography (FFA) とIndocyanine green angiography (ICGA) が血行動態および病変・構造情報を提供する。
我々は,MedMamba上に構築された拡張フレームワークであるCLEAR-Mambaを提案する。
論文 参考訳(メタデータ) (2026-01-28T13:40:10Z) - AgentsEval: Clinically Faithful Evaluation of Medical Imaging Reports via Multi-Agent Reasoning [73.50200033931148]
本稿では,放射線科医の協調診断ワークフローをエミュレートしたマルチエージェントストリーム推論フレームワークであるAgensEvalを紹介する。
評価プロセスを基準定義、エビデンス抽出、アライメント、一貫性スコアなどの解釈可能なステップに分割することで、AgensEvalは明確な推論トレースと構造化された臨床フィードバックを提供する。
実験結果から,AgensEvalは,言い換え,意味的,スタイリスティックな摂動の下でも頑健な臨床的整合性,意味的忠実性,解釈可能な評価を提供することが示された。
論文 参考訳(メタデータ) (2026-01-23T11:59:13Z) - MMedExpert-R1: Strengthening Multimodal Medical Reasoning via Domain-Specific Adaptation and Clinical Guideline Reinforcement [63.82954136824963]
医療ビジョンランゲージモデルでは、現実世界のシナリオで必要とされる複雑な臨床推論を伴う知覚タスクが優れている。
本稿ではドメイン固有の適応とガイドライン強化を通じてこれらの課題に対処する新しい推論MedVLMを提案する。
論文 参考訳(メタデータ) (2026-01-16T02:32:07Z) - Towards Accurate and Interpretable Neuroblastoma Diagnosis via Contrastive Multi-scale Pathological Image Analysis [16.268045905735818]
病理画像分類に適したコントラスト学習に基づくマルチスケール機能融合モデルであるCMSwinKANを提案する。
マルチスケールの特徴を融合させ、対照的な学習戦略を活用することで、CMSwinKANは臨床医の包括的なアプローチを模倣する。
その結果、CMSwinKANは、既存の最先端の病理モデルよりも、大規模なデータセットで事前訓練されたモデルよりもパフォーマンスがよいことが示された。
論文 参考訳(メタデータ) (2025-04-18T15:39:46Z) - DSCENet: Dynamic Screening and Clinical-Enhanced Multimodal Fusion for MPNs Subtype Classification [8.95697172316912]
スライド画像全体(WSI)と臨床情報のマルチモーダル融合に基づくMPNのサブタイプ分類のための動的スクリーニング・臨床拡張ネットワーク(DSCENet)を提案する。
AUCは7.91%,精度は16.89%向上した。
論文 参考訳(メタデータ) (2024-07-11T04:13:58Z) - A Transformer-based representation-learning model with unified
processing of multimodal input for clinical diagnostics [63.106382317917344]
本稿では,マルチモーダル入力を統一的に処理する臨床診断支援として,トランスフォーマーを用いた表現学習モデルについて報告する。
統一モデルは, 肺疾患の同定において, 画像のみのモデル, 非統一型マルチモーダル診断モデルより優れていた。
論文 参考訳(メタデータ) (2023-06-01T16:23:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。