論文の概要: Single-Shared Network with Prior-Inspired Loss for Parameter-Efficient Multi-Modal Imaging Skin Lesion Classification
- arxiv url: http://arxiv.org/abs/2403.19203v1
- Date: Thu, 28 Mar 2024 08:00:14 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-29 17:03:08.542532
- Title: Single-Shared Network with Prior-Inspired Loss for Parameter-Efficient Multi-Modal Imaging Skin Lesion Classification
- Title（参考訳）: パラメータ効率のよいマルチモードイメージング皮膚病変分類のための先行インスパイアされた損失を持つシングルシェアネットワーク
- Authors: Peng Tang, Tobias Lasser,
- Abstract要約: マルチモーダルアプローチを導入し,マルチスケールな臨床・皮膚内視鏡的特徴を1つのネットワークに効率的に統合する。
提案手法は,現在進行している手法と比較して,精度とモデルパラメータの両面で優位性を示す。
- 参考スコア（独自算出の注目度）: 6.195015783344803
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this study, we introduce a multi-modal approach that efficiently integrates multi-scale clinical and dermoscopy features within a single network, thereby substantially reducing model parameters. The proposed method includes three novel fusion schemes. Firstly, unlike current methods that usually employ two individual models for for clinical and dermoscopy modalities, we verified that multimodal feature can be learned by sharing the parameters of encoder while leaving the individual modal-specific classifiers. Secondly, the shared cross-attention module can replace the individual one to efficiently interact between two modalities at multiple layers. Thirdly, different from current methods that equally optimize dermoscopy and clinical branches, inspired by prior knowledge that dermoscopy images play a more significant role than clinical images, we propose a novel biased loss. This loss guides the single-shared network to prioritize dermoscopy information over clinical information, implicitly learning a better joint feature representation for the modal-specific task. Extensive experiments on a well-recognized Seven-Point Checklist (SPC) dataset and a collected dataset demonstrate the effectiveness of our method on both CNN and Transformer structures. Furthermore, our method exhibits superiority in both accuracy and model parameters compared to currently advanced methods.
- Abstract（参考訳）: 本研究では,マルチモーダルアプローチを導入し,マルチスケールな臨床・皮膚内視鏡的特徴を1つのネットワークに効率的に統合し,モデルパラメータを大幅に削減する。
提案手法は3つの新しい融合方式を含む。
まず,通常2つの個別モデルを用いた臨床・皮膚内視鏡検査法と異なり,エンコーダのパラメータを共有することで,個別のモード固有分類器を残しながらマルチモーダル特徴を学習できることを検証した。
第二に、共有のクロスアテンションモジュールは個々のモジュールを置き換えることができ、複数のレイヤで2つのモダリティ間で効率的に相互作用する。
第3に, 皮膚内視鏡画像が臨床像よりも重要な役割を担っているという先行知識に触発されて, 同様に皮膚内視鏡と臨床枝を最適化する現在の方法とは違って, 新たなバイアスド・ロスを提案する。
この損失は、単一共有ネットワークを誘導し、臨床情報よりも皮膚科情報を優先し、モダル特異的タスクのためのより良い関節特徴表現を暗黙的に学習する。
良く認識されたセブンポイントチェックリスト(SPC)データセットと収集されたデータセットに対する広範囲な実験により,CNNとトランスフォーマーの両方構造に対する本手法の有効性が示された。
さらに,本手法は,現在進行している手法と比較して,精度とモデルパラメータの両面で優れていることを示す。
関連論文リスト
- Pay Less On Clinical Images: Asymmetric Multi-Modal Fusion Method For Efficient Multi-Label Skin Lesion Classification [6.195015783344803]
既存のマルチモーダルアプローチは主に、高度な融合モジュールによるマルチラベル皮膚病変分類性能の向上に重点を置いている。
本稿では, 効率的な多ラベル皮膚病変分類のための新しい非対称多モード融合法を提案する。
論文 参考訳（メタデータ） (2024-07-13T20:46:04Z) - CLIP-MUSED: CLIP-Guided Multi-Subject Visual Neural Information Semantic
Decoding [14.484475792279671]
CLIP-Guided Multi-sUbject Visual Neural Information Semantic Decoding (CLIP-MUSED)法を提案する。
提案手法は,グローバルなニューラル表現を効果的にモデル化するトランスフォーマーベースの特徴抽出器から構成される。
また、マルチオブジェクトデータの集約を容易にする学習可能な主題固有のトークンも組み込まれている。
論文 参考訳（メタデータ） (2024-02-14T07:41:48Z) - Convolutional autoencoder-based multimodal one-class classification [80.52334952912808]
1クラス分類は、単一のクラスからのデータを用いた学習のアプローチを指す。
マルチモーダルデータに適した深層学習一クラス分類法を提案する。
論文 参考訳（メタデータ） (2023-09-25T12:31:18Z) - Multilayer Multiset Neuronal Networks -- MMNNs [55.2480439325792]
本研究は,2層以上の類似性ニューロンを組み込んだ多層神経回路網について述べる。
また,回避すべき画像領域に割り当てられる反プロトタイプ点の利用についても検討した。
論文 参考訳（メタデータ） (2023-08-28T12:55:13Z) - Graph-Ensemble Learning Model for Multi-label Skin Lesion Classification
using Dermoscopy and Clinical Images [7.159532626507458]
本研究では,グラフ畳み込みネットワーク(GCN)を導入し,相関行列として各カテゴリ間の先行的共起を多ラベル分類のためのディープラーニングモデルに活用する。
本稿では,GCNからの予測を融合モデルからの予測の補完情報とみなすグラフ・アンサンブル学習モデルを提案する。
論文 参考訳（メタデータ） (2023-07-04T13:19:57Z) - A Transformer-based representation-learning model with unified
processing of multimodal input for clinical diagnostics [63.106382317917344]
本稿では,マルチモーダル入力を統一的に処理する臨床診断支援として,トランスフォーマーを用いた表現学習モデルについて報告する。
統一モデルは, 肺疾患の同定において, 画像のみのモデル, 非統一型マルチモーダル診断モデルより優れていた。
論文 参考訳（メタデータ） (2023-06-01T16:23:47Z) - Ambiguous Medical Image Segmentation using Diffusion Models [60.378180265885945]
我々は,グループ洞察の分布を学習することで,複数の可算出力を生成する単一拡散モデルに基づくアプローチを提案する。
提案モデルでは,拡散の固有のサンプリングプロセスを利用してセグメンテーションマスクの分布を生成する。
その結果,提案手法は既存の最先端曖昧なセグメンテーションネットワークよりも優れていることがわかった。
論文 参考訳（メタデータ） (2023-04-10T17:58:22Z) - Rethinking Semi-Supervised Medical Image Segmentation: A
Variance-Reduction Perspective [51.70661197256033]
医用画像セグメンテーションのための階層化グループ理論を用いた半教師付きコントラスト学習フレームワークARCOを提案する。
まず、分散還元推定の概念を用いてARCOを構築することを提案し、特定の分散還元技術が画素/ボクセルレベルのセグメンテーションタスクにおいて特に有用であることを示す。
5つの2D/3D医療データセットと3つのセマンティックセグメンテーションデータセットのラベル設定が異なる8つのベンチマークで、我々のアプローチを実験的に検証する。
論文 参考訳（メタデータ） (2023-02-03T13:50:25Z) - A Multi-modal Fusion Framework Based on Multi-task Correlation Learning
for Cancer Prognosis Prediction [8.476394437053477]
生存分析とがん分類のためのマルチタスク相関学習(MultiCoFusion)に基づくマルチモーダル融合フレームワークを提案する。
The Cancer Genome Atlas (TCGA) のグリオーマデータセットを用いて我々の枠組みを体系的に評価した。
論文 参考訳（メタデータ） (2022-01-22T15:16:24Z) - Self-Supervised Multimodal Domino: in Search of Biomarkers for
Alzheimer's Disease [19.86082635340699]
自己監督型表現学習アルゴリズムを編成する合理的な方法の分類法を提案する。
まず,おもちゃのマルチモーダルMNISTデータセットのモデルを評価し,アルツハイマー病患者を用いたマルチモーダル・ニューロイメージングデータセットに適用した。
提案手法は,従来の自己教師付きエンコーダデコーダ法よりも優れていた。
論文 参考訳（メタデータ） (2020-12-25T20:28:13Z) - Unpaired Multi-modal Segmentation via Knowledge Distillation [77.39798870702174]
本稿では,不対向画像分割のための新しい学習手法を提案する。
提案手法では,CTおよびMRI間での畳み込みカーネルの共有により,ネットワークパラメータを多用する。
我々は2つの多クラスセグメンテーション問題に対するアプローチを広範囲に検証した。
論文 参考訳（メタデータ） (2020-01-06T20:03:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。