論文の概要: SHAP-CAT: A interpretable multi-modal framework enhancing WSI classification via virtual staining and shapley-value-based multimodal fusion
- arxiv url: http://arxiv.org/abs/2410.01408v1
- Date: Wed, 2 Oct 2024 10:39:31 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-04 21:19:25.797379
- Title: SHAP-CAT: A interpretable multi-modal framework enhancing WSI classification via virtual staining and shapley-value-based multimodal fusion
- Title（参考訳）: SHAP-CAT: 仮想染色とシェープ値に基づくマルチモーダル融合によるWSI分類を促進する解釈可能なマルチモーダルフレームワーク
- Authors: Jun Wang, Yu Mao, Nan Guan, Chun Jason Xue,
- Abstract要約: 本稿では,SHAP-CAT という新しい解釈可能なマルチモーダルフレームワークを提案する。
有効マルチモーダル核融合にシェープリー値に基づく次元減少法を用いる。
実験結果から, SHAP-CATフレームワークに合成モダリティが組み込まれ, モデル性能が著しく向上することが示唆された。
- 参考スコア（独自算出の注目度）: 17.905234121399456
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The multimodal model has demonstrated promise in histopathology. However, most multimodal models are based on H\&E and genomics, adopting increasingly complex yet black-box designs. In our paper, we propose a novel interpretable multimodal framework named SHAP-CAT, which uses a Shapley-value-based dimension reduction technique for effective multimodal fusion. Starting with two paired modalities -- H\&E and IHC images, we employ virtual staining techniques to enhance limited input data by generating a new clinical-related modality. Lightweight bag-level representations are extracted from image modalities and a Shapley-value-based mechanism is used for dimension reduction. For each dimension of the bag-level representation, attribution values are calculated to indicate how changes in the specific dimensions of the input affect the model output. In this way, we select a few top important dimensions of bag-level representation for each image modality to late fusion. Our experimental results demonstrate that the proposed SHAP-CAT framework incorporating synthetic modalities significantly enhances model performance, yielding a 5\% increase in accuracy for the BCI, an 8\% increase for IHC4BC-ER, and an 11\% increase for the IHC4BC-PR dataset.
- Abstract（参考訳）: マルチモーダルモデルは病理学において有望であることを示す。
しかし、ほとんどのマルチモーダルモデルはH&Eとゲノミクスに基づいており、ますます複雑なブラックボックスの設計を採用する。
本稿では,Shapley-value-based dimension reduction techniqueを有効マルチモーダル融合に用いるSHAP-CATという新しい解釈可能なマルチモーダルフレームワークを提案する。
H\&E画像とIHC画像の2つの組み合わせから始めると、我々は、新しい臨床関連モダリティを発生させることで、限られた入力データを強化するために仮想染色技術を用いている。
画像のモダリティから軽量なバッグレベルの表現を抽出し、寸法の縮小にシェープリー値に基づくメカニズムを用いる。
バッグレベルの表現の各次元について、帰属値を算出し、入力の特定の次元の変化がモデル出力にどのように影響するかを示す。
このようにして、各画像のモダリティから後期融合へのバッグレベルの表現について、いくつかの重要な次元を選定する。
実験の結果,合成モダリティを組み込んだSHAP-CATフレームワークはモデル性能を著しく向上し,BCIの精度は5倍,IHC4BC-ERは8倍,IHC4BC-PRデータセットは11倍向上した。
関連論文リスト
- Multi-Head Attention Residual Unfolded Network for Model-Based Pansharpening [2.874893537471256]
展開融合法は、ディープラーニングの強力な表現能力とモデルベースアプローチの堅牢性を統合する。
本稿では,衛星画像融合のためのモデルに基づく深部展開手法を提案する。
PRISMA、Quickbird、WorldView2データセットの実験結果から、本手法の優れた性能が示された。
論文 参考訳（メタデータ） (2024-09-04T13:05:00Z) - Binarized Diffusion Model for Image Super-Resolution [61.963833405167875]
超圧縮アルゴリズムであるバイナリ化は、高度な拡散モデル(DM)を効果的に加速する可能性を提供する
既存の二項化法では性能が著しく低下する。
画像SRのための新しいバイナライズ拡散モデルBI-DiffSRを提案する。
論文 参考訳（メタデータ） (2024-06-09T10:30:25Z) - DEEM: Diffusion Models Serve as the Eyes of Large Language Models for Image Perception [66.88792390480343]
本稿では,拡散モデルの生成的フィードバックを利用して画像エンコーダのセマンティックな分布を整合させる,シンプルだが効果的なアプローチであるDEEMを提案する。
DEEMは、トレーニング可能なパラメータが少なく、事前学習データが少なく、ベースモデルのサイズが小さいことを利用して、モデル幻覚を軽減するために、強化された堅牢性と優れた能力を示す。
論文 参考訳（メタデータ） (2024-05-24T05:46:04Z) - Multi-scale Unified Network for Image Classification [33.560003528712414]
CNNは、実世界のマルチスケール画像入力を扱う際に、性能と計算効率において顕著な課題に直面している。
本稿では,マルチスケール,統一ネットワーク,スケール不変制約からなるMultiscale Unified Network(MUSN)を提案する。
MUSNは精度が44.53%向上し、マルチスケールシナリオではFLOPを7.01-16.13%減少させる。
論文 参考訳（メタデータ） (2024-03-27T06:40:26Z) - Out-of-Distribution Detection via Deep Multi-Comprehension Ensemble [11.542472900306745]
マルチComprehension (MC) Ensemble は,OOD (Out-of-Distribution) 特徴表現を拡大するための戦略として提案されている。
OOD検出におけるMC Ensemble戦略の優れた性能を示す実験結果を得た。
これにより,提案手法がトレーニング分布外のインスタンスを検出できるモデルの性能向上に有効であることを示す。
論文 参考訳（メタデータ） (2024-03-24T18:43:04Z) - Sample Complexity Characterization for Linear Contextual MDPs [67.79455646673762]
文脈決定プロセス(CMDP)は、遷移カーネルと報酬関数がコンテキスト変数によってインデックス付けされた異なるMDPで時間とともに変化できる強化学習のクラスを記述する。
CMDPは、時間とともに変化する環境で多くの現実世界のアプリケーションをモデル化するための重要なフレームワークとして機能する。
CMDPを2つの線形関数近似モデルで検討する: 文脈変化表現とすべての文脈に対する共通線形重み付きモデルIと、すべての文脈に対する共通表現と文脈変化線形重み付きモデルIIである。
論文 参考訳（メタデータ） (2024-02-05T03:25:04Z) - Contrastive Learning-Based Spectral Knowledge Distillation for
Multi-Modality and Missing Modality Scenarios in Semantic Segmentation [2.491548070992611]
CSK-Netと呼ばれる新しいマルチモーダル融合手法を提案する。
対照的な学習に基づくスペクトル知識蒸留技術を用いる。
実験の結果、CSK-Netはマルチモーダルタスクや欠落したモダリティにおいて最先端のモデルを上回ることがわかった。
論文 参考訳（メタデータ） (2023-12-04T10:27:09Z) - Coarse-to-Fine Embedded PatchMatch and Multi-Scale Dynamic Aggregation
for Reference-based Super-Resolution [48.093500219958834]
参照型スーパーリゾリューションのためのAMSA(Accelerated Multi-Scale Aggregation Network)を提案する。
提案したAMSAは,定量評価と定性評価の両面において,最先端の手法よりも優れた性能を実現する。
論文 参考訳（メタデータ） (2022-01-12T08:40:23Z) - Attention Bottlenecks for Multimodal Fusion [90.75885715478054]
機械知覚モデルは典型的にはモダリティに特化しており、単調なベンチマークのために最適化されている。
複数の層でのモジュラリティ融合に「融合」を用いる新しいトランスフォーマーアーキテクチャを導入する。
我々は、徹底的なアブレーション研究を行い、複数のオーディオ視覚分類ベンチマークで最先端の結果を得る。
論文 参考訳（メタデータ） (2021-06-30T22:44:12Z) - Multiscale Deep Equilibrium Models [162.15362280927476]
マルチスケールディープ均衡モデル(MDEQ)を新たに提案する。
MDEQは、複数の特徴分解の平衡点を直接解き、同時に伝播する。
本稿では,Cityscapesデータセットの高解像度画像に対するイメージネット分類とセマンティックセグメンテーションの2つの大規模ビジョンタスクにおけるこのアプローチの有効性について述べる。
論文 参考訳（メタデータ） (2020-06-15T18:07:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。