論文の概要: MamMIL: Multiple Instance Learning for Whole Slide Images with State Space Models
- arxiv url: http://arxiv.org/abs/2403.05160v2
- Date: Tue, 29 Oct 2024 12:48:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-30 13:37:05.555669
- Title: MamMIL: Multiple Instance Learning for Whole Slide Images with State Space Models
- Title(参考訳): MamMIL: 状態空間モデルによる全スライド画像の複数インスタンス学習
- Authors: Zijie Fang, Yifeng Wang, Ye Zhang, Zhi Wang, Jian Zhang, Xiangyang Ji, Yongbing Zhang,
- Abstract要約: 本稿では,WSI分析のためのフレームワークMamMILを提案する。
私たちは各WSIを非指向グラフとして表現します。
マンバが1次元シーケンスしか処理できない問題に対処するために、トポロジ対応の走査機構を提案する。
- 参考スコア(独自算出の注目度): 56.37780601189795
- License:
- Abstract: Recently, pathological diagnosis has achieved superior performance by combining deep learning models with the multiple instance learning (MIL) framework using whole slide images (WSIs). However, the giga-pixeled nature of WSIs poses a great challenge for efficient MIL. Existing studies either do not consider global dependencies among instances, or use approximations such as linear attentions to model the pair-to-pair instance interactions, which inevitably brings performance bottlenecks. To tackle this challenge, we propose a framework named MamMIL for WSI analysis by cooperating the selective structured state space model (i.e., Mamba) with MIL, enabling the modeling of global instance dependencies while maintaining linear complexity. Specifically, considering the irregularity of the tissue regions in WSIs, we represent each WSI as an undirected graph. To address the problem that Mamba can only process 1D sequences, we further propose a topology-aware scanning mechanism to serialize the WSI graphs while preserving the topological relationships among the instances. Finally, in order to further perceive the topological structures among the instances and incorporate short-range feature interactions, we propose an instance aggregation block based on graph neural networks. Experiments show that MamMIL can achieve advanced performance than the state-of-the-art frameworks. The code can be accessed at https://github.com/Vison307/MamMIL.
- Abstract(参考訳): 近年,深層学習モデルと全スライド画像(WSI)を用いたMIL(Multiple Case Learning)フレームワークを組み合わせることで,病理診断の性能が向上している。
しかし、WSIsのギガピクセルの性質は、効率的なMILにとって大きな課題となる。
既存の研究では、インスタンス間のグローバルな依存関係を考慮していないか、あるいは、ペアとペアのインスタンス間の相互作用をモデル化するために線形注意のような近似を使って、パフォーマンスのボトルネックを必然的に引き起こす。
この課題に対処するために、我々は、選択的な構造化状態空間モデル(すなわち、Mamba)をMILと協調させることにより、WSI分析のためのMamMILというフレームワークを提案し、線形複雑性を維持しながら、グローバルなインスタンス依存性のモデリングを可能にする。
具体的には、WSIの組織領域の不規則性を考えると、各WSIを非指向グラフとして表現する。
さらに,Mambaが1Dシーケンスしか処理できない問題に対処するために,各インスタンス間のトポロジ的関係を保ちつつ,WSIグラフをシリアライズするトポロジ対応走査機構を提案する。
最後に、各インスタンス間のトポロジ構造を更に知覚し、短距離の特徴的相互作用を取り入れるために、グラフニューラルネットワークに基づくインスタンス集約ブロックを提案する。
実験によると、MamMILは最先端のフレームワークよりも高度なパフォーマンスを実現することができる。
コードはhttps://github.com/Vison307/MamMILでアクセスできる。
関連論文リスト
- SAM-MIL: A Spatial Contextual Aware Multiple Instance Learning Approach for Whole Slide Image Classification [9.69491390062406]
本研究では,空間的文脈認識を重視し,空間的文脈を明示的に取り入れた新しいMILフレームワークSAM-MILを提案する。
提案手法は,空間的文脈に基づくグループ特徴抽出とSAM-Guided Group Masking戦略を含む。
CAMELYON-16およびTCGA肺がんデータセットの実験結果から,提案したSAM-MILモデルは,WSIs分類において既存の主流手法よりも優れていることが示された。
論文 参考訳(メタデータ) (2024-07-25T01:12:48Z) - GroupMamba: Parameter-Efficient and Accurate Group Visual State Space Model [66.35608254724566]
状態空間モデル(SSM)は、二次的複雑性を伴う長距離依存のモデリングにおいて効果的な性能を示した。
しかし、純粋なSSMベースのモデルは、コンピュータビジョンタスクにおける安定性と最適性能の達成に関連する課題に直面している。
本稿では,コンピュータビジョンのためのSSMベースのモデルをスケールする上での課題,特に大規模モデルの不安定性と非効率性について論じる。
論文 参考訳(メタデータ) (2024-07-18T17:59:58Z) - Combining Graph Neural Network and Mamba to Capture Local and Global Tissue Spatial Relationships in Whole Slide Images [1.1813933389519358]
計算病理学では、ギガピクセル全体のスライド画像(WSI)から空間的特徴を抽出することが基本的な課題である。
本稿では,メッセージパッシンググラフニューラルネットワーク(GNN)と状態空間モデル(Mamba)を組み合わせて,局所的およびグローバルな空間関係を捉えるモデルを提案する。
早期肺腺癌患者の無再発生存予測に有効であった。
論文 参考訳(メタデータ) (2024-06-05T22:06:57Z) - Rethinking Attention-Based Multiple Instance Learning for Whole-Slide Pathological Image Classification: An Instance Attribute Viewpoint [11.09441191807822]
マルチプル・インスタンス・ラーニング (MIL) は、WSI解析のための堅牢なパラダイムである。
本稿では,これらの問題に対処する属性駆動型MIL(AttriMIL)フレームワークを提案する。
論文 参考訳(メタデータ) (2024-03-30T13:04:46Z) - MambaMIL: Enhancing Long Sequence Modeling with Sequence Reordering in
Computational Pathology [10.933433327636918]
MIL(Multiple Instance Learning)は、WSI(Whole Slide Images)内の識別的特徴表現を計算病理学で抽出する主要なパラダイムとして登場した。
本稿では,線形複雑度を持つ長周期モデリングのために,Selective Scan Space State Sequential Model(Mamba)をMIL(Multiple Instance Learning)に組み込む。
提案するフレームワークは,最先端のMIL手法に対して良好に機能する。
論文 参考訳(メタデータ) (2024-03-11T15:17:25Z) - Histopathology Whole Slide Image Analysis with Heterogeneous Graph
Representation Learning [78.49090351193269]
本稿では,WSI分析のために,異なる種類の核間の相互関係を利用する新しいグラフベースのフレームワークを提案する。
具体的には、WSI を各ノードに "nucleus-type" 属性と各エッジに類似した意味属性を持つ異種グラフとして定式化する。
我々のフレームワークは、様々なタスクに対してかなりのマージンで最先端の手法より優れています。
論文 参考訳(メタデータ) (2023-07-09T14:43:40Z) - Sparse Modular Activation for Efficient Sequence Modeling [94.11125833685583]
線形状態空間モデルと自己アテンション機構を組み合わせた最近のモデルでは、様々なシーケンスモデリングタスクにおいて顕著な結果が示されている。
現在のアプローチでは、アテンションモジュールを静的かつ均一に入力シーケンスのすべての要素に適用し、最適以下の品質効率のトレードオフをもたらす。
SMA(Sparse Modular Activation)は,ニューラルネットワークが配列要素のサブモジュールを異なる方法でスパースに活性化する機構である。
論文 参考訳(メタデータ) (2023-06-19T23:10:02Z) - Task-specific Fine-tuning via Variational Information Bottleneck for
Weakly-supervised Pathology Whole Slide Image Classification [10.243293283318415]
MIL(Multiple Instance Learning)は、デジタル・パスロジー・ホール・スライド・イメージ(WSI)分類において有望な結果を示している。
本稿では,Information Bottleneck 理論を動機とした効率的な WSI 微調整フレームワークを提案する。
我々のフレームワークは、様々なWSIヘッド上の5つの病理WSIデータセットで評価される。
論文 参考訳(メタデータ) (2023-03-15T08:41:57Z) - Hierarchical Transformer for Survival Prediction Using Multimodality
Whole Slide Images and Genomics [63.76637479503006]
下流タスクのためのギガピクセルレベルのスライド病理画像(WSI)の良質な表現を学習することが重要である。
本稿では,病理画像と対応する遺伝子間の階層的マッピングを学習する階層型マルチモーダルトランスフォーマーフレームワークを提案する。
より優れたWSI表現能力を維持しながら、ベンチマーク手法と比較してGPUリソースが少ないアーキテクチャです。
論文 参考訳(メタデータ) (2022-11-29T23:47:56Z) - Multi-Scale Semantics-Guided Neural Networks for Efficient
Skeleton-Based Human Action Recognition [140.18376685167857]
スケルトンに基づく行動認識には,単純なマルチスケールセマンティクス誘導ニューラルネットワークが提案されている。
MS-SGNは、NTU60、NTU120、SYSUデータセットの最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2021-11-07T03:50:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。