論文の概要: MamMIL: Multiple Instance Learning for Whole Slide Images with State
Space Models
- arxiv url: http://arxiv.org/abs/2403.05160v1
- Date: Fri, 8 Mar 2024 09:02:13 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-11 20:29:20.122561
- Title: MamMIL: Multiple Instance Learning for Whole Slide Images with State
Space Models
- Title(参考訳): MamMIL: 状態空間モデルによる全スライド画像の複数インスタンス学習
- Authors: Zijie Fang, Yifeng Wang, Zhi Wang, Jian Zhang, Xiangyang Ji, Yongbing
Zhang
- Abstract要約: がん診断のゴールドスタンダードである病理診断は、TransformerとMIL(Multiple Case Learning)フレームワークを併用して、全スライド画像(WSI)を用いて、優れたパフォーマンスを実現している。
選択的構造化状態空間モデル(Mamba)とMILとの協調によるWSI分類のためのMamMILフレームワークを提案する。
具体的には、マンバが一方向一次元(一次元)シーケンスモデリングしか行えないという問題を解決するため、双方向状態空間モデルと2次元コンテキスト認識ブロックを革新的に導入する。
- 参考スコア(独自算出の注目度): 58.39336492765728
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Recently, pathological diagnosis, the gold standard for cancer diagnosis, has
achieved superior performance by combining the Transformer with the multiple
instance learning (MIL) framework using whole slide images (WSIs). However, the
giga-pixel nature of WSIs poses a great challenge for the quadratic-complexity
self-attention mechanism in Transformer to be applied in MIL. Existing studies
usually use linear attention to improve computing efficiency but inevitably
bring performance bottlenecks. To tackle this challenge, we propose a MamMIL
framework for WSI classification by cooperating the selective structured state
space model (i.e., Mamba) with MIL for the first time, enabling the modeling of
instance dependencies while maintaining linear complexity. Specifically, to
solve the problem that Mamba can only conduct unidirectional one-dimensional
(1D) sequence modeling, we innovatively introduce a bidirectional state space
model and a 2D context-aware block to enable MamMIL to learn the bidirectional
instance dependencies with 2D spatial relationships. Experiments on two
datasets show that MamMIL can achieve advanced classification performance with
smaller memory footprints than the state-of-the-art MIL frameworks based on the
Transformer. The code will be open-sourced if accepted.
- Abstract(参考訳): 近年,がん診断のゴールドスタンダードである病理診断は,TransformerとMIL(Multiple Case Learning)フレームワークを併用し,全スライド画像(WSIs)を併用することで,優れたパフォーマンスを実現している。
しかし、WSIs のギガピクセルの性質は、トランスフォーマーの二次複雑自己保持機構を MIL に適用するには大きな課題となる。
既存の研究は通常、線形注意を使って計算効率を向上させるが、必然的に性能ボトルネックをもたらす。
本稿では,wsi 分類のための mammil フレームワークを提案する。まず,選択的構造化状態空間モデル (mamba) と mil を初めて連携させ,線形複雑性を維持しつつインスタンス依存のモデリングを可能にする。
具体的には,mambaが一方向一次元(1次元)シーケンスモデリングしか行えないという問題を解決するために,双方向状態空間モデルと2次元文脈認識ブロックを導入して,mammilが2次元空間関係を持つ双方向インスタンス依存性を学習できるようにする。
2つのデータセットの実験により、MamMILはTransformerをベースにした最先端のMILフレームワークよりもメモリフットプリントが小さい高度な分類性能を達成できることが示された。
コードが受け入れられれば、オープンソース化される。
関連論文リスト
- MambaMIL: Enhancing Long Sequence Modeling with Sequence Reordering in
Computational Pathology [10.933433327636918]
MIL(Multiple Instance Learning)は、WSI(Whole Slide Images)内の識別的特徴表現を計算病理学で抽出する主要なパラダイムとして登場した。
本稿では,線形複雑度を持つ長周期モデリングのために,Selective Scan Space State Sequential Model(Mamba)をMIL(Multiple Instance Learning)に組み込む。
提案するフレームワークは,最先端のMIL手法に対して良好に機能する。
論文 参考訳(メタデータ) (2024-03-11T15:17:25Z) - The Hidden Attention of Mamba Models [61.25846109294293]
Mamba層は効率的な選択状態空間モデル(SSM)を提供する。
このようなモデルを注意駆動モデルとみなすことができる。
この新たな視点により、トランスの自己注意層と基礎となるメカニズムを比較することができる。
論文 参考訳(メタデータ) (2024-03-03T18:58:21Z) - MatFormer: Nested Transformer for Elastic Inference [94.1789252941718]
MatFormerは、様々なデプロイメント制約で弾力性を提供するように設計されたネストトランスフォーマーアーキテクチャである。
2.6BデコーダのみのMatFormer言語モデル(MatLM)は1.5Bから2.6Bまでの小さなモデルを抽出できることを示す。
また,MatFormerベースのViT(MatViT)エンコーダから抽出した小さなエンコーダは,適応的な大規模検索のための距離空間構造を保持する。
論文 参考訳(メタデータ) (2023-10-11T17:57:14Z) - Dual-Query Multiple Instance Learning for Dynamic Meta-Embedding based
Tumor Classification [5.121989578393729]
全スライド画像(WSI)の評価は、がんの診断と治療計画において困難かつ重要なステップである。
粗粒度のラベルは容易にアクセスでき、WSI分類がマルチインスタンス学習(MIL)の理想的なユースケースとなる。
埋め込み型Dual-Query MILパイプライン(DQ-MIL)を提案する。
論文 参考訳(メタデータ) (2023-07-14T17:06:49Z) - Multi-level Multiple Instance Learning with Transformer for Whole Slide
Image Classification [32.43847786719133]
ホイルスライド画像(WSI)は、コンピュータ支援診断(CAD)において広く用いられている高解像度スキャンされた組織像の一種である。
本稿では,MIL に階層構造を導入し,多数のインスタンスを含む MIL タスクの効率的な処理を可能にするマルチレベル MIL (MMIL) 方式を提案する。
MMILに基づくMMIL-Transformerは,大規模MILタスクに対して,ウィンドウ化された正確な自己アテンションを持つ効率的なトランスフォーマーモデルである。
論文 参考訳(メタデータ) (2023-06-08T08:29:10Z) - STMT: A Spatial-Temporal Mesh Transformer for MoCap-Based Action
Recognition [66.96931254510544]
本研究では、モーションキャプチャー(MoCap)シーケンスを用いた人間の行動認識の問題点について検討する。
メッシュシーケンスを直接モデル化する新しい時空間メッシュ変換器(STMT)を提案する。
提案手法は,スケルトンベースモデルやポイントクラウドベースモデルと比較して,最先端の性能を実現する。
論文 参考訳(メタデータ) (2023-03-31T16:19:27Z) - Hierarchical Transformer for Survival Prediction Using Multimodality
Whole Slide Images and Genomics [63.76637479503006]
下流タスクのためのギガピクセルレベルのスライド病理画像(WSI)の良質な表現を学習することが重要である。
本稿では,病理画像と対応する遺伝子間の階層的マッピングを学習する階層型マルチモーダルトランスフォーマーフレームワークを提案する。
より優れたWSI表現能力を維持しながら、ベンチマーク手法と比較してGPUリソースが少ないアーキテクチャです。
論文 参考訳(メタデータ) (2022-11-29T23:47:56Z) - Joint Spatial-Temporal and Appearance Modeling with Transformer for
Multiple Object Tracking [59.79252390626194]
本稿ではTransSTAMという新しい手法を提案する。Transformerを利用して各オブジェクトの外観特徴とオブジェクト間の空間的時間的関係の両方をモデル化する。
提案手法はMOT16, MOT17, MOT20を含む複数の公開ベンチマークで評価され, IDF1とHOTAの両方で明確な性能向上を実現している。
論文 参考訳(メタデータ) (2022-05-31T01:19:18Z) - DTFD-MIL: Double-Tier Feature Distillation Multiple Instance Learning
for Histopathology Whole Slide Image Classification [18.11776334311096]
マルチプル・インスタンス・ラーニング(MIL)は、スライド画像(WSI)の病理組織学的分類において、ますます使われている。
擬似バッグの概念を導入することにより,バッグの数を事実上拡大することを提案する。
我々はまた、注目に基づくMILの枠組みに基づくインスタンス確率の導出にも貢献し、この導出を利用して提案したフレームワークの構築と分析に役立てる。
論文 参考訳(メタデータ) (2022-03-22T22:33:42Z) - Dual-stream Multiple Instance Learning Network for Whole Slide Image
Classification with Self-supervised Contrastive Learning [16.84711797934138]
スライド画像全体分類(WSI)の課題に対処する。
WSI分類は、スライドレベルラベルのみが利用可能である場合、多重インスタンス学習(MIL)問題としてキャストすることができる。
局所アノテーションを必要としないWSI分類と腫瘍検出のためのMILベースの手法を提案する。
論文 参考訳(メタデータ) (2020-11-17T20:51:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。