論文の概要: MambaMIL: Enhancing Long Sequence Modeling with Sequence Reordering in
Computational Pathology
- arxiv url: http://arxiv.org/abs/2403.06800v1
- Date: Mon, 11 Mar 2024 15:17:25 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-12 18:31:50.371243
- Title: MambaMIL: Enhancing Long Sequence Modeling with Sequence Reordering in
Computational Pathology
- Title(参考訳): MambaMIL:計算病理学におけるシーケンス並べ替えによるロングシーケンスモデリングの強化
- Authors: Shu Yang, Yihui Wang, Hao Chen
- Abstract要約: MIL(Multiple Instance Learning)は、WSI(Whole Slide Images)内の識別的特徴表現を計算病理学で抽出する主要なパラダイムとして登場した。
本稿では,線形複雑度を持つ長周期モデリングのために,Selective Scan Space State Sequential Model(Mamba)をMIL(Multiple Instance Learning)に組み込む。
提案するフレームワークは,最先端のMIL手法に対して良好に機能する。
- 参考スコア(独自算出の注目度): 10.933433327636918
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multiple Instance Learning (MIL) has emerged as a dominant paradigm to
extract discriminative feature representations within Whole Slide Images (WSIs)
in computational pathology. Despite driving notable progress, existing MIL
approaches suffer from limitations in facilitating comprehensive and efficient
interactions among instances, as well as challenges related to time-consuming
computations and overfitting. In this paper, we incorporate the Selective Scan
Space State Sequential Model (Mamba) in Multiple Instance Learning (MIL) for
long sequence modeling with linear complexity, termed as MambaMIL. By
inheriting the capability of vanilla Mamba, MambaMIL demonstrates the ability
to comprehensively understand and perceive long sequences of instances.
Furthermore, we propose the Sequence Reordering Mamba (SR-Mamba) aware of the
order and distribution of instances, which exploits the inherent valuable
information embedded within the long sequences. With the SR-Mamba as the core
component, MambaMIL can effectively capture more discriminative features and
mitigate the challenges associated with overfitting and high computational
overhead. Extensive experiments on two public challenging tasks across nine
diverse datasets demonstrate that our proposed framework performs favorably
against state-of-the-art MIL methods. The code is released at
https://github.com/isyangshu/MambaMIL.
- Abstract(参考訳): MIL(Multiple Instance Learning)は、WSI(Whole Slide Images)内の識別的特徴表現を計算病理学で抽出する主要なパラダイムとして登場した。
目立った進歩を遂げたにもかかわらず、既存のMILアプローチは、インスタンス間の包括的かつ効率的なインタラクションを促進するための制限と、時間を要する計算と過度な適合に関する課題に悩まされている。
本稿では,マルチインスタンス学習 (mil) に選択的スキャン空間状態逐次モデル (mamba) を組み込んで,線形複雑度を持つ長いシーケンスモデリングを行い,mambamil と呼ぶ。
バニラ・マンバの能力を継承することで、MambaMILは、インスタンスの長いシーケンスを包括的に理解し、知覚する能力を示す。
さらに、長いシーケンスに埋め込まれた固有価値情報を利用する、インスタンスの順序と分布を意識したシーケンスリオーダー・マンバ(SR-Mamba)を提案する。
SR-Mambaをコアコンポーネントとして、MambaMILはより差別的な特徴を効果的に捉え、オーバーフィットと高い計算オーバーヘッドに関連する課題を軽減する。
9つの多様なデータセットにまたがる2つの公開課題に関する大規模な実験により、提案フレームワークは最先端のMIL手法に対して好適に機能することを示した。
コードはhttps://github.com/isyangshu/mambamilでリリースされている。
関連論文リスト
- FMamba: Mamba based on Fast-attention for Multivariate Time-series Forecasting [6.152779144421304]
多変量時系列予測(MTSF)のためのFMambaという新しいフレームワークを導入する。
技術的には、まず、埋め込み層を介して入力変数の時間的特徴を抽出し、次に高速アテンションモジュールを介して入力変数間の依存関係を計算する。
多層パーセプトロンブロック(MLP-block)を通して入力特徴を選択的に扱い、変数の時間的依存関係を抽出する。
最後に、FMambaは、線形層であるプロジェクターを通して予測結果を得る。
論文 参考訳(メタデータ) (2024-07-20T09:14:05Z) - DeciMamba: Exploring the Length Extrapolation Potential of Mamba [89.07242846058023]
本研究では,マンバに特化して設計された文脈拡張手法であるDeciMambaを紹介する。
DeciMambaは、トレーニング中に見たものよりも25倍長く、余分な計算資源を使わずに、コンテキスト長を外挿できることを示す。
論文 参考訳(メタデータ) (2024-06-20T17:40:18Z) - Vision Mamba: A Comprehensive Survey and Taxonomy [11.025533218561284]
状態空間モデル (State Space Model, SSM) は、動的システムの振る舞いを記述・解析するために用いられる数学的モデルである。
最新の状態空間モデルに基づいて、Mambaは時間変化パラメータをSSMにマージし、効率的なトレーニングと推論のためのハードウェア認識アルゴリズムを定式化する。
Mambaは、Transformerを上回る可能性のある、新たなAIアーキテクチャになることが期待されている。
論文 参考訳(メタデータ) (2024-05-07T15:30:14Z) - MamMIL: Multiple Instance Learning for Whole Slide Images with State
Space Models [58.39336492765728]
がん診断のゴールドスタンダードである病理診断は、TransformerとMIL(Multiple Case Learning)フレームワークを併用して、全スライド画像(WSI)を用いて、優れたパフォーマンスを実現している。
選択的構造化状態空間モデル(Mamba)とMILとの協調によるWSI分類のためのMamMILフレームワークを提案する。
具体的には、マンバが一方向一次元(一次元)シーケンスモデリングしか行えないという問題を解決するため、双方向状態空間モデルと2次元コンテキスト認識ブロックを革新的に導入する。
論文 参考訳(メタデータ) (2024-03-08T09:02:13Z) - The Hidden Attention of Mamba Models [54.50526986788175]
Mamba層は、複数のドメインをモデリングするのに非常に効果的である効率的な選択状態空間モデル(SSM)を提供する。
このようなモデルを注意駆動モデルとみなすことができる。
この新たな視点は、トランスの自己保持層のメカニズムを経験的かつ理論的に比較することを可能にする。
論文 参考訳(メタデータ) (2024-03-03T18:58:21Z) - PointMamba: A Simple State Space Model for Point Cloud Analysis [65.59944745840866]
我々は、最近の代表的状態空間モデル(SSM)であるMambaの成功を、NLPからポイントクラウド分析タスクへ転送するPointMambaを提案する。
従来のトランスフォーマーとは異なり、PointMambaは線形複雑性アルゴリズムを採用し、グローバルなモデリング能力を示しながら計算コストを大幅に削減する。
論文 参考訳(メタデータ) (2024-02-16T14:56:13Z) - Swin-UMamba: Mamba-based UNet with ImageNet-based pretraining [85.08169822181685]
本稿では,医療画像のセグメンテーションに特化して設計された新しいマンバモデルSwin-UMambaを紹介する。
Swin-UMamba は CNN や ViT,最新の Mamba ベースのモデルと比較して,優れたパフォーマンスを示している。
論文 参考訳(メタデータ) (2024-02-05T18:58:11Z) - Is Mamba Capable of In-Context Learning? [63.682741783013306]
GPT-4のような技術基盤モデルの現状は、文脈内学習(ICL)において驚くほどよく機能する
この研究は、新たに提案された状態空間モデルであるMambaが同様のICL能力を持つという実証的な証拠を提供する。
論文 参考訳(メタデータ) (2024-02-05T16:39:12Z) - PDL: Regularizing Multiple Instance Learning with Progressive Dropout Layers [2.069061136213899]
多重インスタンス学習(MIL)は、バッグとして知られるインスタンスのコレクションにバイナリクラスラベルを割り当てようとする、弱い教師付き学習アプローチである。
本稿では,複雑な特徴表現の発見において,MILモデルの過度な適合と強化を図るために,プログレッシブ・ドロップアウト・レイヤ(PDL)という手法を提案する。
論文 参考訳(メタデータ) (2023-08-19T21:20:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。