論文の概要: MambaMIL: Enhancing Long Sequence Modeling with Sequence Reordering in Computational Pathology

• arxiv url: http://arxiv.org/abs/2403.06800v1
• Date: Mon, 11 Mar 2024 15:17:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-12 18:31:50.371243
• Title: MambaMIL: Enhancing Long Sequence Modeling with Sequence Reordering in Computational Pathology
• Title（参考訳）: MambaMIL:計算病理学におけるシーケンス並べ替えによるロングシーケンスモデリングの強化
• Authors: Shu Yang, Yihui Wang, Hao Chen
• Abstract要約: MIL(Multiple Instance Learning)は、WSI(Whole Slide Images)内の識別的特徴表現を計算病理学で抽出する主要なパラダイムとして登場した。 本稿では,線形複雑度を持つ長周期モデリングのために,Selective Scan Space State Sequential Model(Mamba)をMIL(Multiple Instance Learning)に組み込む。 提案するフレームワークは,最先端のMIL手法に対して良好に機能する。
• 参考スコア（独自算出の注目度）: 10.933433327636918
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multiple Instance Learning (MIL) has emerged as a dominant paradigm to extract discriminative feature representations within Whole Slide Images (WSIs) in computational pathology. Despite driving notable progress, existing MIL approaches suffer from limitations in facilitating comprehensive and efficient interactions among instances, as well as challenges related to time-consuming computations and overfitting. In this paper, we incorporate the Selective Scan Space State Sequential Model (Mamba) in Multiple Instance Learning (MIL) for long sequence modeling with linear complexity, termed as MambaMIL. By inheriting the capability of vanilla Mamba, MambaMIL demonstrates the ability to comprehensively understand and perceive long sequences of instances. Furthermore, we propose the Sequence Reordering Mamba (SR-Mamba) aware of the order and distribution of instances, which exploits the inherent valuable information embedded within the long sequences. With the SR-Mamba as the core component, MambaMIL can effectively capture more discriminative features and mitigate the challenges associated with overfitting and high computational overhead. Extensive experiments on two public challenging tasks across nine diverse datasets demonstrate that our proposed framework performs favorably against state-of-the-art MIL methods. The code is released at https://github.com/isyangshu/MambaMIL.
• Abstract（参考訳）: MIL(Multiple Instance Learning)は、WSI(Whole Slide Images)内の識別的特徴表現を計算病理学で抽出する主要なパラダイムとして登場した。 目立った進歩を遂げたにもかかわらず、既存のMILアプローチは、インスタンス間の包括的かつ効率的なインタラクションを促進するための制限と、時間を要する計算と過度な適合に関する課題に悩まされている。 本稿では,マルチインスタンス学習 (mil) に選択的スキャン空間状態逐次モデル (mamba) を組み込んで,線形複雑度を持つ長いシーケンスモデリングを行い,mambamil と呼ぶ。 バニラ・マンバの能力を継承することで、MambaMILは、インスタンスの長いシーケンスを包括的に理解し、知覚する能力を示す。 さらに、長いシーケンスに埋め込まれた固有価値情報を利用する、インスタンスの順序と分布を意識したシーケンスリオーダー・マンバ(SR-Mamba)を提案する。 SR-Mambaをコアコンポーネントとして、MambaMILはより差別的な特徴を効果的に捉え、オーバーフィットと高い計算オーバーヘッドに関連する課題を軽減する。 9つの多様なデータセットにまたがる2つの公開課題に関する大規模な実験により、提案フレームワークは最先端のMIL手法に対して好適に機能することを示した。 コードはhttps://github.com/isyangshu/mambamilでリリースされている。

関連論文リスト

• Mamba-CL: Optimizing Selective State Space Model in Null Space for Continual Learning [54.19222454702032]
  継続的学習は、AIモデルに時間とともに一連のタスクを学習する能力を持たせることを目的としている。 ステートスペースモデル(SSM)はコンピュータビジョンにおいて顕著な成功を収めた。 大規模マンバ基礎モデルのコアSSMを連続的に微調整するフレームワークであるMamba-CLを紹介する。
  論文  参考訳（メタデータ） (2024-11-23T06:36:16Z)
• MLLA-UNet: Mamba-like Linear Attention in an Efficient U-Shape Model for Medical Image Segmentation [6.578088710294546]
  従来のセグメンテーション手法は、高い解剖学的変動、ぼやけた組織の境界、低い臓器コントラスト、ノイズといった課題に対処するのに苦労する。 MLLA-UNet(Mamba-like Linear Attention UNet)を提案する。 MLLA-UNetは、FLARE22、AMOS CT、ACDCに限らず、24の異なるセグメンテーションタスクを持つ6つの挑戦的なデータセットに対して、平均88.32%の最先端のパフォーマンスを達成することを示した。
  論文  参考訳（メタデータ） (2024-10-31T08:54:23Z)
• HRVMamba: High-Resolution Visual State Space Model for Dense Prediction [60.80423207808076]
  効率的なハードウェアを意識した設計のステートスペースモデル(SSM)は、コンピュータビジョンタスクにおいて大きな可能性を証明している。 これらのモデルは、誘導バイアスの不足、長距離の忘れ、低解像度の出力表現の3つの主要な課題によって制約されている。 本稿では, 変形可能な畳み込みを利用して, 長距離忘れ問題を緩和する動的ビジュアル状態空間(DVSS)ブロックを提案する。 また,DVSSブロックに基づく高分解能視覚空間モデル(HRVMamba)を導入し,プロセス全体を通して高分解能表現を保存する。
  論文  参考訳（メタデータ） (2024-10-04T06:19:29Z)
• Mamba2MIL: State Space Duality Based Multiple Instance Learning for Computational Pathology [17.329498427735565]
  本稿では,Mamba2MILと呼ばれる新しいマルチインスタンス学習フレームワークを提案する。 Mamba2MILは順序関係と順序に依存しない特徴を利用しており、配列情報の最適部分の利用をもたらす。 私たちは、複数のデータセットにまたがって広範な実験を行い、ほぼすべてのパフォーマンス指標の改善を実現しています。
  論文  参考訳（メタデータ） (2024-08-27T13:01:19Z)
• Bidirectional Gated Mamba for Sequential Recommendation [56.85338055215429]
  最近の進歩であるMambaは、時系列予測において例外的なパフォーマンスを示した。 SIGMA(Selective Gated Mamba)と呼ばれる,シークエンシャルレコメンデーションのための新しいフレームワークを紹介する。 以上の結果から,SIGMAは5つの実世界のデータセットにおいて,現在のモデルよりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-08-21T09:12:59Z)
• MambaMIM: Pre-training Mamba with State Space Token-interpolation [14.343466340528687]
  選択構造状態空間補間(S6T)に基づくMamba(MambaMIM)の自己教師型学習手法を提案する。 MambaMIMは、Mambaの長距離表現能力を向上するために、任意の単一またはハイブリッドのMambaアーキテクチャで使用することができる。
  論文  参考訳（メタデータ） (2024-08-15T10:35:26Z)
• FMamba: Mamba based on Fast-attention for Multivariate Time-series Forecasting [6.152779144421304]
  多変量時系列予測(MTSF)のためのFMambaという新しいフレームワークを導入する。 技術的には、まず、埋め込み層を介して入力変数の時間的特徴を抽出し、次に高速アテンションモジュールを介して入力変数間の依存関係を計算する。 多層パーセプトロンブロック(MLP-block)を通して入力特徴を選択的に扱い、変数の時間的依存関係を抽出する。 最後に、FMambaは、線形層であるプロジェクターを通して予測結果を得る。
  論文  参考訳（メタデータ） (2024-07-20T09:14:05Z)
• DeciMamba: Exploring the Length Extrapolation Potential of Mamba [89.07242846058023]
  本研究では,マンバに特化して設計された文脈拡張手法であるDeciMambaを紹介する。 DeciMambaは、トレーニング中に見たものよりも25倍長く、余分な計算資源を使わずに、コンテキスト長を外挿できることを示す。
  論文  参考訳（メタデータ） (2024-06-20T17:40:18Z)
• MamMIL: Multiple Instance Learning for Whole Slide Images with State Space Models [56.37780601189795]
  本稿では,WSI分析のためのフレームワークMamMILを提案する。 私たちは各WSIを非指向グラフとして表現します。 マンバが1次元シーケンスしか処理できない問題に対処するために、トポロジ対応の走査機構を提案する。
  論文  参考訳（メタデータ） (2024-03-08T09:02:13Z)
• Is Mamba Capable of In-Context Learning? [63.682741783013306]
  GPT-4のような技術基盤モデルの現状は、文脈内学習(ICL)において驚くほどよく機能する この研究は、新たに提案された状態空間モデルであるMambaが同様のICL能力を持つという実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2024-02-05T16:39:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。