論文の概要: Dual-Query Multiple Instance Learning for Dynamic Meta-Embedding based
Tumor Classification
- arxiv url: http://arxiv.org/abs/2307.07482v2
- Date: Fri, 17 Nov 2023 11:30:33 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-22 18:48:50.908292
- Title: Dual-Query Multiple Instance Learning for Dynamic Meta-Embedding based
Tumor Classification
- Title(参考訳): 動的メタ埋め込みに基づく腫瘍分類のためのデュアルクエリ多重インスタンス学習
- Authors: Simon Holdenried-Krafft and Peter Somers and Ivonne A. Montes-Majarro
and Diana Silimon and Cristina Tar\'in and Falko Fend and Hendrik P. A.
Lensch
- Abstract要約: 全スライド画像(WSI)の評価は、がんの診断と治療計画において困難かつ重要なステップである。
粗粒度のラベルは容易にアクセスでき、WSI分類がマルチインスタンス学習(MIL)の理想的なユースケースとなる。
埋め込み型Dual-Query MILパイプライン(DQ-MIL)を提案する。
- 参考スコア(独自算出の注目度): 5.121989578393729
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Whole slide image (WSI) assessment is a challenging and crucial step in
cancer diagnosis and treatment planning. WSIs require high magnifications to
facilitate sub-cellular analysis. Precise annotations for patch- or even
pixel-level classifications in the context of gigapixel WSIs are tedious to
acquire and require domain experts. Coarse-grained labels, on the other hand,
are easily accessible, which makes WSI classification an ideal use case for
multiple instance learning (MIL). In our work, we propose a novel
embedding-based Dual-Query MIL pipeline (DQ-MIL). We contribute to both the
embedding and aggregation steps. Since all-purpose visual feature
representations are not yet available, embedding models are currently limited
in terms of generalizability. With our work, we explore the potential of
dynamic meta-embedding based on cutting-edge self-supervised pre-trained models
in the context of MIL. Moreover, we propose a new MIL architecture capable of
combining MIL-attention with correlated self-attention. The Dual-Query
Perceiver design of our approach allows us to leverage the concept of
self-distillation and to combine the advantages of a small model in the context
of a low data regime with the rich feature representation of a larger model. We
demonstrate the superior performance of our approach on three histopathological
datasets, where we show improvement of up to 10% over state-of-the-art
approaches.
- Abstract(参考訳): 全スライド画像(WSI)の評価は、がんの診断と治療計画において困難かつ重要なステップである。
WSIは細胞内分析を容易にするために高い倍率を必要とする。
ギガピクセルwsisのコンテキストにおけるパッチやピクセルレベルの分類の正確なアノテーションは、ドメインの専門家の獲得と要求が面倒です。
一方、粒度の粗いラベルは簡単にアクセスでき、wsi分類は複数インスタンス学習(mil)の理想的なユースケースとなる。
本稿では,新しい組込み型Dual-Query MILパイプライン(DQ-MIL)を提案する。
私たちは埋め込みと集約の両方のステップに貢献します。
汎用的な視覚的特徴表現はまだ利用できないため、埋め込みモデルは一般化性の観点から制限されている。
本研究では,MILの文脈における最先端の自己教師付き事前学習モデルに基づく動的メタ埋め込みの可能性を探る。
さらに,MILアテンションと相関自己アテンションを組み合わせた新しいMILアーキテクチャを提案する。
提案手法のDual-Query Perceiver設計により、自己蒸留の概念を活用でき、低データ構造における小さなモデルの利点とより大きなモデルのリッチな特徴表現を組み合わせることができる。
我々は3つの病理組織学的データセットに対するアプローチの優れた性能を示し、最先端のアプローチよりも最大10%改善したことを示す。
関連論文リスト
- Multi-modal Auto-regressive Modeling via Visual Words [96.25078866446053]
本稿では,視覚的特徴を大規模多モードモデルの語彙上の確率分布にマッピングする視覚的単語の概念を提案する。
さらに、LMM内の意味空間における視覚的特徴の分布と、視覚情報を表現するためにテキスト埋め込みを使用することの可能性について検討する。
論文 参考訳(メタデータ) (2024-03-12T14:58:52Z) - The Power of Noise: Toward a Unified Multi-modal Knowledge Graph
Representation Framework [49.03191594327588]
マルチモーダルな知識グラフ(MMKG)表現学習フレームワークは,構造化された知識を大規模に多モーダルな言語モデル(LLM)に統合するために重要である。
モードレベルのノイズマスキングを備えたトランスフォーマーアーキテクチャを用いた新しいSNAG手法を提案する。
提案手法は,その堅牢性と汎用性を実証し,合計10データセットにわたるSOTA性能を実現する。
論文 参考訳(メタデータ) (2024-03-11T15:48:43Z) - MamMIL: Multiple Instance Learning for Whole Slide Images with State
Space Models [58.39336492765728]
がん診断のゴールドスタンダードである病理診断は、TransformerとMIL(Multiple Case Learning)フレームワークを併用して、全スライド画像(WSI)を用いて、優れたパフォーマンスを実現している。
選択的構造化状態空間モデル(Mamba)とMILとの協調によるWSI分類のためのMamMILフレームワークを提案する。
具体的には、マンバが一方向一次元(一次元)シーケンスモデリングしか行えないという問題を解決するため、双方向状態空間モデルと2次元コンテキスト認識ブロックを革新的に導入する。
論文 参考訳(メタデータ) (2024-03-08T09:02:13Z) - When Parameter-efficient Tuning Meets General-purpose Vision-language
Models [65.19127815275307]
PETALは、一意のモード近似技術によって達成される全パラメータの0.5%しか必要とせず、トレーニングプロセスに革命をもたらす。
実験の結果,PETALは現状の手法をほとんどのシナリオで上回るだけでなく,完全な微調整モデルよりも優れていることがわかった。
論文 参考訳(メタデータ) (2023-12-16T17:13:08Z) - TPMIL: Trainable Prototype Enhanced Multiple Instance Learning for Whole
Slide Image Classification [13.195971707693365]
我々は、弱い教師付きWSI分類のための訓練可能なプロトタイプ強化深層MILフレームワークを開発した。
本手法により, 異なる腫瘍のサブタイプ間の相関関係を明らかにすることができる。
提案手法を2つのWSIデータセット上でテストし,新たなSOTAを実現する。
論文 参考訳(メタデータ) (2023-05-01T07:39:19Z) - BEL: A Bag Embedding Loss for Transformer enhances Multiple Instance
Whole Slide Image Classification [39.53132774980783]
Bag Embedding Loss (BEL) は、同一クラスのバッグ埋め込み間の距離を最小化し、異なるクラス間の距離を最大化することにより、モデルに識別可能なバッグレベルの表現を学習させる。
BELでは、TransMILは両方のデータセットのベースラインモデルよりも優れています。
論文 参考訳(メタデータ) (2023-03-02T16:02:55Z) - AMIGO: Sparse Multi-Modal Graph Transformer with Shared-Context
Processing for Representation Learning of Giga-pixel Images [53.29794593104923]
本稿では,スライド病理像全体に対する共有コンテキスト処理の新たな概念を提案する。
AMIGOは、組織内のセルラーグラフを使用して、患者に単一の表現を提供する。
我々のモデルは、データの20%以下で同じ性能を達成できる程度に、欠落した情報に対して強い堅牢性を示す。
論文 参考訳(メタデータ) (2023-03-01T23:37:45Z) - Dual-stream Multiple Instance Learning Network for Whole Slide Image
Classification with Self-supervised Contrastive Learning [16.84711797934138]
スライド画像全体分類(WSI)の課題に対処する。
WSI分類は、スライドレベルラベルのみが利用可能である場合、多重インスタンス学習(MIL)問題としてキャストすることができる。
局所アノテーションを必要としないWSI分類と腫瘍検出のためのMILベースの手法を提案する。
論文 参考訳(メタデータ) (2020-11-17T20:51:15Z) - Dynamic Memory Induction Networks for Few-Shot Text Classification [84.88381813651971]
本稿では,テキスト分類のための動的メモリ誘導ネットワーク(DMIN)を提案する。
提案したモデルでは, miniRCV1 と ODIC データセット上での新たな最先端結果を実現し,最高の性能(精度)を24%向上させる。
論文 参考訳(メタデータ) (2020-05-12T12:41:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。