論文の概要: Pathology-knowledge Enhanced Multi-instance Prompt Learning for Few-shot Whole Slide Image Classification

• arxiv url: http://arxiv.org/abs/2407.10814v1
• Date: Mon, 15 Jul 2024 15:31:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-16 14:30:11.789355
• Title: Pathology-knowledge Enhanced Multi-instance Prompt Learning for Few-shot Whole Slide Image Classification
• Title（参考訳）: ファウショット全スライド画像分類のための病理知識強化マルチインスタンス・プロンプト学習
• Authors: Linhao Qu, Dingkang Yang, Dan Huang, Qinhao Guo, Rongkui Luo, Shaoting Zhang, Xiaosong Wang,
• Abstract要約: 臨床環境では、患者のプライバシ上の懸念や、稀な疾患や新興疾患の流行により、病的スライドへのアクセスが制限されることは避けられない。 本稿では,病理知識によって強化されたマルチインスタンス・プロンプト学習フレームワークを提案する。 本手法は,3つの困難な臨床課題において優れた成績を示し,比較数ショット法よりも優れていた。
• 参考スコア（独自算出の注目度）: 19.070685830687285
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Current multi-instance learning algorithms for pathology image analysis often require a substantial number of Whole Slide Images for effective training but exhibit suboptimal performance in scenarios with limited learning data. In clinical settings, restricted access to pathology slides is inevitable due to patient privacy concerns and the prevalence of rare or emerging diseases. The emergence of the Few-shot Weakly Supervised WSI Classification accommodates the significant challenge of the limited slide data and sparse slide-level labels for diagnosis. Prompt learning based on the pre-trained models (\eg, CLIP) appears to be a promising scheme for this setting; however, current research in this area is limited, and existing algorithms often focus solely on patch-level prompts or confine themselves to language prompts. This paper proposes a multi-instance prompt learning framework enhanced with pathology knowledge, \ie, integrating visual and textual prior knowledge into prompts at both patch and slide levels. The training process employs a combination of static and learnable prompts, effectively guiding the activation of pre-trained models and further facilitating the diagnosis of key pathology patterns. Lightweight Messenger (self-attention) and Summary (attention-pooling) layers are introduced to model relationships between patches and slides within the same patient data. Additionally, alignment-wise contrastive losses ensure the feature-level alignment between visual and textual learnable prompts for both patches and slides. Our method demonstrates superior performance in three challenging clinical tasks, significantly outperforming comparative few-shot methods.
• Abstract（参考訳）: 病理画像解析のための現在のマルチインスタンス学習アルゴリズムは、効果的なトレーニングのためにかなりの数の全スライド画像を必要とすることが多いが、限られた学習データを持つシナリオでは、最適以下の性能を示す。 臨床環境では、患者のプライバシ上の懸念や、稀な疾患や新興疾患の流行により、病的スライドへのアクセスが制限されることは避けられない。 Few-shot Weakly Supervised WSI Classificationの出現は、限られたスライドデータと少ないスライドレベルラベルによる診断の重大な課題に対応する。 事前訓練されたモデル(\eg, CLIP)に基づくプロンプト学習は、この設定には有望なスキームであるように見えるが、この領域における現在の研究は限られており、既存のアルゴリズムはパッチレベルのプロンプトのみに焦点を当てたり、言語プロンプトに限定することが多い。 本稿では,画像とテキストの事前知識をパッチレベルとスライドレベルの両方のプロンプトに統合し,病理知識を付加したマルチインスタンス・プロンプト学習フレームワークを提案する。 トレーニングプロセスは静的なプロンプトと学習可能なプロンプトを組み合わせており、トレーニング済みモデルの活性化を効果的に導くとともに、重要な病理パターンの診断を容易にする。 軽量メッセンジャー(セルフアテンション)と概要(アテンションプール)レイヤを導入して、同じ患者データ内のパッチとスライドの関係をモデル化する。 さらに、アライメントに関して対照的な損失は、パッチとスライドの両方の視覚的およびテキスト的学習可能なプロンプト間の機能レベルのアライメントを保証する。 本手法は,3つの困難な臨床課題において優れた成績を示し,比較数ショット法よりも優れていた。

関連論文リスト

• FOCUS: Knowledge-enhanced Adaptive Visual Compression for Few-shot Whole Slide Image Classification [4.148491257542209]
  少ないショット学習は、計算病理学における癌診断の重要な解決策である。 このパラダイムにおける重要な課題は、スライド画像全体(WSI)の限られたトレーニングセットと膨大な数のパッチとの間の固有の相違に起因する。 我々は、診断関連領域の集中分析を可能にするために、知識強化型適応型視覚圧縮フレームワーク、FOCUSを紹介した。
  論文  参考訳（メタデータ） (2024-11-22T05:36:38Z)
• Optimizing Skin Lesion Classification via Multimodal Data and Auxiliary Task Integration [54.76511683427566]
  本研究は, スマートフォンで撮影した画像と本質的な臨床および人口統計情報を統合することで, 皮膚病変を分類する新しいマルチモーダル手法を提案する。 この手法の特徴は、超高解像度画像予測に焦点を当てた補助的なタスクの統合である。 PAD-UFES20データセットを用いて,様々なディープラーニングアーキテクチャを用いて実験を行った。
  論文  参考訳（メタデータ） (2024-02-16T05:16:20Z)
• MLIP: Enhancing Medical Visual Representation with Divergence Encoder and Knowledge-guided Contrastive Learning [48.97640824497327]
  本稿では、画像テキストのコントラスト学習を通じて、言語情報を視覚領域に統合するための案内信号として、ドメイン固有の医療知識を活用する新しいフレームワークを提案する。 我々のモデルには、設計した分散エンコーダによるグローバルコントラスト学習、局所トークン・知識・パッチアライメントコントラスト学習、知識誘導型カテゴリレベルのコントラスト学習、エキスパートナレッジによるコントラスト学習が含まれる。 特に、MLIPは、限られた注釈付きデータであっても最先端の手法を超越し、医療表現学習の進歩におけるマルチモーダル事前学習の可能性を強調している。
  論文  参考訳（メタデータ） (2024-02-03T05:48:50Z)
• Towards a Visual-Language Foundation Model for Computational Pathology [5.72536252929528]
  病理組織学(CONCH)におけるコントラスト学習について紹介する。 CONCHは、様々な組織像、生医学的テキスト、タスクに依存しない事前トレーニングのソースを用いて開発された視覚言語基盤モデルである。 13種類の多様なベンチマークで評価され, 画像分類, セグメンテーション, キャプション, テキスト・ツー・イメージ検索, 画像・テキスト検索における最先端のパフォーマンスを達成している。
  論文  参考訳（メタデータ） (2023-07-24T16:13:43Z)
• From slides (through tiles) to pixels: an explainability framework for weakly supervised models in pre-clinical pathology [1.53934570513443]
  本稿では,新しいeXplainable AI(XAI)フレームワークの提案と,デジタル病理学におけるWSI(Whole Slide Images)を用いた深層学習モデルへの応用について述べる。 具体的には,スライドレベルラベルのみに基づくマルチインスタンス学習(MIL)モデルに適用する。 スライド全体の重要なタイルの説明は,正常な部位と病変の組織変化と相関するが,ヒトのアノテータのように振る舞うことはない。
  論文  参考訳（メタデータ） (2023-02-03T10:57:21Z)
• Self-Supervised Endoscopic Image Key-Points Matching [1.3764085113103222]
  本稿では,深層学習技術に基づく内視鏡画像マッチングのための新しい自己教師型アプローチを提案する。 提案手法は,手作りの標準的なローカル特徴記述子よりも精度とリコールの点で優れていた。
  論文  参考訳（メタデータ） (2022-08-24T10:47:21Z)
• LifeLonger: A Benchmark for Continual Disease Classification [59.13735398630546]
  MedMNISTコレクションの連続的な疾患分類のためのベンチマークであるLifeLongerを紹介する。 タスクとクラスでの病気の漸進的な学習は、モデルをスクラッチから再トレーニングすることなく、新しいサンプルを分類する問題に対処する。 クロスドメインインクリメンタル学習は、これまで得られた知識を維持しながら、異なる機関から派生したデータセットを扱う問題に対処する。
  論文  参考訳（メタデータ） (2022-04-12T12:25:05Z)
• Continual Active Learning Using Pseudo-Domains for Limited Labelling Resources and Changing Acquisition Characteristics [2.6105699925188257]
  臨床ルーチン中の医療画像における機械学習は、スキャナープロトコル、ハードウェア、ポリシーの変更によって損なわれる。 マルチスキャナ環境下で,医療画像のストリーム上で動作する連続的な能動学習手法を提案する。
  論文  参考訳（メタデータ） (2021-11-25T13:11:49Z)
• Dense Contrastive Visual-Linguistic Pretraining [53.61233531733243]
  画像とテキストを共同で表現するマルチモーダル表現学習手法が提案されている。 これらの手法は,大規模マルチモーダル事前学習から高レベルな意味情報を取得することにより,優れた性能を実現する。 そこで本稿では,非バイアスのDense Contrastive Visual-Linguistic Pretrainingを提案する。
  論文  参考訳（メタデータ） (2021-09-24T07:20:13Z)
• Multi-label Thoracic Disease Image Classification with Cross-Attention Networks [65.37531731899837]
  胸部X線画像から胸部疾患を自動分類するためのCAN(Cross-Attention Networks)を提案する。 また,クロスエントロピー損失を超える新たな損失関数を設計し,クラス間の不均衡を克服する。
  論文  参考訳（メタデータ） (2020-07-21T14:37:00Z)
• Semi-supervised Medical Image Classification with Relation-driven Self-ensembling Model [71.80319052891817]
  医用画像分類のための関係駆動型半教師付きフレームワークを提案する。 これは、摂動下で与えられた入力の予測一貫性を促進することでラベルのないデータを利用する。 本手法は,シングルラベルおよびマルチラベル画像分類のシナリオにおいて,最先端の半教師付き学習手法よりも優れる。
  論文  参考訳（メタデータ） (2020-05-15T06:57:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。