論文の概要: The Rise of AI Language Pathologists: Exploring Two-level Prompt Learning for Few-shot Weakly-supervised Whole Slide Image Classification

• arxiv url: http://arxiv.org/abs/2305.17891v1
• Date: Mon, 29 May 2023 05:35:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-30 16:09:44.153855
• Title: The Rise of AI Language Pathologists: Exploring Two-level Prompt Learning for Few-shot Weakly-supervised Whole Slide Image Classification
• Title（参考訳）: ai言語病理学者の台頭: スライド画像分類における二段階学習の検討
• Authors: Linhao Qu, Xiaoyuan Luo, Kexue Fu, Manning Wang, Zhijian Song
• Abstract要約: 本稿では,FSWCと表記される病的全スライド画像(WSI)分類における弱教師あり学習の概念を紹介する。 大規模言語モデル GPT-4 の即時学習と活用に基づく解法を提案する。 提案手法では,GPT-4を質問応答モードで活用し,インスタンスレベルとバッグレベルの両方で言語事前知識を取得し,インスタンスレベルとバッグレベルの言語プロンプトに統合する。
• 参考スコア（独自算出の注目度）: 9.950131528559211
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper introduces the novel concept of few-shot weakly supervised learning for pathology Whole Slide Image (WSI) classification, denoted as FSWC. A solution is proposed based on prompt learning and the utilization of a large language model, GPT-4. Since a WSI is too large and needs to be divided into patches for processing, WSI classification is commonly approached as a Multiple Instance Learning (MIL) problem. In this context, each WSI is considered a bag, and the obtained patches are treated as instances. The objective of FSWC is to classify both bags and instances with only a limited number of labeled bags. Unlike conventional few-shot learning problems, FSWC poses additional challenges due to its weak bag labels within the MIL framework. Drawing inspiration from the recent achievements of vision-language models (V-L models) in downstream few-shot classification tasks, we propose a two-level prompt learning MIL framework tailored for pathology, incorporating language prior knowledge. Specifically, we leverage CLIP to extract instance features for each patch, and introduce a prompt-guided pooling strategy to aggregate these instance features into a bag feature. Subsequently, we employ a small number of labeled bags to facilitate few-shot prompt learning based on the bag features. Our approach incorporates the utilization of GPT-4 in a question-and-answer mode to obtain language prior knowledge at both the instance and bag levels, which are then integrated into the instance and bag level language prompts. Additionally, a learnable component of the language prompts is trained using the available few-shot labeled data. We conduct extensive experiments on three real WSI datasets encompassing breast cancer, lung cancer, and cervical cancer, demonstrating the notable performance of the proposed method in bag and instance classification. All codes will be made publicly accessible.
• Abstract（参考訳）: 本稿では,FSWCと表記される病的全スライド画像(WSI)分類における弱教師あり学習の概念を紹介する。 大規模言語モデルであるGPT-4の即時学習と活用に基づく解を提案する。 WSIはサイズが大きすぎて処理用のパッチに分割する必要があるため、WSI分類は一般的に多重インスタンス学習(MIL)問題としてアプローチされる。 この文脈では、各wsiはバッグと見なされ、得られたパッチはインスタンスとして扱われる。 FSWCの目的は、バッグとインスタンスの両方を限られた数のラベル付きバッグで分類することである。 従来の数発の学習問題とは異なり、FSWCはMILフレームワーク内のバッグラベルが弱いため、さらなる課題を提起している。 下流部における視覚言語モデル(v-lモデル)の最近の成果から着想を得て,言語先行知識を取り入れ,病理学に適した2段階のプロンプトラーニングミルフレームワークを提案する。 具体的には、CLIPを利用して各パッチのインスタンス機能を抽出し、これらのインスタンス機能をバッグ機能に集約するプロンプト誘導プーリング戦略を導入します。 その後,少数のラベル付きバッグを用いて,バッグの特徴に基づく数発のプロンプト学習を行う。 提案手法では,GPT-4を質問応答モードで活用し,インスタンスレベルとバッグレベルの両方で言語事前知識を取得し,インスタンスレベルとバッグレベルの言語プロンプトに統合する。 さらに、言語プロンプトの学習可能なコンポーネントは、利用可能な数少ないラベル付きデータを使用してトレーニングされる。 乳がん,肺癌,頸部癌を含む3つのWSIデータセットについて広範な実験を行い,バッグおよび事例分類における提案手法の顕著な性能を示した。 すべてのコードは公開アクセス可能である。

関連論文リスト

• FAST: A Dual-tier Few-Shot Learning Paradigm for Whole Slide Image Classification [23.323845050957196]
  既存のWSI分類法では、少数のきめ細かいラベルや弱い教師付きスライドラベルしか使用していない。 利用可能なWSIを十分にマイニングすることができず、WSI分類性能を著しく制限しています。 本稿では,WSI分類のためのFASTという,新規で効率的な2層複数ショット学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2024-09-29T14:31:52Z)
• MSCPT: Few-shot Whole Slide Image Classification with Multi-scale and Context-focused Prompt Tuning [11.717352903130411]
  多重インスタンス学習(MIL)は、スライド画像全体(WSI)の弱い教師付き分類のための標準パラダイムとなっている。 トレーニングデータの欠如と稀な疾患の存在は,これらの方法に重大な課題をもたらす。 本稿では、FSWCタスクのためのマルチスケールおよびコンテキスト中心のPrompt Tuning(MSCPT)手法を提案する。
  論文  参考訳（メタデータ） (2024-08-21T10:25:51Z)
• Disambiguated Attention Embedding for Multi-Instance Partial-Label Learning [68.56193228008466]
  多くの実世界のタスクでは、関連するオブジェクトは、候補ラベルセットに関連付けられたマルチインスタンスバッグとして表現することができる。 既存のMIPLアプローチは、各インスタンスに拡張候補ラベルセットを割り当て、インスタンスレベルのラベルからバッグレベルのラベルを集約することで、インスタンス空間のパラダイムに従っている。 本稿では,DEMIPLという直感的なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-05-26T13:25:17Z)
• Aligning Bag of Regions for Open-Vocabulary Object Detection [74.89762864838042]
  本稿では,各地域を超えて,各地域のバッグを埋め込む方法を提案する。 提案手法は,バッグとしてコンテキスト的相互関連領域をグループ化する。 オープンボキャブラリCOCOとLVISベンチマークの新たなカテゴリでは,従来の4.6ボックスAP50と2.8マスクAPよりも優れている。
  論文  参考訳（メタデータ） (2023-02-27T17:39:21Z)
• Multi-Modal Few-Shot Temporal Action Detection [157.96194484236483]
  Few-shot (FS) と Zero-shot (ZS) の学習は、時間的行動検出を新しいクラスに拡張するための2つの異なるアプローチである。 我々は、FS-TADとZS-TADの結婚として考えられるMMFS (Multi-modality few-shot) TAD問題を導入する。
  論文  参考訳（メタデータ） (2022-11-27T18:13:05Z)
• Multiple Instance Learning via Iterative Self-Paced Supervised Contrastive Learning [22.07044031105496]
  バッグレベルのラベルのみが利用可能な場合の個々のインスタンスの学習表現は、MIL(Multiple Case Learning)の課題である。 我々は、MIL表現のための新しいフレームワーク、Iterative Self-paced Supervised Contrastive Learning (ItS2CLR)を提案する。 バッグレベルのラベルから派生したインスタンスレベルの擬似ラベルを活用することで、学習された表現を改善する。
  論文  参考訳（メタデータ） (2022-10-17T21:43:32Z)
• Bi-directional Weakly Supervised Knowledge Distillation for Whole Slide Image Classification [9.43604501642743]
  本稿では,WSI分類のための弱監督型知識蒸留フレームワーク(WENO)を提案する。 本稿では,WSI分類のための弱教師付き知識蒸留フレームワークWENOを提案する。
  論文  参考訳（メタデータ） (2022-10-07T16:12:04Z)
• LASP: Text-to-Text Optimization for Language-Aware Soft Prompting of Vision & Language Models [67.19124099815645]
  ベースクラスオーバーフィットを軽減するために,Language-Aware Soft Prompting (LASP) 学習手法を提案する。 LASPは本質的に、トレーニング中に仮想クラス、すなわちビジュアルサンプルが使用できないクラス名を含むことができる。 LASPは、手作りのプロンプトとCLIPによる11のテストデータセットのうち8つの新しいクラスの精度が初めて一致し、上回っている。
  論文  参考訳（メタデータ） (2022-10-03T17:56:35Z)
• Multi-Modal Few-Shot Object Detection with Meta-Learning-Based Cross-Modal Prompting [77.69172089359606]
  本稿では,マルチモーダルな複数ショットオブジェクト検出(FSOD)について,少数ショット視覚例とクラスセマンティック情報の両方を用いて検討する。 我々のアプローチは、(メトリックベース)メタラーニングとプロンプトベースラーニングの高レベルな概念的類似性によって動機付けられている。 提案するマルチモーダルFSODモデルを,複数の複数ショットオブジェクト検出ベンチマークで総合的に評価し,有望な結果を得た。
  論文  参考訳（メタデータ） (2022-04-16T16:45:06Z)
• Accounting for Dependencies in Deep Learning Based Multiple Instance Learning for Whole Slide Imaging [8.712556146101953]
  多重インスタンス学習(MIL)は、スライド画像全体(WSI)を分類するための鍵となるアルゴリズムである。 ヒストロジー WSI には数十億ピクセルのピクセルがあり、膨大な計算とアノテーションの課題を生み出す。 本稿では,インスタンスの擬似ラベルに基づくインスタンス単位の損失関数を提案する。
  論文  参考訳（メタデータ） (2021-11-01T06:50:33Z)
• UniT: Unified Knowledge Transfer for Any-shot Object Detection and Segmentation [52.487469544343305]
  オブジェクト検出とセグメンテーションの方法は、トレーニングのための大規模インスタンスレベルのアノテーションに依存します。 本稿では,直感的かつ統一的な半教師付きモデルを提案する。
  論文  参考訳（メタデータ） (2020-06-12T22:45:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。