論文の概要: MGPATH: Vision-Language Model with Multi-Granular Prompt Learning for Few-Shot WSI Classification

• arxiv url: http://arxiv.org/abs/2502.07409v1
• Date: Tue, 11 Feb 2025 09:42:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-12 14:08:59.869975
• Title: MGPATH: Vision-Language Model with Multi-Granular Prompt Learning for Few-Shot WSI Classification
• Title（参考訳）: MGPATH:Few-Shot WSI分類のための多角的プロンプト学習を用いた視覚言語モデル
• Authors: Anh-Tien Nguyen, Duy Minh Ho Nguyen, Nghiem Tuong Diep, Trung Quoc Nguyen, Nhat Ho, Jacqueline Michelle Metsch, Miriam Cindy Maurer, Daniel Sonntag, Hanibal Bohnenberger, Anne-Christin Hauschild,
• Abstract要約: 全スライド画像分類は、ギガピクセル画像サイズと限定アノテーションラベルによる課題を提示する。 本稿では,数ショットの病理分類に大規模な視覚言語モデルを適用するための素早い学習手法を提案する。
• 参考スコア（独自算出の注目度）: 19.29480118378639
• License:
• Abstract: Whole slide pathology image classification presents challenges due to gigapixel image sizes and limited annotation labels, hindering model generalization. This paper introduces a prompt learning method to adapt large vision-language models for few-shot pathology classification. We first extend the Prov-GigaPath vision foundation model, pre-trained on 1.3 billion pathology image tiles, into a vision-language model by adding adaptors and aligning it with medical text encoders via contrastive learning on 923K image-text pairs. The model is then used to extract visual features and text embeddings from few-shot annotations and fine-tunes with learnable prompt embeddings. Unlike prior methods that combine prompts with frozen features using prefix embeddings or self-attention, we propose multi-granular attention that compares interactions between learnable prompts with individual image patches and groups of them. This approach improves the model's ability to capture both fine-grained details and broader context, enhancing its recognition of complex patterns across sub-regions. To further improve accuracy, we leverage (unbalanced) optimal transport-based visual-text distance to secure model robustness by mitigating perturbations that might occur during the data augmentation process. Empirical experiments on lung, kidney, and breast pathology modalities validate the effectiveness of our approach; thereby, we surpass several of the latest competitors and consistently improve performance across diverse architectures, including CLIP, PLIP, and Prov-GigaPath integrated PLIP. We release our implementations and pre-trained models at this MGPATH.
• Abstract（参考訳）: 全スライド画像分類は、ギガピクセル画像サイズと限定アノテーションラベルによる課題を示し、モデル一般化を妨げる。 本稿では,数ショットの病理分類に大規模な視覚言語モデルを適用するための素早い学習手法を提案する。 我々はまず,13億の病理画像タイルを事前学習したProv-GigaPath視覚基盤モデルを,適応子を追加し,923K画像テキストペアのコントラスト学習を通じて医療用テキストエンコーダと整合させることにより,視覚言語モデルに拡張する。 その後、このモデルは、学習可能なプロンプト埋め込みで、少数ショットアノテーションや微調整から視覚的特徴やテキスト埋め込みを抽出するために使用される。 プレフィックス埋め込みや自己アテンションを用いたフリーズ機能とプロンプトを組み合わせた従来の手法とは異なり,学習可能なプロンプトと個々のイメージパッチとグループ間の相互作用を比較する多粒性アテンションを提案する。 このアプローチは、詳細な詳細とより広いコンテキストの両方をキャプチャするモデルの能力を改善し、サブリージョンにわたる複雑なパターンの認識を高めます。 精度をさらに向上するために、データ拡張プロセス中に発生する摂動を軽減し、(不均衡な)最適輸送ベースの視覚テキスト距離を利用してモデルロバスト性を確保する。 CLIP,PLIP,Prov-GigaPathを統合したPLIPを含む多種多様なアーキテクチャにおいて, 肺, 腎臓, 乳房病理の実証実験を行い, 提案手法の有効性を検証した。 このMGPATHで実装と事前訓練されたモデルをリリースします。

関連論文リスト

• ViLa-MIL: Dual-scale Vision-Language Multiple Instance Learning for Whole Slide Image Classification [52.405499816861635]
  多重インスタンス学習(MIL)ベースのフレームワークは、スライド画像全体(WSI)を処理する上で主流になっている。 スライド画像全体の分類のための2次元視覚言語多言語学習(ViLa-MIL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-12T13:28:46Z)
• DILLEMA: Diffusion and Large Language Models for Multi-Modal Augmentation [0.13124513975412253]
  本稿では,大規模言語モデルと制御条件拡散モデルを活用した視覚ニューラルネットワークのテストフレームワークを提案する。 私たちのアプローチは、キャプションモデルを用いて画像から詳細なテキスト記述に変換することから始まります。 これらの記述は、テキストから画像への拡散プロセスを通じて、新しいテスト画像を生成するために使用される。
  論文  参考訳（メタデータ） (2025-02-05T16:35:42Z)
• FUSE-ing Language Models: Zero-Shot Adapter Discovery for Prompt Optimization Across Tokenizers [55.2480439325792]
  FUSEは、あるモデルのテキスト埋め込み空間から別のモデルへのマッピングを行うアダプタ層を、異なるトークン化器にまたがっても近似するアプローチである。 画像キャプションと感情に基づく画像キャプションのための視覚言語モデルと因果言語モデルに対する多目的最適化によるアプローチの有効性を示す。
  論文  参考訳（メタデータ） (2024-08-09T02:16:37Z)
• CPLIP: Zero-Shot Learning for Histopathology with Comprehensive Vision-Language Alignment [40.811510317145675]
  CPLIPは、病理組織学における画像とテキストのアライメントを強化する新しい教師なし技術である。 複数の病理組織学的タスクで評価され、CPLIPはゼロショット学習シナリオにおいて顕著な改善を示した。 さらなる研究とレプリケーションを促進するため、CPLIPのコードはGitHubで入手できる。
  論文  参考訳（メタデータ） (2024-06-07T18:39:58Z)
• Learned representation-guided diffusion models for large-image generation [58.192263311786824]
  自己教師型学習(SSL)からの埋め込みを条件とした拡散モデルを訓練する新しいアプローチを導入する。 我々の拡散モデルは、これらの特徴を高品質な病理組織学およびリモートセンシング画像に投影することに成功した。 実画像のバリエーションを生成して実データを増やすことにより、パッチレベルおよび大規模画像分類タスクの下流精度が向上する。
  論文  参考訳（メタデータ） (2023-12-12T14:45:45Z)
• Towards a Visual-Language Foundation Model for Computational Pathology [5.72536252929528]
  病理組織学(CONCH)におけるコントラスト学習について紹介する。 CONCHは、様々な組織像、生医学的テキスト、タスクに依存しない事前トレーニングのソースを用いて開発された視覚言語基盤モデルである。 13種類の多様なベンチマークで評価され, 画像分類, セグメンテーション, キャプション, テキスト・ツー・イメージ検索, 画像・テキスト検索における最先端のパフォーマンスを達成している。
  論文  参考訳（メタデータ） (2023-07-24T16:13:43Z)
• GPT4Image: Can Large Pre-trained Models Help Vision Models on Perception Tasks? [51.22096780511165]
  本稿では,大規模な事前学習モデルから抽出した知識を利用して,CNN や ViT などのモデルが拡張表現を学習するのを支援する新しい学習パラダイムを提案する。 我々は、詳細な記述を事前訓練されたエンコーダに入力し、画像の内容をエンコードするリッチなセマンティック情報でテキスト埋め込みを抽出する。
  論文  参考訳（メタデータ） (2023-06-01T14:02:45Z)
• SUR-adapter: Enhancing Text-to-Image Pre-trained Diffusion Models with Large Language Models [56.88192537044364]
  本研究では,事前学習拡散モデルに対するセマンティック・アダプタ (SUR-adapter) と呼ばれる簡易なパラメータ効率の良い微調整手法を提案する。 ユーザエクスペリエンスの向上により,テキストから画像への拡散モデルの使いやすさが向上する。
  論文  参考訳（メタデータ） (2023-05-09T05:48:38Z)
• Prompt-based Learning for Unpaired Image Captioning [86.44188293709307]
  Unpaired Image Captioning (UIC) は、非整合視覚言語サンプルペアから画像記述を学習するために開発された。 近年のVision-Language Pre-Trained Models (VL-PTMs) の成功は、プロンプトベース学習の発展を引き起こしている。 本稿では,UICモデルをトレーニングするためのプロンプトに基づく新しいスキームを提案し,その強力な一般化能力を最大限に活用する。
  論文  参考訳（メタデータ） (2022-05-26T03:13:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。