論文の概要: Free Lunch in Pathology Foundation Model: Task-specific Model Adaptation with Concept-Guided Feature Enhancement

• arxiv url: http://arxiv.org/abs/2411.09894v1
• Date: Fri, 15 Nov 2024 02:38:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-18 15:38:20.193532
• Title: Free Lunch in Pathology Foundation Model: Task-specific Model Adaptation with Concept-Guided Feature Enhancement
• Title（参考訳）: 病理ファンデーションモデルにおけるフリーランチ:概念誘導機能強化によるタスク固有モデル適応
• Authors: Yanyan Huang, Weiqin Zhao, Yihang Chen, Yu Fu, Lequan Yu,
• Abstract要約: 概念アンカー誘導型タスク固有特徴強調(CATE)を提案する。 CATEは、特定の下流タスクに対する病理基盤モデルの表現性と識別性を高めることができる。 パブリックなWSIデータセットの実験は、CATEがMILモデルの性能と一般化性を著しく向上させることを示した。
• 参考スコア（独自算出の注目度）: 18.839406725114042
• License:
• Abstract: Whole slide image (WSI) analysis is gaining prominence within the medical imaging field. Recent advances in pathology foundation models have shown the potential to extract powerful feature representations from WSIs for downstream tasks. However, these foundation models are usually designed for general-purpose pathology image analysis and may not be optimal for specific downstream tasks or cancer types. In this work, we present Concept Anchor-guided Task-specific Feature Enhancement (CATE), an adaptable paradigm that can boost the expressivity and discriminativeness of pathology foundation models for specific downstream tasks. Based on a set of task-specific concepts derived from the pathology vision-language model with expert-designed prompts, we introduce two interconnected modules to dynamically calibrate the generic image features extracted by foundation models for certain tasks or cancer types. Specifically, we design a Concept-guided Information Bottleneck module to enhance task-relevant characteristics by maximizing the mutual information between image features and concept anchors while suppressing superfluous information. Moreover, a Concept-Feature Interference module is proposed to utilize the similarity between calibrated features and concept anchors to further generate discriminative task-specific features. The extensive experiments on public WSI datasets demonstrate that CATE significantly enhances the performance and generalizability of MIL models. Additionally, heatmap and umap visualization results also reveal the effectiveness and interpretability of CATE. The source code is available at https://github.com/HKU-MedAI/CATE.
• Abstract（参考訳）: 医用画像における全スライド画像(WSI)解析の優位性が高まっている。 病理基盤モデルの最近の進歩は、下流タスクのためにWSIから強力な特徴表現を抽出する可能性を示している。 しかしながら、これらの基礎モデルは一般的に汎用的な病理画像解析のために設計されており、特定の下流のタスクやがんタイプには最適ではないかもしれない。 本稿では、特定の下流タスクに対する病理基盤モデルの表現性と識別性を向上する適応可能なパラダイムである概念アンカー誘導タスク特化機能拡張(CATE)を提案する。 専門的なプロンプトを持つ病理視覚言語モデルから派生したタスク固有概念のセットに基づいて,特定のタスクやがんタイプに対して基礎モデルによって抽出された一般的な画像特徴を動的に校正する2つの相互接続モジュールを導入する。 具体的には,画像特徴と概念アンカー間の相互情報を最大化し,過剰な情報を抑えながらタスク関連特性を高めるための概念誘導型インフォメーション・ボトルネック・モジュールを設計する。 さらに, キャリブレーションされた特徴と概念アンカーの類似性を利用して, タスク固有の特徴を識別する概念-機能干渉モジュールを提案する。 公開WSIデータセットに関する広範な実験により、CATEはMILモデルの性能と一般化性を著しく向上させることが示された。 さらに,CATEの有効性と解釈性も明らかにした。 ソースコードはhttps://github.com/HKU-MedAI/CATEで入手できる。

関連論文リスト

• KA$^2$ER: Knowledge Adaptive Amalgamation of ExpeRts for Medical Images Segmentation [5.807887214293438]
  本稿では,多元的基礎モデルを学習し,複数のエキスパートモデルの協調的な目標に対処することを目的としたアダプティブ・アマルガメーション・ナレッジ・フレームワークを提案する。 特に、まず、各タスクに対してnnUNetベースのエキスパートモデルをトレーニングし、トレーニング済みのSwinUNTERをターゲット基盤モデルとして再利用する。 隠蔽層内の階層的アテンション機構は、すべての専門家の隠蔽層の特徴知識にターゲットモデルの適応的なマージを実現するように設計されている。
  論文  参考訳（メタデータ） (2024-10-28T14:49:17Z)
• Foundation Models for Slide-level Cancer Subtyping in Digital Pathology [1.7641392161755438]
  本研究の目的は,MIL フレームワークを用いて,WSI 上の癌サブタイプのための事前訓練戦略に基づいて開発された様々な特徴抽出器の性能を比較することである。 その結果、6種類の皮膚がんの亜型を予測するために、イメージネットが事前訓練したモデルを超える基礎モデルの有効性が示された。
  論文  参考訳（メタデータ） (2024-10-21T11:04:58Z)
• Unsupervised Model Diagnosis [49.36194740479798]
  本稿では,ユーザガイドを使わずに,意味論的対実的説明を生成するために,Unsupervised Model Diagnosis (UMO)を提案する。 提案手法は意味論における変化を特定し可視化し,その変化を広範囲なテキストソースの属性と照合する。
  論文  参考訳（メタデータ） (2024-10-08T17:59:03Z)
• Comprehensive Generative Replay for Task-Incremental Segmentation with Concurrent Appearance and Semantic Forgetting [49.87694319431288]
  一般的なセグメンテーションモデルは、異なる画像ソースからの様々なオブジェクトを含む様々なタスクに対して、ますます好まれている。 画像とマスクのペアを合成することで外観と意味の知識を復元する包括的生成(CGR)フレームワークを提案する。 漸進的タスク(心身、基礎、前立腺のセグメンテーション)の実験は、同時出現と意味的忘れを緩和する上で、明らかな優位性を示している。
  論文  参考訳（メタデータ） (2024-06-28T10:05:58Z)
• ProtoS-ViT: Visual foundation models for sparse self-explainable classifications [0.6249768559720122]
  この研究は、凍結したトレーニング済みのViTバックボーンが、いかに効果的に原型モデルに変換できるかを示す。 ProtoS-ViTは、精度、コンパクト性、説明可能性の点で優れた性能を示す既存のプロトタイプモデルを上回る。
  論文  参考訳（メタデータ） (2024-06-14T13:36:30Z)
• Language Guided Domain Generalized Medical Image Segmentation [68.93124785575739]
  単一ソースドメインの一般化は、より信頼性が高く一貫性のあるイメージセグメンテーションを現実の臨床環境にわたって約束する。 本稿では,テキストエンコーダ機能によって案内されるコントラスト学習機構を組み込むことで,テキスト情報を明確に活用する手法を提案する。 文献における既存手法に対して,本手法は良好な性能を発揮する。
  論文  参考訳（メタデータ） (2024-04-01T17:48:15Z)
• Harnessing Diffusion Models for Visual Perception with Meta Prompts [68.78938846041767]
  本稿では,視覚知覚タスクの拡散モデルを用いた簡易かつ効果的な手法を提案する。 学習可能な埋め込み(メタプロンプト)を事前学習した拡散モデルに導入し、知覚の適切な特徴を抽出する。 提案手法は,NYU 深度 V2 と KITTI の深度推定タスク,および CityScapes のセマンティックセグメンテーションタスクにおいて,新しい性能記録を実現する。
  論文  参考訳（メタデータ） (2023-12-22T14:40:55Z)
• The Importance of Downstream Networks in Digital Pathology Foundation Models [1.689369173057502]
  162のアグリゲーションモデル構成を持つ3つの異なるデータセットにまたがる7つの特徴抽出モデルを評価する。 多くの特徴抽出器モデルの性能は顕著に類似していることが判明した。
  論文  参考訳（メタデータ） (2023-11-29T16:54:25Z)
• MAP: Domain Generalization via Meta-Learning on Anatomy-Consistent Pseudo-Modalities [12.194439938007672]
  解剖学的に整合した擬似モダリティ(MAP)のメタラーニングを提案する。 MAPは構造的特徴を学習することでモデル一般化性を向上させる。 各種網膜画像モダリティの公開データセットを7つ評価した。
  論文  参考訳（メタデータ） (2023-09-03T22:56:22Z)
• UniDiff: Advancing Vision-Language Models with Generative and Discriminative Learning [86.91893533388628]
  本稿では、画像テキストコントラスト学習(ITC)、テキスト条件付き画像合成学習(IS)、相互意味整合性モデリング(RSC)を統合した統合マルチモーダルモデルUniDiffを提案する。 UniDiffはマルチモーダル理解と生成タスクの両方において汎用性を示す。
  論文  参考訳（メタデータ） (2023-06-01T15:39:38Z)
• Dynamic Feature Integration for Simultaneous Detection of Salient Object, Edge and Skeleton [108.01007935498104]
  本稿では,高次物体分割,エッジ検出,スケルトン抽出など,低レベルの3つの視覚問題を解く。 まず、これらのタスクで共有される類似点を示し、統一されたフレームワークの開発にどのように活用できるかを示す。
  論文  参考訳（メタデータ） (2020-04-18T11:10:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。