論文の概要: Enhancing Zero-Shot Brain Tumor Subtype Classification via Fine-Grained Patch-Text Alignment
- arxiv url: http://arxiv.org/abs/2508.01602v1
- Date: Sun, 03 Aug 2025 05:38:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-05 18:25:21.963381
- Title: Enhancing Zero-Shot Brain Tumor Subtype Classification via Fine-Grained Patch-Text Alignment
- Title(参考訳): ファイングラインドパッチテキストアライメントによるゼロショット脳腫瘍サブタイプ分類の強化
- Authors: Lubin Gan, Jing Zhang, Linhao Qu, Yijun Wang, Siying Wu, Xiaoyan Sun,
- Abstract要約: Fine-Grained Patch Alignment Network (FG-PAN)は、デジタル病理学に適した新しいゼロショットフレームワークである。
精細化された視覚特徴とLLM生成したきめ細かな記述とを合わせることで、FG-PANは視覚空間と意味空間の両方におけるクラス分離性を効果的に向上する。
- 参考スコア(独自算出の注目度): 12.345993355965232
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The fine-grained classification of brain tumor subtypes from histopathological whole slide images is highly challenging due to subtle morphological variations and the scarcity of annotated data. Although vision-language models have enabled promising zero-shot classification, their ability to capture fine-grained pathological features remains limited, resulting in suboptimal subtype discrimination. To address these challenges, we propose the Fine-Grained Patch Alignment Network (FG-PAN), a novel zero-shot framework tailored for digital pathology. FG-PAN consists of two key modules: (1) a local feature refinement module that enhances patch-level visual features by modeling spatial relationships among representative patches, and (2) a fine-grained text description generation module that leverages large language models to produce pathology-aware, class-specific semantic prototypes. By aligning refined visual features with LLM-generated fine-grained descriptions, FG-PAN effectively increases class separability in both visual and semantic spaces. Extensive experiments on multiple public pathology datasets, including EBRAINS and TCGA, demonstrate that FG-PAN achieves state-of-the-art performance and robust generalization in zero-shot brain tumor subtype classification.
- Abstract(参考訳): 病理組織学的全スライド画像からの脳腫瘍サブタイプのきめ細かい分類は,微妙な形態的変化と注釈データの不足により極めて困難である。
視覚言語モデルでは望ましくないゼロショット分類が可能になっているが、その微細な病理特徴を捉える能力は依然として限られており、亜タイプの識別に繋がる。
これらの課題に対処するため、デジタル病理学に適した新しいゼロショットフレームワークであるFG-PAN(Fincent-Grained Patch Alignment Network)を提案する。
FG-PANは,(1)代表パッチ間の空間的関係をモデル化して,パッチレベルの視覚的特徴を高める局所的特徴改善モジュール,(2)大規模言語モデルを利用して,病的認識とクラス固有のセマンティックプロトタイプを生成する微細なテキスト記述生成モジュールの2つの主要なモジュールから構成される。
精細化された視覚特徴とLLM生成したきめ細かな記述とを合わせることで、FG-PANは視覚空間と意味空間の両方におけるクラス分離性を効果的に向上する。
EBRAINSやTCGAを含む複数の公共病理データセットに関する大規模な実験は、FG-PANがゼロショット脳腫瘍のサブタイプ分類において最先端のパフォーマンスと堅牢な一般化を達成することを実証している。
関連論文リスト
- GMAT: Grounded Multi-Agent Clinical Description Generation for Text Encoder in Vision-Language MIL for Whole Slide Image Classification [4.922864692096282]
多重インスタンス学習(MIL)は、全スライド画像(WSI)分類における主要なアプローチである。
最近の研究は、医療知識を取り入れたビジョン言語モデル(VLM)をMILパイプラインに導入している。
本稿では2つの重要なコントリビューションを持つビジョン言語MILフレームワークを提案する。
論文 参考訳(メタデータ) (2025-08-02T09:59:39Z) - Advancing Generalizable Tumor Segmentation with Anomaly-Aware Open-Vocabulary Attention Maps and Frozen Foundation Diffusion Models [11.774375458215193]
Generalizable tumorは、さまざまな解剖学的領域にまたがるゼロショット腫瘍セグメンテーションのための単一のモデルを訓練することを目的としている。
DiffuGTSはテキストプロンプトに基づいて、異常対応のオープン語彙アテンションマップを生成する。
4つのデータセットと7つの腫瘍カテゴリの実験により,本手法の優れた性能が示された。
論文 参考訳(メタデータ) (2025-05-05T16:05:37Z) - Histomorphology-driven multi-instance learning for breast cancer WSI classification [37.70113409383555]
現在のスライド画像(WSI)分類法は、組織形態情報を効果的に組み込むのに苦労している。
組織形態をWSI分類に明示的に組み込んだ新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2025-03-23T08:25:29Z) - Leveraging Vision-Language Embeddings for Zero-Shot Learning in Histopathology Images [7.048241543461529]
ゼロショット組織像分類におけるこれらの課題に対処するため, MR-PHE(Multi-Resolution Prompt-Guided Hybrid Embedding)と呼ばれる新しいフレームワークを提案する。
我々は,グローバルな画像埋め込みと重み付けされたパッチ埋め込みを統合したハイブリッドな埋め込み戦略を導入する。
類似性に基づくパッチ重み付け機構は、クラス埋め込みとの関連性に基づいて、アテンションのような重み付けをパッチに割り当てる。
論文 参考訳(メタデータ) (2025-03-13T12:18:37Z) - MIRROR: Multi-Modal Pathological Self-Supervised Representation Learning via Modality Alignment and Retention [52.106879463828044]
病理組織学と転写学は、腫瘍学の基本的なモダリティであり、疾患の形態学的および分子的側面を包含している。
モーダルアライメントと保持を両立させる新しいマルチモーダル表現学習法であるMIRRORを提案する。
がんの亜型化と生存分析のためのTCGAコホートに関する広範囲な評価は,MIRRORの優れた性能を浮き彫りにしている。
論文 参考訳(メタデータ) (2025-03-01T07:02:30Z) - Discriminative Image Generation with Diffusion Models for Zero-Shot Learning [53.44301001173801]
ゼロショット学習のための新たな識別画像生成フレームワークであるDIG-ZSLを提案する。
我々は、事前学習されたカテゴリー識別モデル(CDM)の指導のもと、各未確認クラスの識別クラストークン(DCT)を学習する。
本稿では,4つのデータセットに対する広範な実験と可視化を行い,(1)多彩で高品質な画像を生成すること,(2)最先端の非人間アノテーション型セマンティックプロトタイプ手法を大きなマージンで上回ること,(3)人間アノテーションを利用したベースラインよりも同等あるいは優れた性能を実現すること,の4つが示される。
論文 参考訳(メタデータ) (2024-12-23T02:18:54Z) - HATs: Hierarchical Adaptive Taxonomy Segmentation for Panoramic Pathology Image Analysis [19.04633470168871]
パノラマ画像分割は、形態学的に複雑で可変スケールの解剖学のため、顕著な課題である。
本稿では, 腎臓構造のパノラマ像を, 詳細な解剖学的知見を生かして網羅的に把握することを目的とした, 階層型適応分類法を提案する。
提案手法では,各領域,機能単位,細胞にまたがる空間的関係を多機能な「プラグ・アンド・プレイ」損失関数に変換する革新的HATs手法と,解剖学的階層化と大規模考察を,全パノラマ要素に統一された単純な行列表現に変換すること,そして,(3)。
論文 参考訳(メタデータ) (2024-06-30T05:35:26Z) - A self-supervised framework for learning whole slide representations [52.774822784847565]
我々は、全スライド画像のギガピクセルスケールの自己スーパービジョンのためのSlide Pre-trained Transformer (SPT)を提案する。
バイオメディカル・マイクロスコープ・データセットを用いて,5つの診断課題におけるSPT視覚表現のベンチマークを行った。
論文 参考訳(メタデータ) (2024-02-09T05:05:28Z) - GSMFlow: Generation Shifts Mitigating Flow for Generalized Zero-Shot
Learning [55.79997930181418]
Generalized Zero-Shot Learningは、目に見えないクラスから見えないクラスに意味的な知識を移すことで、目に見えないクラスと見えないクラスの両方から画像を認識することを目的としている。
生成モデルの利点を生かして、見学したクラスから学んだ知識に基づいて、現実的な見知らぬサンプルを幻覚させることは、有望な解決策である。
本研究では,複数の条件付きアフィン結合層からなるフローベース生成フレームワークを提案する。
論文 参考訳(メタデータ) (2022-07-05T04:04:37Z) - Dual Progressive Prototype Network for Generalized Zero-Shot Learning [77.0715029826957]
Generalized Zero-Shot Learning (GZSL) は、セカンダリなセマンティック情報、例えばカテゴリ属性を持つ新しいカテゴリを認識することを目的としている。
我々のアプローチはDPPN(Dual Progressive Prototype Network)と呼ばれ、属性やカテゴリの視覚パターンを記録する2種類のプロトタイプを構築している。
4つのベンチマークの実験により、DPPNはGZSLの領域シフト問題を効果的に軽減することが示された。
論文 参考訳(メタデータ) (2021-11-03T08:43:29Z) - G-MIND: An End-to-End Multimodal Imaging-Genetics Framework for
Biomarker Identification and Disease Classification [49.53651166356737]
診断によって誘導される画像データと遺伝データを統合し、解釈可能なバイオマーカーを提供する新しいディープニューラルネットワークアーキテクチャを提案する。
2つの機能的MRI(fMRI)パラダイムとSingle Nucleotide Polymorphism (SNP)データを含む統合失調症の集団研究で本モデルを評価した。
論文 参考訳(メタデータ) (2021-01-27T19:28:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。