論文の概要: FFM-CP: Cross-Backbone Fusion of Vision-Language Foundation Models for Few-Shot Computational Pathology
- arxiv url: http://arxiv.org/abs/2609.27710v1
- Date: Wed, 23 Sep 2026 11:28:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-25 00:05:18.001174
- Title: FFM-CP: Cross-Backbone Fusion of Vision-Language Foundation Models for Few-Shot Computational Pathology
- Title(参考訳): FFM-CP:Few-Shot Computational Pathologyのためのビジョンランゲージ基礎モデルのクロスバックボーン核融合
- Abstract要約: Few-shot Fusion Foundation Models of Computational Pathology (FFM-CP)は、複数の病理の視覚言語モデルを組み合わせたフレームワークである。
整列空間内では、統合グラフは、サポートイメージ機能と視覚的およびテキスト的クラスのプロトタイプを併用することで、バックボーン間での情報交換を可能にする。
FFM-CPは、54個の比較のうち50個の融合集合において、最強の個別適応部材よりも高い平均マクロF1を達成する。
- 参考スコア(独自算出の注目度): 4.671205676564538
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Pathology vision-language foundation models vary in performance across diseases and tasks, with no single model consistently performing best. The high cost of expert pathology annotation can also limit the labeled data available for task-specific adaptation. Combining complementary pretrained representations is a potential approach to these limitations, yet learning an effective fusion from few labeled examples remains challenging. We introduce Few-shot Fusion Foundation Models of Computational Pathology (FFM-CP), which is a framework that combines multiple pathology vision-language models in the few-shot learning setting. The framework first aligns heterogeneous representations using a closed-form Orthogonal Procrustes transformation estimated from corresponding support images. This alignment preserves within-model feature geometry without training an additional alignment network. Within the aligned space, a unified graph enables information exchange across backbones by jointly refining support-image features and visual and textual class prototypes. These refined representations support complementary text-prototype and case-retrieval branches that capture semantic class knowledge and within-class visual variation, respectively. Each branch learns to combine predictions from all ordered backbone pairs, allowing queries encoded by one model to draw on evidence represented by another. We evaluate three backbone combinations on six histopathology datasets at 4, 8, and 16 shots per class. FFM-CP achieves higher mean macro-F1 than the strongest individually adapted member of each fused set in 50 of 54 comparisons. These findings suggest that combining complementary pretrained representations can improve histopathological classification when annotations are limited.
- Abstract(参考訳): 病理ヴィジュアル言語基礎モデルは、疾患やタスクによってパフォーマンスが異なり、1つのモデルが常に最高のパフォーマンスを発揮することはない。
専門家の病理アノテーションの高コストは、タスク固有の適応のために利用可能なラベル付きデータを制限することもできる。
相補的な事前訓練された表現を組み合わせることはこれらの制限に対する潜在的アプローチであるが、ラベル付き例から効果的な融合を学ぶことは依然として困難である。
本稿では,Few-shot Fusion Foundation Models of Computational Pathology (FFM-CP)を紹介する。
このフレームワークは、まず、対応する支持画像から推定される閉形式の直交プロクリスト変換を用いて異種表現を整列する。
このアライメントは、追加のアライメントネットワークをトレーニングすることなく、モデル内の特徴幾何を保存する。
整列空間内では、統合グラフは、サポートイメージ機能と視覚的およびテキスト的クラスのプロトタイプを併用することで、バックボーン間での情報交換を可能にする。
これらの洗練された表現は相補的なテキストプロトタイプとケース検索の分岐をサポートし、それぞれセマンティッククラス知識とクラス内の視覚的変化をキャプチャする。
各ブランチは、順序付けられたすべてのバックボーンペアからの予測を組み合わせることを学び、あるモデルによってエンコードされたクエリは、別のモデルによって表現されたエビデンスに描画される。
その結果,6つの病理組織学的データセットのバックボーン組み合わせを4,8,16ショットで評価した。
FFM-CPは、54個の比較のうち50個の融合集合において、最強の個別適応部材よりも高い平均マクロF1を達成する。
これらの結果から, 相補的な事前学習表現を組み合わせることで, アノテーションが限定された場合の病理組織学的分類が向上することが示唆された。
関連論文リスト
- Understanding Synergistic Interactions among Pathology Foundation Models via Adaptive Fusion [49.550545038402184]
病理基盤モデル(PFM)は、大規模病理画像の自己教師付き事前トレーニングを通じて、強力なタイルレベルの表現を提供する。
AdaFusionは軽量な適応型核融合フレームワークで、複数の凍結されたPFMから補完的な信号を統合する。
AdaFusionは、解釈可能な組織可視化を提供しながら、個々のPFMやその他の融合ベースラインを一貫して上回る。
論文 参考訳(メタデータ) (2026-08-02T16:44:45Z) - PulmoSight-XAI: An Explainable Multi-View Attention Ensemble with Gradient Boosting Meta-Learning for Multi-Label Chest X-Ray Classification [1.2744523252873352]
14の胸部病理の堅牢な分類のための説明可能な階層的多視点アンサンブルフレームワークを提案する。
このフレームワークは、フロントとサイドのラジオグラフィーを独立してモデル化することで、ビュー固有のトレーニングを採用する。
このフレームワークは最先端のマクロ平均AUROCスコアを前頭葉で0.9319、横線で0.9154と達成している。
論文 参考訳(メタデータ) (2026-07-05T19:50:53Z) - Multi-View Synergistic Learning with Vision-Language Adaption for Low-Resource Biomedical Image Classification [59.24009931000134]
MVSL(Multi-View Synergistic Learning)は、適応パラダイム、表現の粒度、疾患の意味的関係に対処する統合フレームワークである。
MVSLは、視覚的およびテキスト的エンコーダの適応を分離し、それぞれの表現特性を尊重する。
さらに、グローバルなイメージセマンティクスと局所的な病変レベルの証拠の両方を明示的にモデル化するために、多粒性コントラスト学習を導入する。
MVSLは、いくつかのショットとゼロショットの分類設定において、最先端のメソッドを一貫して上回る。
論文 参考訳(メタデータ) (2026-04-27T02:41:27Z) - Benchmarking Computational Pathology Foundation Models For Semantic Segmentation [0.0]
CONCH、PathDino、CellViTのコンカレント機能は、すべてのデータセットで個々のモデルのパフォーマンスを7.95%向上させた。
視覚言語基盤モデルであるCONCHは,視覚のみの基礎モデルと比較して,データセット間で最高の性能を示した。
論文 参考訳(メタデータ) (2026-02-21T08:00:46Z) - AdaFusion: Prompt-Guided Inference with Adaptive Fusion of Pathology Foundation Models [49.550545038402184]
本稿では,新しいプロンプト誘導推論フレームワークであるAdaFusionを提案する。
本手法は,多様なモデルからタイルレベルの特徴を圧縮・整列する。
AdaFusionは、分類タスクと回帰タスクの両方にわたって、個々のPFMを一貫して上回っている。
論文 参考訳(メタデータ) (2025-08-07T07:09:31Z) - MGPATH: Vision-Language Model with Multi-Granular Prompt Learning for Few-Shot WSI Classification [36.59100450109841]
全スライド画像分類は、ギガピクセル画像サイズと限定アノテーションラベルによる課題を提示する。
本稿では,数ショットの病理分類に大規模な視覚言語モデルを適用するための素早い学習手法を提案する。
論文 参考訳(メタデータ) (2025-02-11T09:42:13Z) - Synergy and Diversity in CLIP: Enhancing Performance Through Adaptive Backbone Ensembling [58.50618448027103]
コントラスト言語-画像事前学習(CLIP)は画像表現学習において顕著な手法である。
本稿では,CLIPを訓練した視覚バックボーンの違いについて検討する。
方法によって、最高の単一のバックボーンよりも39.1%の精度が著しく向上する。
論文 参考訳(メタデータ) (2024-05-27T12:59:35Z) - Rethinking Semi-Supervised Medical Image Segmentation: A
Variance-Reduction Perspective [51.70661197256033]
医用画像セグメンテーションのための階層化グループ理論を用いた半教師付きコントラスト学習フレームワークARCOを提案する。
まず、分散還元推定の概念を用いてARCOを構築することを提案し、特定の分散還元技術が画素/ボクセルレベルのセグメンテーションタスクにおいて特に有用であることを示す。
5つの2D/3D医療データセットと3つのセマンティックセグメンテーションデータセットのラベル設定が異なる8つのベンチマークで、我々のアプローチを実験的に検証する。
論文 参考訳(メタデータ) (2023-02-03T13:50:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。