論文の概要: Pretraining Multiple Instance Learning Networks with Multi-Teacher Distillation from Pathology Slide Foundation Models

• arxiv url: http://arxiv.org/abs/2607.14703v1
• Date: Thu, 16 Jul 2026 08:04:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-17 17:01:33.037312
• Title: Pretraining Multiple Instance Learning Networks with Multi-Teacher Distillation from Pathology Slide Foundation Models
• Title（参考訳）: 病理スライド基礎モデルを用いたマルチ教師蒸留による複数インスタンス学習ネットワークの事前学習
• Authors: Mingxi Fu, Jiawen Li, Renao Yan, Jiali Hu, Qiehe Sun, Tian Guan, Yonghong He,
• Abstract要約: マルチ・インスタンス・ラーニング(MIL)は、計算病理学における全スライディング画像(WSI)解析の主要なパラダイムとなっている。 既存のMILアグリゲータは、通常、下流の各タスクのスクラッチからトレーニングされる。 MILのための蒸留法に基づくプレトレーニングフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 10.354992690532146
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multiple instance learning (MIL) has become the main paradigm for whole-slide image (WSI) analysis in computational pathology. However, existing MIL aggregators are still typically trained from scratch for each downstream task, relying on limited slide-level labels to learn both aggregation mechanisms and downstream discriminative representations simultaneously. As a result, they often suffer from unstable optimization, overfitting, and limited transferability. Similar to pretrained ResNet and Vision Transformer models in natural image learning, MIL also requires reusable pretrained initialization. However, high-quality slide-level pretraining data remain scarce, and MIL models are usually lightweight and weakly supervised, making large-scale pretraining difficult in practice. To address this challenge, we propose a distillation-based pretraining framework for MIL, which leverages two slide-level foundation models, TITAN and CARE, as teachers to transfer their representational knowledge into a diverse set of MIL architectures. To effectively balance supervision from different teachers, we further introduce an angular dispersion normalized distillation loss. The distilled weights are then used as initialization for downstream adaptation. We conduct systematic evaluations on 15 benchmark datasets under both linear probing and full-parameter fine-tuning, and further validate its advantages in few-shot scenarios. Experimental results show that pretraining generally improves MIL aggregators over from scratch training, especially in linear-probing and few-shot settings, while maintaining the computational efficiency of lightweight MIL models. Code is available at https://github.com/fu0201/MIL_Pretrained.
• Abstract（参考訳）: マルチ・インスタンス・ラーニング(MIL)は、計算病理学における全スライディング画像(WSI)解析の主要なパラダイムとなっている。 しかしながら、既存のMILアグリゲータは、通常、ダウンストリームタスクごとにスクラッチからトレーニングされ、限られたスライドレベルラベルに依存して、アグリゲーション機構とダウンストリーム識別表現の両方を同時に学習する。 その結果、不安定な最適化、過度な適合、限られた転送性に悩まされることが多い。 自然画像学習におけるResNetやVision Transformerモデルと同様に、MILは再利用可能な事前訓練初期化も必要としている。 しかし、高品質のスライドレベルの事前トレーニングデータはほとんどなく、MILモデルは軽量で弱い教師付きであり、実際に大規模な事前トレーニングを困難にしている。 この課題に対処するために,本研究では,TITANとCAREという2つのスライドレベルの基礎モデルを利用して,その表現的知識を多種多様なMILアーキテクチャに変換する蒸留法に基づくMIL事前学習フレームワークを提案する。 さらに,異なる教師の指導のバランスをとるために,角分散正規化蒸留損失を導入する。 蒸留重量は下流適応の初期化に使用される。 線形プローブ法とフルパラメータ微調整法の両方で15のベンチマークデータセットを体系的に評価し,その利点をいくつかのシナリオで検証する。 実験結果から,MILモデルの計算効率を保ちつつ,特に線形プロブリングや少数ショット設定において,MILアグリゲータをスクラッチトレーニングから改善することが示唆された。 コードはhttps://github.com/fu0201/MIL_Pretrained.comで入手できる。

関連論文リスト

• Do Multiple Instance Learning Models Transfer? [7.766368937536295]
  マルチ・インスタンス・ラーニング(MIL)は計算病理学における基礎的アプローチである MILはしばしば、小さく、弱く管理された臨床データセットと競合する。 本研究では,事前学習型MILモデルの伝達学習能力を評価する。
  論文  参考訳（メタデータ） (2025-06-10T17:50:04Z)
• SimMIL: A Universal Weakly Supervised Pre-Training Framework for Multi-Instance Learning in Whole Slide Pathology Images [12.827931905880163]
  本稿では,弱教師付きスキームを用いたMIL機能抽出器を提案する。 MILの効果的な特徴を学習するために、強いデータ拡張、非線形予測ヘッド、ロバストな損失関数など、いくつかの重要なコンポーネントを探索する。 我々は、一般的な大規模WSIデータセットで実験を行い、他の事前学習方式よりも優れた性能が得られることを発見した。
  論文  参考訳（メタデータ） (2025-05-10T17:23:36Z)
• Rethinking Pre-Trained Feature Extractor Selection in Multiple Instance Learning for Whole Slide Image Classification [2.375943263571389]
  複数インスタンス学習(MIL)は、パッチレベルのアノテーションを必要とせずに、ギガピクセル全体のスライド画像(WSI)分類に好まれる方法となっている。 本研究では,3次元のMIL特徴抽出器(事前学習データセット,バックボーンモデル,事前学習手法)を体系的に評価する。
  論文  参考訳（メタデータ） (2024-08-02T10:34:23Z)
• An Emulator for Fine-Tuning Large Language Models using Small Language Models [91.02498576056057]
  本研究では,異なるスケールでの事前学習と微調整の結果を近似する分布から,エミュレート・ファインチューニング(EFT)を原理的かつ実用的なサンプリング法として導入する。 EFTは、追加トレーニングを伴わずに、有益性や無害性といった競合する行動特性をテスト時間で調整できることを示す。 最後に、LMアップスケーリングと呼ばれるエミュレートされたファインチューニングの特殊な場合において、小さなファインチューニングモデルと組み合わせることで、大きな事前学習モデルのリソース集約的なファインチューニングを回避する。
  論文  参考訳（メタデータ） (2023-10-19T17:57:16Z)
• Black Box Few-Shot Adaptation for Vision-Language models [41.49584259596654]
  ヴィジュアル・ランゲージ(V-L)モデルは、視覚的・言語的モダリティを整合させるために、対照的な学習で訓練された。 本稿では,プリコンパイルされた画像とテキストの特徴に基づいて,V-L小ショット適応のためのブラックボックス手法について述べる。 対象領域におけるV-L再アライメントに対する単純な線形アプローチである線形特徴アライメント(LFA)を提案する。
  論文  参考訳（メタデータ） (2023-04-04T12:42:29Z)
• eP-ALM: Efficient Perceptual Augmentation of Language Models [70.47962271121389]
  本稿では,既存モデルの適応性を向上するための直接的な取り組みを提案し,認識を伴う言語モデルの拡張を提案する。 視覚言語タスクに事前訓練されたモデルを適用するための既存のアプローチは、その効率を妨げているいくつかの重要なコンポーネントに依存している。 総パラメータの99%以上を凍結し,1つの直線射影層のみをトレーニングし,1つのトレーニング可能なトークンのみを予測することにより,我々のアプローチ(eP-ALM)は,VQAとCaptioningの他のベースラインよりも有意に優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-20T19:20:34Z)
• Slimmable Networks for Contrastive Self-supervised Learning [69.9454691873866]
  自己教師付き学習は、大規模なモデルを事前訓練する上で大きな進歩を遂げるが、小さなモデルでは苦労する。 追加の教師を必要とせず、訓練済みの小型モデルを得るための1段階のソリューションも導入する。 スリム化可能なネットワークは、完全なネットワークと、様々なネットワークを得るために一度にトレーニングできるいくつかの重み共有サブネットワークから構成される。
  論文  参考訳（メタデータ） (2022-09-30T15:15:05Z)
• Model-Agnostic Multitask Fine-tuning for Few-shot Vision-Language Transfer Learning [59.38343286807997]
  未知タスクの視覚言語モデルのためのモデル非依存型マルチタスクファインチューニング(MAMF)を提案する。 モデルに依存しないメタラーニング(MAML)と比較して、MAMFは二段階最適化を捨て、一階勾配のみを使用する。 MAMFは5つのベンチマークデータセット上で、数ショットの転送学習において古典的な微調整法よりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2022-03-09T17:26:53Z)
• Dual-stream Maximum Self-attention Multi-instance Learning [11.685285490589981]
  MIL(Multi-Instance Learning)は、インスタンスレベルのラベルが利用できない間に単一のクラスラベルがインスタンスのバッグに割り当てられる弱い教師付き学習の一種である。 ニューラルネットワークによりパラメータ化されたDSMILモデル(Dual-stream maximum self-attention MIL model)を提案する。 提案手法は,最高のMIL手法と比較して優れた性能を示し,ベンチマークMILデータセット上での最先端性能を示す。
  論文  参考訳（メタデータ） (2020-06-09T22:44:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。