論文の概要: Pathryoshka: Compressing Pathology Foundation Models via Multi-Teacher Knowledge Distillation with Nested Embeddings

• arxiv url: http://arxiv.org/abs/2511.23204v1
• Date: Fri, 28 Nov 2025 14:11:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-01 19:47:55.9215
• Title: Pathryoshka: Compressing Pathology Foundation Models via Multi-Teacher Knowledge Distillation with Nested Embeddings
• Title（参考訳）: Pathryoshka:Nested Embeddingsを用いた多教師知識蒸留による病理基礎モデルの圧縮
• Authors: Christian Grashei, Christian Brechenmacher, Rao Muhammad Umer, Jingsong Liu, Carsten Marr, Ewa Szczurek, Peter J. Schüffler,
• Abstract要約: RADIO蒸留とMatryoshka表現学習にインスパイアされた多教師蒸留フレームワークPathryoshkaを紹介する。 Pathryoshkaは、オンパーパフォーマンスでモデルサイズを86-92%削減する。 最先端のシングルティーラー蒸留モデルと比較すると、7.0の精度で平均的なマージンを達成している。
• 参考スコア（独自算出の注目度）: 1.218297699184202
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pathology foundation models (FMs) have driven significant progress in computational pathology. However, these high-performing models can easily exceed a billion parameters and produce high-dimensional embeddings, thus limiting their applicability for research or clinical use when computing resources are tight. Here, we introduce Pathryoshka, a multi-teacher distillation framework inspired by RADIO distillation and Matryoshka Representation Learning to reduce pathology FM sizes while allowing for adaptable embedding dimensions. We evaluate our framework with a distilled model on ten public pathology benchmarks with varying downstream tasks. Compared to its much larger teachers, Pathryoshka reduces the model size by 86-92% at on-par performance. It outperforms state-of-the-art single-teacher distillation models of comparable size by a median margin of 7.0 in accuracy. By enabling efficient local deployment without sacrificing accuracy or representational richness, Pathryoshka democratizes access to state-of-the-art pathology FMs for the broader research and clinical community.
• Abstract（参考訳）: 病理基盤モデル(FM)は、計算病理学に大きな進歩をもたらした。 しかし、これらのハイパフォーマンスモデルは、容易に10億のパラメータを超え、高次元の埋め込みを生成することができるため、計算資源が密接な場合、研究や臨床用途への適用性が制限される。 本稿では,RADIO蒸留とMatryoshka Representation Learningにインスパイアされた多教師蒸留フレームワークPathryoshkaを紹介する。 下流タスクの異なる10の公的な病理指標の蒸留モデルを用いて,本フレームワークの評価を行った。 はるかに大きな教師と比較して、Pathryoshkaはモデルのサイズをオンパーパフォーマンスで86-92%削減する。 最先端のシングルティーラー蒸留モデルと比較すると、7.0の精度で平均的なマージンを達成している。 Pathryoshkaは、精度や表現豊かさを犠牲にすることなく効率的な局所展開を可能にすることで、より広い研究と臨床コミュニティのために最先端の病理組織FMへのアクセスを民主化する。

関連論文リスト

• Learning from the Right Patches: A Two-Stage Wavelet-Driven Masked Autoencoder for Histopathology Representation Learning [4.281508114645598]
  全スライド画像はデジタル病理の中心であるが、その極端の大きさとアノテーションが不足しているため、自己指導型学習が不可欠である。 本稿では,ウェーブレットインフォームドパッチ選択戦略を通じて,MAEに基づく学習に構造と生物学的関連性をもたらす枠組みを提案する。 WISE-MAEは、弱い監督下で効率を保ちながら、競争力のある表現品質と下流分類性能を実現する。
  論文  参考訳（メタデータ） (2025-11-10T11:06:25Z)
• A Robust BERT-Based Deep Learning Model for Automated Cancer Type Extraction from Unstructured Pathology Reports [1.2546979106262524]
  腫瘍学における精度タスクのための微調整されたドメイン固有モデルは、より効率的で正確な臨床情報抽出の道を開くかもしれない。 このモデルはベースラインモデルと大規模言語モデルMistral 7Bを大きく上回り、FBertscore 0.98と80.61%の完全一致を達成した。
  論文  参考訳（メタデータ） (2025-08-21T01:12:39Z)
• Towards a clinically accessible radiology foundation model: open-access and lightweight, with automated evaluation [113.5002649181103]
  オープンソースの小型マルチモーダルモデル(SMM)を訓練し、放射線学における未測定臨床ニーズに対する能力ギャップを埋める。 トレーニングのために,697万以上の画像テキストペアからなる大規模なデータセットを組み立てる。 評価のために,GPT-4に基づく実測値CheXpromptを提案する。 LlaVA-Radの推論は高速で、単一のV100 GPU上でプライベート設定で実行できる。
  論文  参考訳（メタデータ） (2024-03-12T18:12:02Z)
• Less Could Be Better: Parameter-efficient Fine-tuning Advances Medical Vision Foundation Models [71.18275399694689]
  医療視基盤モデルにおけるPEFTの有効性はまだ不明である。 NIH ChestX-ray14のラベル付きデータを用いたAUROCスコアの80.6%など,さまざまなデータ効率の学習タスクに対して,新たな最先端技術を構築した。 本研究は, PEFTを用いた医用画像の伝達学習において, コミュニティの注目を集めることが期待できる。
  論文  参考訳（メタデータ） (2024-01-22T18:59:07Z)
• Knowledge Distillation for Adaptive MRI Prostate Segmentation Based on Limit-Trained Multi-Teacher Models [4.711401719735324]
  圧縮法と加速技術として知識蒸留(KD)が提案されている。 KDは、負担の多いモデルから軽量モデルに知識を移行できる効率的な学習戦略である。 本研究では,KDに基づく前立腺MRIセグメンテーションの深部モデルを構築し,Kellback-Leiblerの発散,Lovasz,Diceの損失と特徴量に基づく蒸留を組み合わせる。
  論文  参考訳（メタデータ） (2023-03-16T17:15:08Z)
• Medulloblastoma Tumor Classification using Deep Transfer Learning with Multi-Scale EfficientNets [63.62764375279861]
  本稿では,エンド・ツー・エンドのMB腫瘍分類を提案し,様々な入力サイズとネットワーク次元の一致した移動学習を提案する。 161ケースのデータセットを用いて、より大規模な入力解像度を持つ事前学習されたEfficientNetが、大幅な性能改善をもたらすことを実証した。
  論文  参考訳（メタデータ） (2021-09-10T13:07:11Z)
• A multi-stage machine learning model on diagnosis of esophageal manometry [50.591267188664666]
  このフレームワークには、飲み込みレベルにおけるディープラーニングモデルと、学習レベルにおける機能ベースの機械学習モデルが含まれている。 これは、生のマルチスワローデータからHRM研究のCC診断を自動的に予測する最初の人工知能モデルである。
  論文  参考訳（メタデータ） (2021-06-25T20:09:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。