論文の概要: G2L:From Giga-Scale to Cancer-Specific Large-Scale Pathology Foundation Models via Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2510.11176v1
• Date: Mon, 13 Oct 2025 09:08:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 18:06:30.287388
• Title: G2L:From Giga-Scale to Cancer-Specific Large-Scale Pathology Foundation Models via Knowledge Distillation
• Title（参考訳）: G2L:Giga-Scale to Cancer-Specific Large-Scale Pathology Foundation Models via Knowledge Distillation
• Authors: Yesung Cho, Sungmin Lee, Geongyu Lee, Minkyung Lee, Jongbae Park, Dongmyung Shin,
• Abstract要約: 本稿では,ギガスケールモデルのパラメータのわずか15%である大規模ファンデーションモデルの性能向上戦略を提案する。 提案手法は, ギガスケールモデルから大規模モデルへの知識蒸留に適用し, 対象がんの1Kパススライスを応用した。
• 参考スコア（独自算出の注目度）: 8.837656649053004
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Recent studies in pathology foundation models have shown that scaling training data, diversifying cancer types, and increasing model size consistently improve their performance. However, giga-scale foundation models, which are trained on hundreds of thousands of slides covering tens of cancer types and contain billions of parameters, pose significant challenges for practical use due to their tremendous computational costs in both development and deployment. In this work, we present a novel strategy, named the G2L framework, to increase the performance of large-scale foundation models, which consist of only $15\%$ of the parameters of giga-scale models, to a comparable performance level of giga-scale models in cancer-specific tasks. Our approach applies knowledge distillation, transferring the capabilities of a giga-scale model to a large-scale model, using just 1K pathology slides of a target cancer (e.g., breast, prostate, etc.). The resulting distilled model not only outperformed state-of-the-art models of the same size (i.e., large-scale) across several benchmarks but also, interestingly, surpassed the giga-scale teacher and huge-scale models in some benchmarks. In addition, the distilled model exhibited a higher robustness index, indicating improved resilience to image variations originating from multiple institutions. These findings suggest that the proposed distillation approach for a large-scale model is a data- and parameter-efficient way to achieve giga-scale-level performance for cancer-specific applications without prohibitive computational burden.
• Abstract（参考訳）: 病理基盤モデルの最近の研究は、トレーニングデータのスケーリング、がんの種類の多様化、モデルサイズの増加により、そのパフォーマンスが一貫して向上していることを示している。 しかし、数十のがんタイプをカバーし、数十のパラメータを含む数十万のスライドでトレーニングされたギガスケール基盤モデルは、開発とデプロイメントの両方において膨大な計算コストのために、実用上の大きな課題を提起する。 本稿では,ギガスケールモデルのパラメータのわずか15.%の値から,がん特異的タスクにおけるギガスケールモデルの同等のパフォーマンスレベルまで,大規模ファンデーションモデルの性能を高めるためのG2Lフレームワークを提案する。 本手法では, 対象癌(例, 乳房, 前立腺など)の1Kパススライドのみを用いて, ギガスケールモデルから大規模モデルへの知識蒸留を応用した。 その結果得られた蒸留モデルは、複数のベンチマークで同じ大きさ(大規模な)の最先端モデルよりも優れているだけでなく、興味深いことに、いくつかのベンチマークではギガスケールの教師や大規模モデルを上回った。 さらに, 蒸留モデルでは高粘度指数が示され, 複数の施設から得られる画像変化に対するレジリエンスが向上した。 これらの結果から, 大規模モデルの蒸留法は, 計算負荷を抑えることなく, ギガスケールレベルの性能を実現するためのデータ・パラメータ効率の高い手法であることが示唆された。

関連論文リスト

• Benchmarking Foundation Models for Mitotic Figure Classification [0.37334049820361814]
  自己教師付き学習技術は、大規模なニューラルネットワークのトレーニングに大量のラベルのないデータを使用することを可能にした。 本研究では,ミオティックフィギュア分類における基礎モデルの利用について検討する。 我々は、すべてのモデルと、CNNとVision Transformerの両方のエンドツーエンドトレーニングベースラインを比較した。
  論文  参考訳（メタデータ） (2025-08-06T13:30:40Z)
• Distilling foundation models for robust and efficient models in digital pathology [32.99044401004595]
  大規模基礎モデルをより小さく蒸留し,数桁のパラメータ数を削減した。 我々のモデルであるH0-miniは、推定コストを大幅に削減して、大規模FMにほぼ匹敵する性能を実現する。 いくつかの公開ベンチマークで評価され、HESTベンチマークで3位、EVAベンチマークで5位となった。
  論文  参考訳（メタデータ） (2025-01-27T17:35:39Z)
• Virchow2: Scaling Self-Supervised Mixed Magnification Models in Pathology [2.6761982943661438]
  我々は6億2200万のパラメータ・ビジョン・トランスフォーマーであるVirchow2Gと、19億のパラメータ・ビジョン・トランスフォーマーであるVirchow2Gと、2200万のパラメータ・蒸留であるVirchow2G Miniの3つの新しいモデルを紹介した。 上位の競合モデルと比較して,12のタイルレベルタスクにおけるアートパフォーマンスの状態を達成している。
  論文  参考訳（メタデータ） (2024-08-01T17:35:58Z)
• Diffusion-Based Neural Network Weights Generation [80.89706112736353]
  D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。 本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。 我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
  論文  参考訳（メタデータ） (2024-02-28T08:34:23Z)
• Retrieval-based Knowledge Transfer: An Effective Approach for Extreme Large Language Model Compression [64.07696663255155]
  大規模事前学習型言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて例外的な性能を示した。 しかし、これらのモデルの巨大なサイズは、現実世界のアプリケーションに展開する上で大きな課題をもたらします。 本稿では,LLMの知識を極めて小規模なモデルに効果的に伝達するRetrieval-based Knowledge Transfer (RetriKT)と呼ばれる新しい圧縮パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-10-24T07:58:20Z)
• Advancing Plain Vision Transformer Towards Remote Sensing Foundation Model [97.9548609175831]
  約1億のパラメータを持つプレーンビジョントランスフォーマーを利用して、リモートセンシングタスク用にカスタマイズされた大規模なビジョンモデルを提案する。 具体的には、RS画像における大きな画像サイズと様々な向きのオブジェクトを扱うために、回転する様々なウィンドウアテンションを提案する。 検出タスクの実験は、DOTA-V1.0データセット上で81.16%のmAPを達成したすべての最先端モデルよりも、我々のモデルの方が優れていることを示す。
  論文  参考訳（メタデータ） (2022-08-08T09:08:40Z)
• A multi-stage machine learning model on diagnosis of esophageal manometry [50.591267188664666]
  このフレームワークには、飲み込みレベルにおけるディープラーニングモデルと、学習レベルにおける機能ベースの機械学習モデルが含まれている。 これは、生のマルチスワローデータからHRM研究のCC診断を自動的に予測する最初の人工知能モデルである。
  論文  参考訳（メタデータ） (2021-06-25T20:09:23Z)
• Exploring Sparse Expert Models and Beyond [51.90860155810848]
  Mixture-of-Experts (MoE) モデルは、無数のパラメータを持つが、一定の計算コストで有望な結果が得られる。 本稿では,専門家を異なるプロトタイプに分割し,上位1ドルのルーティングに$k$を適用する,エキスパートプロトタイピングというシンプルな手法を提案する。 この戦略は, モデル品質を向上させるが, 一定の計算コストを維持するとともに, 大規模モデルのさらなる探索により, 大規模モデルの訓練に有効であることが示唆された。
  論文  参考訳（メタデータ） (2021-05-31T16:12:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。