論文の概要: Training state-of-the-art pathology foundation models with orders of magnitude less data

• arxiv url: http://arxiv.org/abs/2504.05186v1
• Date: Mon, 07 Apr 2025 15:38:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-08 14:13:44.695653
• Title: Training state-of-the-art pathology foundation models with orders of magnitude less data
• Title（参考訳）: マグニチュード少ないデータによる最先端病理基盤モデルの訓練
• Authors: Mikhail Karasikov, Joost van Doorn, Nicolas Känzig, Melis Erdal Cesur, Hugo Mark Horlings, Robert Berke, Fei Tang, Sebastian Otálora,
• Abstract要約: 3つの新しいビジョン基礎モデル(FM)を、他の最先端のFMを訓練するために使用されるものよりも、最大で2桁のWSIで訓練する。 TCGAだけで訓練されたモデル(12k WSIs)でさえ、既存のFMよりも優れており、平均するとVirchow2と一致している。
• 参考スコア（独自算出の注目度）: 1.7005561101170015
• License:
• Abstract: The field of computational pathology has recently seen rapid advances driven by the development of modern vision foundation models (FMs), typically trained on vast collections of pathology images. Recent studies demonstrate that increasing the training data set and model size and integrating domain-specific image processing techniques can significantly enhance the model's performance on downstream tasks. Building on these insights, our work incorporates several recent modifications to the standard DINOv2 framework from the literature to optimize the training of pathology FMs. We also apply a post-training procedure for fine-tuning models on higher-resolution images to further enrich the information encoded in the embeddings. We present three novel pathology FMs trained on up to two orders of magnitude fewer WSIs than those used to train other state-of-the-art FMs while demonstrating a comparable or superior performance on downstream tasks. Even the model trained on TCGA alone (12k WSIs) outperforms most existing FMs and, on average, matches Virchow2, the second-best FM published to date. This suggests that there still remains a significant potential for further improving the models and algorithms used to train pathology FMs to take full advantage of the vast data collections.
• Abstract（参考訳）: 計算病理学の分野は最近、多くの病理画像に基づいて訓練された現代視覚基盤モデル(FM)の開発によって急速に進歩した。 近年の研究では、トレーニングデータセットとモデルサイズを増大させ、ドメイン固有の画像処理技術を統合することで、下流タスクにおけるモデルの性能を大幅に向上させることが示されている。 これらの知見に基づいて,本研究は文献からDINOv2フレームワークを改良し,病的FMのトレーニングを最適化する。 また,高解像度画像上での微調整モデルのための後処理手法を適用し,埋め込みに符号化された情報をさらに強化する。 本報告では,2桁のWSIでトレーニングした3つの新しいFMを,他の最先端のFMのトレーニングに使用し,ダウンストリームタスクにおいて同等あるいは優れた性能を示す。 TCGAだけで訓練されたモデル(12k WSIs)でさえ、既存のFMよりも優れており、平均するとVirchow2と一致している。 これは、巨大なデータ収集を最大限に活用するために、病理FMのトレーニングに使用されるモデルやアルゴリズムをさらに改善する大きな可能性があることを示唆している。

関連論文リスト

• Vision Foundation Models in Medical Image Analysis: Advances and Challenges [7.224426395050136]
  ビジョンファウンデーションモデル(VFM)は、医療画像解析の分野で大きな進歩をもたらした。 本稿では,VFMの医用画像セグメンテーションへの適応に関する現状研究について概説する。 本稿では,アダプタによる改良,知識蒸留技術,マルチスケール・コンテキスト特徴モデリングの最近の発展について論じる。
  論文  参考訳（メタデータ） (2025-02-20T14:13:46Z)
• Specialized Foundation Models Struggle to Beat Supervised Baselines [60.23386520331143]
  ゲノミクス、衛星画像、時系列の3つのモードを最近のFMで調べ、それらを標準的な教師付き学習ワークフローと比較する。 最新のファンデーションモデルにマッチしたり、性能を上回るような、シンプルな教師付きモデルのトレーニングが一貫して可能であることが分かりました。
  論文  参考訳（メタデータ） (2024-11-05T04:10:59Z)
• PMT: Progressive Mean Teacher via Exploring Temporal Consistency for Semi-Supervised Medical Image Segmentation [51.509573838103854]
  医用画像セグメンテーションのための半教師付き学習フレームワークであるプログレッシブ平均教師(PMT)を提案する。 我々のPMTは、トレーニングプロセスにおいて、堅牢で多様な特徴を学習することで、高忠実な擬似ラベルを生成する。 CT と MRI の異なる2つのデータセットに対する実験結果から,本手法が最先端の医用画像分割法より優れていることが示された。
  論文  参考訳（メタデータ） (2024-09-08T15:02:25Z)
• YaART: Yet Another ART Rendering Technology [119.09155882164573]
  そこで本研究では,ヒトの嗜好に適合する新しい生産段階のテキスト・ツー・イメージ拡散モデルYaARTを紹介した。 これらの選択がトレーニングプロセスの効率と生成された画像の品質にどのように影響するかを分析する。 高品質な画像の小さなデータセットでトレーニングされたモデルが、より大きなデータセットでトレーニングされたモデルとうまく競合できることを実証する。
  論文  参考訳（メタデータ） (2024-04-08T16:51:19Z)
• Towards Large-Scale Training of Pathology Foundation Models [1.5861468117231254]
  我々は、オープンアクセスTCGA全体のスライドイメージに基づいてトレーニングされた、私たちの病理FMの最初のバッチを公開し、公開します。 実験により,我々のモデルが様々なパッチレベル下流タスクにおける最先端の性能に達することを示す。 本稿では,様々な下流タスクを対象としたFMの一貫性のある評価を目的としたオープンソースフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-24T21:34:36Z)
• Learning from models beyond fine-tuning [78.20895343699658]
  Learn From Model (LFM) は、モデルインターフェースに基づいた基礎モデル(FM)の研究、修正、設計に焦点を当てている。 LFM技術の研究は、モデルチューニング、モデル蒸留、モデル再利用、メタラーニング、モデル編集の5つの分野に大別できる。 本稿では, LFM の観点から, FM に基づく現在の手法を概観する。
  論文  参考訳（メタデータ） (2023-10-12T10:20:36Z)
• DFM-X: Augmentation by Leveraging Prior Knowledge of Shortcut Learning [3.9858496473361402]
  本稿では,周波数ショートカットに関する知識を活用するデータ拡張戦略DFM-Xを提案する。 我々は,あるクラスの学習画像をランダムに選択し,他のクラスのDFMに含まれる周波数を保持することによって処理する。 実験の結果,DFM-Xは一般的な汚職や敵攻撃に対する堅牢性を向上することが示された。
  論文  参考訳（メタデータ） (2023-08-12T17:39:10Z)
• Vision-Language Modelling For Radiological Imaging and Reports In The Low Data Regime [70.04389979779195]
  本稿では,視覚および言語入力を共通空間に埋め込んだ医用視覚言語モデル(VLM)について検討する。 本稿では,新しい画像領域やテキスト領域への汎用事前学習モデルの適用など,低データ性能向上のためのいくつかの候補手法について検討する。 テキスト・ツー・イメージ検索をベンチマークとして,2つの胸部X線および放射線学的報告を用いた可変サイズのトレーニングデータセットを用いて,これらの手法の性能評価を行った。
  論文  参考訳（メタデータ） (2023-03-30T18:20:00Z)
• Domain Shift in Computer Vision models for MRI data analysis: An Overview [64.69150970967524]
  機械学習とコンピュータビジョン手法は、医用画像解析において優れた性能を示している。 しかし、現在臨床応用はごくわずかである。 異なるソースや取得ドメインのデータへのモデルの不適切な転送性は、その理由の1つです。
  論文  参考訳（メタデータ） (2020-10-14T16:34:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。