論文の概要: Virchow2: Scaling Self-Supervised Mixed Magnification Models in Pathology

• arxiv url: http://arxiv.org/abs/2408.00738v3
• Date: Wed, 6 Nov 2024 14:45:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-08 13:29:21.863664
• Title: Virchow2: Scaling Self-Supervised Mixed Magnification Models in Pathology
• Title（参考訳）: Virchow2: 病理学における自己監督型混合拡大モデルのスケーリング
• Authors: Eric Zimmermann, Eugene Vorontsov, Julian Viret, Adam Casson, Michal Zelechowski, George Shaikovski, Neil Tenenholtz, James Hall, David Klimstra, Razik Yousfi, Thomas Fuchs, Nicolo Fusi, Siqi Liu, Kristen Severson,
• Abstract要約: 我々は6億2200万のパラメータ・ビジョン・トランスフォーマーであるVirchow2Gと、19億のパラメータ・ビジョン・トランスフォーマーであるVirchow2Gと、2200万のパラメータ・蒸留であるVirchow2G Miniの3つの新しいモデルを紹介した。 上位の競合モデルと比較して,12のタイルレベルタスクにおけるアートパフォーマンスの状態を達成している。
• 参考スコア（独自算出の注目度）: 2.6761982943661438
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Foundation models are rapidly being developed for computational pathology applications. However, it remains an open question which factors are most important for downstream performance with data scale and diversity, model size, and training algorithm all playing a role. In this work, we propose algorithmic modifications, tailored for pathology, and we present the result of scaling both data and model size, surpassing previous studies in both dimensions. We introduce three new models: Virchow2, a 632 million parameter vision transformer, Virchow2G, a 1.9 billion parameter vision transformer, and Virchow2G Mini, a 22 million parameter distillation of Virchow2G, each trained with 3.1 million histopathology whole slide images, with diverse tissues, originating institutions, and stains. We achieve state of the art performance on 12 tile-level tasks, as compared to the top performing competing models. Our results suggest that data diversity and domain-specific methods can outperform models that only scale in the number of parameters, but, on average, performance benefits from the combination of domain-specific methods, data scale, and model scale.
• Abstract（参考訳）: 基礎モデルは、計算病理学の応用のために急速に開発されている。 しかし、データスケールと多様性、モデルサイズ、トレーニングアルゴリズムなど、ダウンストリームのパフォーマンスにおいて、どの要素がもっとも重要かは、まだ明らかな疑問である。 本研究では,病理学に適したアルゴリズム的修正を提案するとともに,データサイズとモデルサイズの両方をスケールした結果を,両次元の先行研究を超越した結果として提示する。 6億2200万のパラメータ・ビジョン・トランスフォーマーであるVirchow2Gと、19億のパラメータ・ビジョン・トランスフォーマーであるVirchow2G Miniと、Virchow2Gの2200万のパラメータ・蒸留であるVirchow2G Miniの3つの新しいモデルを紹介した。 上位の競合モデルと比較して,12のタイルレベルのタスクで最先端のパフォーマンスを実現する。 以上の結果から,データ多様性とドメイン固有の手法は,パラメータ数のみをスケールするモデルよりも優れているが,平均的には,ドメイン固有の手法,データスケール,モデルスケールの組み合わせによるパフォーマンス上のメリットが期待できる。

関連論文リスト

• Spatially Optimized Compact Deep Metric Learning Model for Similarity Search [1.0015171648915433]
  類似性探索は空間的特徴が重要な出力を決定する重要なタスクである。 本研究では,コンパクトな畳み込みモデルとともに単一の畳み込み特徴抽出器の層を利用することにより,類似性探索の性能が著しく向上することを示す。
  論文  参考訳（メタデータ） (2024-04-09T19:49:01Z)
• FissionFusion: Fast Geometric Generation and Hierarchical Souping for Medical Image Analysis [0.7751705157998379]
  十分に注釈付けされた医療データセットの不足は、ImageNetのような広範なデータセットやCLIPのような事前訓練されたモデルからの移行学習を活用する必要がある。 モデルスープは、In-Domain(ID)タスクのパフォーマンスを改善し、out-of-Distribution(OOD)データセットに対する堅牢性を高めることを目的とした、複数の微調整されたモデルの平均である。 本稿では,様々なレベルのモデルの局所的および大域的集約を伴う階層的統合手法を提案する。
  論文  参考訳（メタデータ） (2024-03-20T06:48:48Z)
• Virchow: A Million-Slide Digital Pathology Foundation Model [34.38679208931425]
  本稿では,コンピュータ病理学の基礎モデルであるVirchowを紹介する。 Virchowは、150万のヘマトキシリンとエオシン染色されたスライドイメージに基づいて、632万のパラメータをトレーニングしたビジョントランスフォーマーモデルである。
  論文  参考訳（メタデータ） (2023-09-14T15:09:35Z)
• The effect of data augmentation and 3D-CNN depth on Alzheimer's Disease detection [51.697248252191265]
  この研究は、データハンドリング、実験設計、モデル評価に関するベストプラクティスを要約し、厳密に観察する。 我々は、アルツハイマー病(AD)の検出に焦点を当て、医療における課題のパラダイム的な例として機能する。 このフレームワークでは,3つの異なるデータ拡張戦略と5つの異なる3D CNNアーキテクチャを考慮し,予測15モデルを訓練する。
  論文  参考訳（メタデータ） (2023-09-13T10:40:41Z)
• AMIGO: Sparse Multi-Modal Graph Transformer with Shared-Context Processing for Representation Learning of Giga-pixel Images [53.29794593104923]
  本稿では,スライド病理像全体に対する共有コンテキスト処理の新たな概念を提案する。 AMIGOは、組織内のセルラーグラフを使用して、患者に単一の表現を提供する。 我々のモデルは、データの20%以下で同じ性能を達成できる程度に、欠落した情報に対して強い堅牢性を示す。
  論文  参考訳（メタデータ） (2023-03-01T23:37:45Z)
• Could Giant Pretrained Image Models Extract Universal Representations? [94.97056702288317]
  本稿では,多種多様なコンピュータビジョンタスクに適用した凍結事前学習モデルについて述べる。 私たちの研究は、この凍結した設定にどのような事前学習タスクが最適か、凍結した設定を様々な下流タスクに柔軟にする方法、より大きなモデルサイズの影響について、質問に答えています。
  論文  参考訳（メタデータ） (2022-11-03T17:57:10Z)
• Stacking Ensemble Learning in Deep Domain Adaptation for Ophthalmic Image Classification [61.656149405657246]
  ドメイン適応は、十分なラベルデータを取得することが困難な画像分類タスクに有効である。 本稿では,3つのドメイン適応手法を拡張することで,アンサンブル学習を積み重ねるための新しい手法SELDAを提案する。 Age-Related Eye Disease Study (AREDS)ベンチマーク眼科データセットを用いた実験結果から,提案モデルの有効性が示された。
  論文  参考訳（メタデータ） (2022-09-27T14:19:00Z)
• Advancing Plain Vision Transformer Towards Remote Sensing Foundation Model [97.9548609175831]
  約1億のパラメータを持つプレーンビジョントランスフォーマーを利用して、リモートセンシングタスク用にカスタマイズされた大規模なビジョンモデルを提案する。 具体的には、RS画像における大きな画像サイズと様々な向きのオブジェクトを扱うために、回転する様々なウィンドウアテンションを提案する。 検出タスクの実験は、DOTA-V1.0データセット上で81.16%のmAPを達成したすべての最先端モデルよりも、我々のモデルの方が優れていることを示す。
  論文  参考訳（メタデータ） (2022-08-08T09:08:40Z)
• STAR: Sparse Transformer-based Action Recognition [61.490243467748314]
  本研究は,空間的次元と時間的次元に細かな注意を払っている新しいスケルトンに基づく人間行動認識モデルを提案する。 実験により、トレーニング可能なパラメータをはるかに少なくし、トレーニングや推論の高速化を図りながら、モデルが同等のパフォーマンスを達成できることが示されている。
  論文  参考訳（メタデータ） (2021-07-15T02:53:11Z)
• Classification of Brain Tumours in MR Images using Deep Spatiospatial Models [0.0]
  本稿では、ResNet (2+1)DとResNet Mixed Convolutionの2つの時間モデルを用いて、異なるタイプの脳腫瘍を分類する。 両モデルとも純粋な3次元畳み込みモデルであるResNet18よりも優れていた。
  論文  参考訳（メタデータ） (2021-05-28T19:27:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。