論文の概要: Phikon-v2, A large and public feature extractor for biomarker prediction

• arxiv url: http://arxiv.org/abs/2409.09173v1
• Date: Fri, 13 Sep 2024 20:12:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-17 22:09:06.761194
• Title: Phikon-v2, A large and public feature extractor for biomarker prediction
• Title（参考訳）: バイオマーカー予測のための大規模かつパブリックな特徴抽出装置Phikon-v2
• Authors: Alexandre Filiot, Paul Jacob, Alice Mac Kain, Charlie Saillard,
• Abstract要約: 我々は、DINOv2を用いて視覚変換器を訓練し、このモデルの1つのイテレーションを公開して、Phikon-v2と呼ばれるさらなる実験を行う。 Phikon-v2は、公開されている組織学のスライドをトレーニングしながら、以前リリースしたモデル(Phikon)を上回り、プロプライエタリなデータでトレーニングされた他の病理学基盤モデル(FM)と同等に動作します。
• 参考スコア（独自算出の注目度）: 42.52549987351643
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Gathering histopathology slides from over 100 publicly available cohorts, we compile a diverse dataset of 460 million pathology tiles covering more than 30 cancer sites. Using this dataset, we train a large self-supervised vision transformer using DINOv2 and publicly release one iteration of this model for further experimentation, coined Phikon-v2. While trained on publicly available histology slides, Phikon-v2 surpasses our previously released model (Phikon) and performs on par with other histopathology foundation models (FM) trained on proprietary data. Our benchmarks include eight slide-level tasks with results reported on external validation cohorts avoiding any data contamination between pre-training and evaluation datasets. Our downstream training procedure follows a simple yet robust ensembling strategy yielding a +1.75 AUC increase across tasks and models compared to one-shot retraining (p<0.001). We compare Phikon (ViT-B) and Phikon-v2 (ViT-L) against 14 different histology feature extractors, making our evaluation the most comprehensive to date. Our result support evidences that DINOv2 handles joint model and data scaling better than iBOT. Also, we show that recent scaling efforts are overall beneficial to downstream performance in the context of biomarker prediction with GigaPath and H-Optimus-0 (two ViT-g with 1.1B parameters each) standing out. However, the statistical margins between the latest top-performing FMs remain mostly non-significant; some even underperform on specific indications or tasks such as MSI prediction - deposed by a 13x smaller model developed internally. While latest foundation models may exhibit limitations for clinical deployment, they nonetheless offer excellent grounds for the development of more specialized and cost-efficient histology encoders fueling AI-guided diagnostic tools.
• Abstract（参考訳）: 100以上の公開されたコホートから病理組織学的スライドを収集し、30以上のがん部位をカバーする4億6000万の病理組織タイルの多様なデータセットをコンパイルした。 このデータセットを用いて、DINOv2を用いて大規模な自己監督型視覚変換器を訓練し、このモデルの1つのイテレーションを公開して、さらなる実験を行う。 Phikon-v2は、公開されている組織学のスライドをトレーニングしながら、以前リリースしたモデル(Phikon)を上回り、プロプライエタリなデータでトレーニングされた他の病理学基盤モデル(FM)と同等に動作します。 私たちのベンチマークには、事前トレーニングと評価データセット間のデータ汚染を避けるために、外部検証コホートに報告された結果を含む8つのスライドレベルタスクが含まれています。 我々の下流トレーニング手順は、単発リトレーニング(p<0.001)と比較して、タスクやモデル間で+1.75AUCの増加をもたらす単純だが頑健なアンサンブル戦略に従っている。 本研究は,14種類の組織学的特徴抽出装置と比較し,これまでで最も包括的であったPikon (ViT-B) とPhikon-v2 (ViT-L) を比較した。 我々の結果は、DINOv2がiBOTよりもジョイントモデルとデータのスケーリングが優れているという証拠を支持する。 また,近年のスケーリングは,GigaPathとH-Optimus-0(それぞれ1.1Bパラメータを持つ2つのViT-g)によるバイオマーカー予測の文脈において,ダウンストリーム性能に全体的に有益であることを示す。 しかし、最新のトップパフォーマンスFM間の統計的マージンは、ほとんど重要でないままであり、一部は、内部で開発された13倍の小さなモデルによって、特定の指示やMSI予測のようなタスクでパフォーマンスが劣っている。 最新の基礎モデルは、臨床展開の限界を示すかもしれないが、しかしながら、AI誘導診断ツールを駆使した、より専門的で費用効率のよい組織学エンコーダの開発のための優れた基盤を提供する。

関連論文リスト

• Weakly supervised deep learning model with size constraint for prostate cancer detection in multiparametric MRI and generalization to unseen domains [0.90668179713299]
  本モデルでは, 完全教師付きベースラインモデルにより, オンパー性能が向上することを示す。 また、未確認データドメインでテストした場合、完全に教師付きモデルと弱い教師付きモデルの両方のパフォーマンス低下も観察する。
  論文  参考訳（メタデータ） (2024-11-04T12:24:33Z)
• PaPaGei: Open Foundation Models for Optical Physiological Signals [8.78925327256804]
  光胸腺撮影は生体信号と心臓血管の健康をモニタリングする最も広く用いられている非侵襲的手法である。 PPG信号に基づいてトレーニングされた現在の機械学習モデルは、主にタスク固有であり、一般化性に欠ける。 PPG信号のための最初のオープン基盤モデルPaPaGeiを紹介する。
  論文  参考訳（メタデータ） (2024-10-27T18:18:06Z)
• Equipping Computational Pathology Systems with Artifact Processing Pipelines: A Showcase for Computation and Performance Trade-offs [0.7226586370054761]
  損傷組織, ぼかし, 折りたたみ組織, 気泡, 組織学的に無関係な血液を含む5つの重要な人工物を検出するための専門家(MoE)の混合手法を提案する。 2つのMoEと2つのマルチクラスモデルであるDCNNとビジョントランスフォーマーを用いたDLパイプラインを開発した。 提案されたMoEは86.15%のF1と97.93%の感度スコアを持ち、ViTを用いたMoEよりも推論の計算コストが低い。
  論文  参考訳（メタデータ） (2024-03-12T15:22:05Z)
• Foundation Models for Generalist Geospatial Artificial Intelligence [3.7002058945990415]
  本稿では,大規模データに基づく基礎モデルの事前学習と微調整を効果的に行うための第1種フレームワークを提案する。 我々はこの枠組みを利用して、マルチスペクトル衛星画像の1TB以上を事前トレーニングしたトランスフォーマーベースの基礎モデルであるPrithviを開発した。
  論文  参考訳（メタデータ） (2023-10-28T10:19:55Z)
• The effect of data augmentation and 3D-CNN depth on Alzheimer's Disease detection [51.697248252191265]
  この研究は、データハンドリング、実験設計、モデル評価に関するベストプラクティスを要約し、厳密に観察する。 我々は、アルツハイマー病(AD)の検出に焦点を当て、医療における課題のパラダイム的な例として機能する。 このフレームワークでは,3つの異なるデータ拡張戦略と5つの異なる3D CNNアーキテクチャを考慮し,予測15モデルを訓練する。
  論文  参考訳（メタデータ） (2023-09-13T10:40:41Z)
• AMIGO: Sparse Multi-Modal Graph Transformer with Shared-Context Processing for Representation Learning of Giga-pixel Images [53.29794593104923]
  本稿では,スライド病理像全体に対する共有コンテキスト処理の新たな概念を提案する。 AMIGOは、組織内のセルラーグラフを使用して、患者に単一の表現を提供する。 我々のモデルは、データの20%以下で同じ性能を達成できる程度に、欠落した情報に対して強い堅牢性を示す。
  論文  参考訳（メタデータ） (2023-03-01T23:37:45Z)
• TMSS: An End-to-End Transformer-based Multimodal Network for Segmentation and Survival Prediction [0.0]
  腫瘍学者は、分析においてこれを行うのではなく、医療画像や患者の歴史などの複数のソースから、脳内の情報を融合させる。 本研究は,がんの定量化と患者の生存率推定において,腫瘍学者の分析行動を模倣する深層学習手法を提案する。
  論文  参考訳（メタデータ） (2022-09-12T06:22:05Z)
• Contrastive Model Inversion for Data-Free Knowledge Distillation [60.08025054715192]
  そこで、データ多様性を最適化可能な目的として明示的にモデル化するContrastive Model Inversionを提案します。 我々の主な観察では、同じ量のデータの制約の下では、高いデータの多様性は、通常より強いインスタンス識別を示す。 CIFAR-10, CIFAR-100, Tiny-ImageNetを用いた実験により, 生成したデータを知識蒸留に使用する場合, CMIは極めて優れた性能を示すことが示された。
  論文  参考訳（メタデータ） (2021-05-18T15:13:00Z)
• Bootstrapping Your Own Positive Sample: Contrastive Learning With Electronic Health Record Data [62.29031007761901]
  本稿では,新しいコントラスト型正規化臨床分類モデルを提案する。 EHRデータに特化した2つのユニークなポジティブサンプリング戦略を紹介します。 私たちのフレームワークは、現実世界のCOVID-19 EHRデータの死亡リスクを予測するために、競争の激しい実験結果をもたらします。
  論文  参考訳（メタデータ） (2021-04-07T06:02:04Z)
• Predicting Clinical Diagnosis from Patients Electronic Health Records Using BERT-based Neural Networks [62.9447303059342]
  医療コミュニティにおけるこの問題の重要性を示す。 本稿では,変換器 (BERT) モデルによる2方向表現の分類順序の変更について述べる。 約400万人のユニークな患者訪問からなる、大規模なロシアのEHRデータセットを使用します。
  論文  参考訳（メタデータ） (2020-07-15T09:22:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。