論文の概要: PLUTO: Pathology-Universal Transformer
- arxiv url: http://arxiv.org/abs/2405.07905v1
- Date: Mon, 13 May 2024 16:40:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-05-14 12:56:21.384276
- Title: PLUTO: Pathology-Universal Transformer
- Title(参考訳): PLUTO: 病理・ユニバーサルトランス
- Abstract要約: そこで我々はPathoLogy Universal TransfOrmer (PLUTO)を提案する。
我々はPLUTOの出力埋め込みを利用したタスク固有の適応ヘッドを,病的規模にまたがるタスクに設計する。
PLUTOは既存のタスク固有のベースラインや病理学固有の基盤モデルに適合するか、性能を向上する。
- 参考スコア(独自算出の注目度): 4.920983796208486
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Pathology is the study of microscopic inspection of tissue, and a pathology diagnosis is often the medical gold standard to diagnose disease. Pathology images provide a unique challenge for computer-vision-based analysis: a single pathology Whole Slide Image (WSI) is gigapixel-sized and often contains hundreds of thousands to millions of objects of interest across multiple resolutions. In this work, we propose PathoLogy Universal TransfOrmer (PLUTO): a light-weight pathology FM that is pre-trained on a diverse dataset of 195 million image tiles collected from multiple sites and extracts meaningful representations across multiple WSI scales that enable a large variety of downstream pathology tasks. In particular, we design task-specific adaptation heads that utilize PLUTO's output embeddings for tasks which span pathology scales ranging from subcellular to slide-scale, including instance segmentation, tile classification, and slide-level prediction. We compare PLUTO's performance to other state-of-the-art methods on a diverse set of external and internal benchmarks covering multiple biologically relevant tasks, tissue types, resolutions, stains, and scanners. We find that PLUTO matches or outperforms existing task-specific baselines and pathology-specific foundation models, some of which use orders-of-magnitude larger datasets and model sizes when compared to PLUTO. Our findings present a path towards a universal embedding to power pathology image analysis, and motivate further exploration around pathology foundation models in terms of data diversity, architectural improvements, sample efficiency, and practical deployability in real-world applications.
- Abstract(参考訳): 病理学は組織の顕微鏡検査の研究であり、病理診断は疾患を診断するための医療用金基準であることが多い。
単一の病理WSI(Whole Slide Image)はギガピクセルサイズで、複数の解像度で何十万から数百万もの関心の対象を含んでいることが多い。
本研究はPathoLogy Universal TransfOrmer (PLUTO)を提案する。複数のサイトから収集された1億9500万枚の画像タイルの多種多様なデータセット上に事前学習し、複数のWSIスケールで有意義な表現を抽出し、様々な下流病理タスクを可能にする軽量な病理組織FMである。
特に,PLUTOの出力埋め込みを利用したタスク固有の適応ヘッドを,ケースセグメンテーション,タイル分類,スライドレベルの予測など,細胞内からスライドスケールまでの範囲にまたがるタスクに設計する。
我々は、PLUTOのパフォーマンスを、様々な生物学的なタスク、組織の種類、解像度、染色、スキャナーをカバーする様々な外部および内部ベンチマークで、最先端の他の手法と比較する。
PLUTOは既存のタスク固有のベースラインや病理学固有の基盤モデルに適合し,PLUTOと比較した場合,大局的なデータセットやモデルサイズを使用するものもある。
本研究は,データ多様性, 構造的改善, サンプル効率, 実世界のアプリケーションにおける実用的展開性の観点から, 病的基盤モデル周辺への普遍的な埋め込みへの道を示すものである。
関連論文リスト
- From Multi-Resolution Cells to Gigapixel Whole Slide Images Foundation Model for Computational Pathology [40.79247708160045]
MRPT(Multi-Resolution Pyramid Transformer)
624Mパッチ、2.4Mリージョン、36K全スライド画像(WSIs)を用いたマルチレゾリューションによる事前学習
論文 参考訳(メタデータ) (2026-08-04T11:51:16Z) - Paired Uterine Whole-Slide Images and Pathology Reports for Multimodal Computational Pathology [54.42160154368719]
WSI(Whole-Slide Image)は、病理のデジタルトランスフォーメーションを可能にする。
病理組織像と病理所見を共同で解析するマルチモーダルモデルは、自動病理報告生成とAIによる診断に有望な可能性を示唆している。
本稿では,WSIsを併用した子宮疾患データセットであるTUM-Uteriaを紹介する。
論文 参考訳(メタデータ) (2026-07-04T20:34:59Z) - Particle Diffusion Matching: Random Walk Correspondence Search for the Alignment of Standard and Ultra-Widefield Fundus Images [47.944896477309555]
標準ファンドス画像(SFI)とウルトラウェードフィールドファンドス画像(UWFI)のためのロバストアライメント手法を提案する。
本手法は粒子拡散マッチング (Particle Diffusion Matching, PDM) と呼ばれ, 拡散モデルにより誘導される反復ランダムウォーク対応探索 (RWCS) を通してアライメントを行う。
PDMは複数の網膜画像アライメントベンチマークで最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2026-04-11T08:09:53Z) - Fusing Pixels and Genes: Spatially-Aware Learning in Computational Pathology [46.83014413674925]
STAMPは空間的トランスクリプトミクスを付加したマルチモーダルな病理表現学習フレームワークである。
本研究は、自己教師型遺伝子誘導訓練が、病理画像表現の学習に堅牢でタスクに依存しない信号を提供することを示す。
6つのデータセットと4つの下流タスクにまたがってSTAMPを検証する。
論文 参考訳(メタデータ) (2026-02-15T00:59:13Z) - A Semantically Enhanced Generative Foundation Model Improves Pathological Image Synthesis [82.01597026329158]
本稿では,組織合成のための相関調整フレームワーク(CRAFTS)について紹介する。
CRAFTSは、生物学的精度を確保するためにセマンティックドリフトを抑制する新しいアライメント機構を組み込んでいる。
本モデルは,30種類の癌にまたがる多彩な病理像を生成する。
論文 参考訳(メタデータ) (2025-12-15T10:22:43Z) - Benchmarking histopathology foundation models in a multi-center dataset for skin cancer subtyping [1.927195358774599]
大規模なドメイン内データセットの事前トレーニングは、履歴病理基盤モデル(FM)にタスクに依存しないデータ表現を学習する能力を与える。
計算病理学では、スライド全体の自動解析には、スライドのギガピクセルスケールのため、複数のインスタンス学習(MIL)フレームワークが必要である。
本研究は,MIL分類フレームワーク内のパッチレベルの特徴抽出器として,病理組織学的FMを評価するための新しいベンチマークを提案する。
論文 参考訳(メタデータ) (2025-06-23T14:12:16Z) - PixCell: A generative foundation model for digital histopathology images [49.00921097924924]
PixCellは,病理組織学における最初の拡散ベース生成基盤モデルである。
われわれはPanCan-30MでPixCellをトレーニングした。
論文 参考訳(メタデータ) (2025-06-05T15:14:32Z) - PathVG: A New Benchmark and Dataset for Pathology Visual Grounding [45.21597220882424]
そこで我々はPathVG(Pathology Visual Grounding)と呼ばれる新しいベンチマークを提案する。
実験の結果,病理表現の根底にある暗黙的な情報に最大の課題があることが判明した。
提案手法は,PathVGベンチマーク上での最先端性能を実現する。
論文 参考訳(メタデータ) (2025-02-28T09:13:01Z) - MLLM4PUE: Toward Universal Embeddings in Digital Pathology through Multimodal LLMs [34.092892344250025]
複数の下流タスクをサポートするユニバーサルなマルチモーダル埋め込みの必要性を強調した。
以前のアプローチでは、イメージとテキストを別々に扱うCLIPベースのモデルを微調整する必要があった。
MLLM4PUE は,MLLM を利用して下流の様々な病態に対する埋め込みを生成する新しいフレームワークである。
論文 参考訳(メタデータ) (2025-02-11T03:28:55Z) - Histo-Diffusion: A Diffusion Super-Resolution Method for Digital Pathology with Comprehensive Quality Assessment [6.350679043444348]
ヒスト拡散(Histo-Diffusion)は、デジタル病理学における超解像の生成と評価のために特別に設計された拡散法である。
病理組織学の復元モジュールと、高品質な画像を生成するための制御可能な拡散モジュールを含む。
論文 参考訳(メタデータ) (2024-08-27T17:31:00Z) - URCDM: Ultra-Resolution Image Synthesis in Histopathology [4.393805955844748]
Ultra-Resolution Cascaded Diffusion Models (URCDMs) は、すべての病理像を高分解能で合成することができる。
本手法は脳,乳腺,腎臓の組織からなる3つの異なるデータセットを用いて評価した。
URCDMは、訓練された評価器が実際の画像と区別できない様々な解像度の出力を一貫して生成する。
論文 参考訳(メタデータ) (2024-07-18T08:31:55Z) - GPC: Generative and General Pathology Image Classifier [2.6954348706500766]
本稿では,GPCと呼ばれるタスク依存型画像分類器を提案する。
GPCは、病理画像を高次元の特徴空間にマッピングし、テキストとして関連するクラスラベルを生成する。
我々は,4つの病理画像分類タスクに対して,GPCを6つのデータセットで評価した。
論文 参考訳(メタデータ) (2024-07-12T06:54:31Z) - Potential of Multimodal Large Language Models for Data Mining of Medical Images and Free-text Reports [51.45762396192655]
特にGemini-Vision-Series (Gemini) と GPT-4-Series (GPT-4) は、コンピュータビジョンのための人工知能のパラダイムシフトを象徴している。
本研究は,14の医用画像データセットを対象に,Gemini,GPT-4,および4つの一般的な大規模モデルの性能評価を行った。
論文 参考訳(メタデータ) (2024-07-08T09:08:42Z) - A self-supervised framework for learning whole slide representations [52.774822784847565]
我々は、全スライド画像のギガピクセルスケールの自己スーパービジョンのためのSlide Pre-trained Transformer (SPT)を提案する。
バイオメディカル・マイクロスコープ・データセットを用いて,5つの診断課題におけるSPT視覚表現のベンチマークを行った。
論文 参考訳(メタデータ) (2024-02-09T05:05:28Z) - WsiCaption: Multiple Instance Generation of Pathology Reports for Gigapixel Whole-Slide Images [5.960501267687475]
スライド画像全体から病理報告を生成する方法について検討する。
私たちは、最大のWSIテキストデータセット(PathText)をキュレートしました。
モデル終端では、多重インスタンス生成モデル(MI-Gen)を提案する。
論文 参考訳(メタデータ) (2023-11-27T05:05:41Z) - PMP-Swin: Multi-Scale Patch Message Passing Swin Transformer for Retinal
Disease Classification [9.651435376561741]
マルチスケール・パッチ・メッセージ・パッシング・スウィン・トランスフォーマ (Multi-Scale Patch Message Passing Swin Transformer) という新しいフレームワークを提案する。
具体的には,Patch Message Passing(PMP)モジュールをMessage Passing機構に基づいて設計し,病的意味的特徴のグローバルな相互作用を確立する。
論文 参考訳(メタデータ) (2023-11-20T11:09:09Z) - MedFMC: A Real-world Dataset and Benchmark For Foundation Model
Adaptation in Medical Image Classification [41.16626194300303]
ファンデーションモデルは、多くの場合、大規模なデータで事前訓練されているが、様々なビジョンや言語アプリケーションのジャンプ開始において、最も成功している。
最近の進歩により、下流タスクにおける基礎モデルの適応は、少数のトレーニングサンプルだけで効率的に行えるようになった。
しかし, 医用画像解析におけるそのような学習パラダイムの適用は, 一般に公開されているデータやベンチマークが不足しているため, 依然として少ない。
論文 参考訳(メタデータ) (2023-06-16T01:46:07Z) - Pixel-Level Explanation of Multiple Instance Learning Models in
Biomedical Single Cell Images [52.527733226555206]
複数のインスタンス学習モデルを説明するための4つの属性法について検討する。
急性骨髄性白血病の2つのデータセットと100万以上の単細胞画像について検討した。
我々は、属性マップと医療専門家の注釈を比較し、モデルの意思決定が人間の基準とどのように異なるかを確認する。
論文 参考訳(メタデータ) (2023-03-15T14:00:11Z) - AMIGO: Sparse Multi-Modal Graph Transformer with Shared-Context
Processing for Representation Learning of Giga-pixel Images [53.29794593104923]
本稿では,スライド病理像全体に対する共有コンテキスト処理の新たな概念を提案する。
AMIGOは、組織内のセルラーグラフを使用して、患者に単一の表現を提供する。
我々のモデルは、データの20%以下で同じ性能を達成できる程度に、欠落した情報に対して強い堅牢性を示す。
論文 参考訳(メタデータ) (2023-03-01T23:37:45Z) - Hierarchical Transformer for Survival Prediction Using Multimodality
Whole Slide Images and Genomics [63.76637479503006]
下流タスクのためのギガピクセルレベルのスライド病理画像(WSI)の良質な表現を学習することが重要である。
本稿では,病理画像と対応する遺伝子間の階層的マッピングを学習する階層型マルチモーダルトランスフォーマーフレームワークを提案する。
より優れたWSI表現能力を維持しながら、ベンチマーク手法と比較してGPUリソースが少ないアーキテクチャです。
論文 参考訳(メタデータ) (2022-11-29T23:47:56Z) - Affinity Feature Strengthening for Accurate, Complete and Robust Vessel
Segmentation [48.638327652506284]
血管セグメンテーションは、冠動脈狭窄、網膜血管疾患、脳動脈瘤などの多くの医学的応用において重要である。
コントラストに敏感なマルチスケールアフィニティアプローチを用いて,幾何学的手法と画素単位のセグメンテーション特徴を連成的にモデル化する新しいアプローチであるAFNを提案する。
論文 参考訳(メタデータ) (2022-11-12T05:39:17Z) - Pathological Retinal Region Segmentation From OCT Images Using Geometric
Relation Based Augmentation [84.7571086566595]
本稿では,幾何学と形状の内在的関係を共同で符号化することで,従来のGANベースの医用画像合成法よりも優れた手法を提案する。
提案手法は,取得手順の異なる画像を有する公開RETOUCHデータセット上で,最先端のセグメンテーション手法より優れている。
論文 参考訳(メタデータ) (2020-03-31T11:50:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。