論文の概要: Interpretability analysis on a pathology foundation model reveals biologically relevant embeddings across modalities
- arxiv url: http://arxiv.org/abs/2407.10785v1
- Date: Mon, 15 Jul 2024 15:03:01 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-16 14:39:57.531580
- Title: Interpretability analysis on a pathology foundation model reveals biologically relevant embeddings across modalities
- Title(参考訳): 病理基盤モデルにおける解釈可能性解析による生体内への生体内埋め込みの解明
- Authors: Nhat Le, Ciyue Shen, Chintan Shah, Blake Martin, Daniel Shenker, Harshith Padigela, Jennifer Hipp, Sean Grullon, John Abel, Harsha Vardhan Pokkalla, Dinkar Juyal,
- Abstract要約: 病理基盤モデルから得られたViT-Smallエンコーダの特徴を2つのデータセットに応用して解析する。
我々は、モデル埋め込み空間内での遺伝子発現とともに、細胞および組織形態の解釈可能な表現を発見する。
- 参考スコア(独自算出の注目度): 1.4602325266401266
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Mechanistic interpretability has been explored in detail for large language models (LLMs). For the first time, we provide a preliminary investigation with similar interpretability methods for medical imaging. Specifically, we analyze the features from a ViT-Small encoder obtained from a pathology Foundation Model via application to two datasets: one dataset of pathology images, and one dataset of pathology images paired with spatial transcriptomics. We discover an interpretable representation of cell and tissue morphology, along with gene expression within the model embedding space. Our work paves the way for further exploration around interpretable feature dimensions and their utility for medical and clinical applications.
- Abstract(参考訳): 機械論的解釈性は、大規模言語モデル(LLM)について詳細に研究されている。
医用画像における類似の解釈可能性に関する予備調査を初めて行った。
具体的には,病理基盤モデルから得られたVT-Smallエンコーダの特徴を,1つの病理画像データセットと1つの病理画像データセットの2つのデータセットに応用して解析する。
我々は、モデル埋め込み空間内での遺伝子発現とともに、細胞および組織形態の解釈可能な表現を発見する。
我々の研究は、解釈可能な特徴次元とその医療・臨床応用への有用性に関するさらなる探求の道を開くものである。
関連論文リスト
- Anatomy-guided Pathology Segmentation [56.883822515800205]
本研究では, 解剖学的特徴と病理学的情報を組み合わせた汎用的セグメンテーションモデルを構築し, 病理学的特徴のセグメンテーション精度を高めることを目的とする。
我々の解剖学・病理学交流(APEx)訓練では,ヒト解剖学の問合せ表現に結合特徴空間をデコードする問合せベースのセグメンテーション変換器を用いている。
これにより、FDG-PET-CTとChest X-Rayの病理分類タスクにおいて、強力なベースライン法に比べて最大3.3%のマージンで、ボード全体で最高の結果を報告できる。
論文 参考訳(メタデータ) (2024-07-08T11:44:15Z) - PLUTO: Pathology-Universal Transformer [4.920983796208486]
そこで我々はPathoLogy Universal TransfOrmer (PLUTO)を提案する。
我々はPLUTOの出力埋め込みを利用したタスク固有の適応ヘッドを,病的規模にまたがるタスクに設計する。
PLUTOは既存のタスク固有のベースラインや病理学固有の基盤モデルに適合するか、性能を向上する。
論文 参考訳(メタデータ) (2024-05-13T16:40:17Z) - HistoSegCap: Capsules for Weakly-Supervised Semantic Segmentation of
Histological Tissue Type in Whole Slide Images [19.975420988169454]
デジタル病理学では、物理的組織スライドを高解像度の全体スライド画像(WSI)に変換する。
多数の顕微鏡フィールドを持つ大きな組織学スライドは、ビジュアルサーチの課題を提起する。
コンピュータ支援診断システム(CAD)は、WSIを効率的に検査し、診断に関連のある領域を識別するための視覚的補助を提供する。
論文 参考訳(メタデータ) (2024-02-16T17:44:11Z) - Spatially Resolved Gene Expression Prediction from H&E Histology Images
via Bi-modal Contrastive Learning [4.067498002241427]
BLEEP(Bi-modaL Embedding for Expression Prediction)は、空間的に解決された遺伝子発現プロファイルを生成することができるバイモーダル埋め込みフレームワークである。
BLEEPはコントラスト学習を用いて、顕微鏡解像度でペア画像と表現プロファイルを用いて参照データセットから低次元の関節埋め込み空間を構築する。
10x Visiumプラットフォームを用いて取得したヒト肝組織データセットを用いて,BLEEPによる遺伝子発現予測の有効性を示す。
論文 参考訳(メタデータ) (2023-06-02T18:27:26Z) - Modeling Dense Multimodal Interactions Between Biological Pathways and Histology for Survival Prediction [3.2274401541163322]
本稿では,パスとヒストロジーパッチトークン間の相互作用をモデル化できるメモリ効率の良いマルチモーダルトランスを提案する。
提案モデルであるSURVPATHは,非モーダルベースラインとマルチモーダルベースラインの両方に対して評価した場合に,最先端の性能を実現する。
論文 参考訳(メタデータ) (2023-04-13T21:02:32Z) - Medical Image Captioning via Generative Pretrained Transformers [57.308920993032274]
我々は、Show-Attend-Tell と GPT-3 という2つの言語モデルを組み合わせて、包括的で記述的な放射線学記録を生成する。
提案モデルは、Open-I、MIMIC-CXR、汎用MS-COCOの2つの医療データセットで検証される。
論文 参考訳(メタデータ) (2022-09-28T10:27:10Z) - HistoCartography: A Toolkit for Graph Analytics in Digital Pathology [0.6299766708197883]
HistoCartographyは、計算病理学におけるグラフ分析を容易にするために必要な前処理、機械学習、説明可能性ツールを備えた標準化されたpython APIである。
画像の種類や病理組織学のタスクにまたがる複数のデータセットの計算時間と性能をベンチマークした。
論文 参考訳(メタデータ) (2021-07-21T13:34:14Z) - MIMO: Mutual Integration of Patient Journey and Medical Ontology for
Healthcare Representation Learning [49.57261599776167]
本稿では、医療表現学習と予測分析のための、エンドツーエンドの堅牢なトランスフォーマーベースのソリューション、患者旅行の相互統合、医療オントロジー(MIMO)を提案する。
論文 参考訳(メタデータ) (2021-07-20T07:04:52Z) - Data-driven generation of plausible tissue geometries for realistic
photoacoustic image synthesis [53.65837038435433]
光音響トモグラフィ(pat)は形態的および機能的組織特性を回復する可能性がある。
我々は,PATデータシミュレーションの新たなアプローチを提案し,これを「シミュレーションの学習」と呼ぶ。
我々は、意味的注釈付き医療画像データに基づいて訓練されたGAN(Generative Adversarial Networks)の概念を活用して、可塑性組織ジオメトリを生成する。
論文 参考訳(メタデータ) (2021-03-29T11:30:18Z) - Deep Co-Attention Network for Multi-View Subspace Learning [73.3450258002607]
マルチビューサブスペース学習のための深層コアテンションネットワークを提案する。
共通情報と相補情報の両方を敵意で抽出することを目的としている。
特に、新しいクロス再構成損失を使用し、ラベル情報を利用して潜在表現の構築を誘導する。
論文 参考訳(メタデータ) (2021-02-15T18:46:44Z) - G-MIND: An End-to-End Multimodal Imaging-Genetics Framework for
Biomarker Identification and Disease Classification [49.53651166356737]
診断によって誘導される画像データと遺伝データを統合し、解釈可能なバイオマーカーを提供する新しいディープニューラルネットワークアーキテクチャを提案する。
2つの機能的MRI(fMRI)パラダイムとSingle Nucleotide Polymorphism (SNP)データを含む統合失調症の集団研究で本モデルを評価した。
論文 参考訳(メタデータ) (2021-01-27T19:28:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。