論文の概要: Learning biologically relevant features in a pathology foundation model using sparse autoencoders

• arxiv url: http://arxiv.org/abs/2407.10785v3
• Date: Mon, 16 Dec 2024 21:02:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-18 13:54:36.787808
• Title: Learning biologically relevant features in a pathology foundation model using sparse autoencoders
• Title（参考訳）: スパースオートエンコーダを用いた病理基盤モデルにおける生物学的特徴の学習
• Authors: Nhat Minh Le, Ciyue Shen, Neel Patel, Chintan Shah, Darpan Sanghavi, Blake Martin, Alfred Eng, Daniel Shenker, Harshith Padigela, Raymond Biju, Syed Ashar Javed, Jennifer Hipp, John Abel, Harsha Pokkalla, Sean Grullon, Dinkar Juyal,
• Abstract要約: 我々は、病理予知基礎モデルの埋め込みについてスパースオートエンコーダを訓練した。 Sparse Autoencoderの機能は, 解釈可能な, 単意味的な生物学的概念を表す。
• 参考スコア（独自算出の注目度）: 2.5919097694815365
• License:
• Abstract: Pathology plays an important role in disease diagnosis, treatment decision-making and drug development. Previous works on interpretability for machine learning models on pathology images have revolved around methods such as attention value visualization and deriving human-interpretable features from model heatmaps. Mechanistic interpretability is an emerging area of model interpretability that focuses on reverse-engineering neural networks. Sparse Autoencoders (SAEs) have emerged as a promising direction in terms of extracting monosemantic features from polysemantic model activations. In this work, we trained a Sparse Autoencoder on the embeddings of a pathology pretrained foundation model. We found that Sparse Autoencoder features represent interpretable and monosemantic biological concepts. In particular, individual SAE dimensions showed strong correlations with cell type counts such as plasma cells and lymphocytes. These biological representations were unique to the pathology pretrained model and were not found in a self-supervised model pretrained on natural images. We demonstrated that such biologically-grounded monosemantic representations evolved across the model's depth, and the pathology foundation model eventually gained robustness to non-biological factors such as scanner type. The emergence of biologically relevant SAE features was generalizable to an out-of-domain dataset. Our work paves the way for further exploration around interpretable feature dimensions and their utility for medical and clinical applications.
• Abstract（参考訳）: 病理は、疾患の診断、治療決定、薬物開発において重要な役割を担っている。 病理画像上での機械学習モデルの解釈可能性に関するこれまでの研究は、注意値の可視化や、モデルヒートマップからの人間の解釈可能な特徴の抽出といった手法を中心に発展してきた。 機械的解釈可能性(Mechanistic Interpretability)は、リバースエンジニアリングニューラルネットワークに焦点を当てたモデル解釈可能性の新たな領域である。 スパースオートエンコーダ (SAE) は, 多意味モデルアクティベーションから単意味的特徴を抽出する上で有望な方向として登場した。 本研究では,病理予知基礎モデルの埋め込みについて,スパースオートエンコーダを訓練した。 Sparse Autoencoderの機能は, 解釈可能な, 単意味的な生物学的概念を表す。 特に、個々のSAE次元は、血漿細胞やリンパ球などの細胞型数と強い相関を示した。 これらの生物学的表現は、病理予知モデルに特有のものであり、自然画像上で事前訓練された自己監督モデルには見つからなかった。 そこで我々は, モデル深度にわたって, 生物学的に接地したモノセマンティック表現が進化し, 病理基盤モデルがスキャナー型などの非生物学的要因に対して頑健性を得たことを実証した。 生物学的に関連するSAE機能の出現は、ドメイン外のデータセットに一般化可能であった。 我々の研究は、解釈可能な特徴次元とその医療・臨床応用への有用性に関するさらなる探求の道を開くものである。

関連論文リスト

• Multiplex Imaging Analysis in Pathology: a Comprehensive Review on Analytical Approaches and Digital Toolkits [0.7968706282619793]
  マルチ多重イメージングは、複数のバイオマーカーを1つのセクションで同時に視覚化することを可能にする。 多重画像からのデータは、前処理、セグメンテーション、特徴抽出、空間解析のための洗練された計算方法を必要とする。 PathMLは、画像分析を効率化するAIベースのプラットフォームで、臨床および研究環境では複雑な解釈がアクセス可能である。
  論文  参考訳（メタデータ） (2024-11-01T18:02:41Z)
• Histopathology image embedding based on foundation models features aggregation for patient treatment response prediction [0.0]
  びまん性大細胞型B細胞リンパ腫患者に対する全スライド画像からの治療反応を予測する新しい方法を提案する。 本手法は, 組織小領域に対応する画像の局所的表現を得るために, 特徴抽出器としていくつかの基礎モデルを利用する。 本研究は152名の患者を対象とした実験で,本手法の有望な結果を示した。
  論文  参考訳（メタデータ） (2024-07-23T13:31:12Z)
• Anatomy-guided Pathology Segmentation [56.883822515800205]
  本研究では, 解剖学的特徴と病理学的情報を組み合わせた汎用的セグメンテーションモデルを構築し, 病理学的特徴のセグメンテーション精度を高めることを目的とする。 我々の解剖学・病理学交流(APEx)訓練では,ヒト解剖学の問合せ表現に結合特徴空間をデコードする問合せベースのセグメンテーション変換器を用いている。 これにより、FDG-PET-CTとChest X-Rayの病理分類タスクにおいて、強力なベースライン法に比べて最大3.3%のマージンで、ボード全体で最高の結果を報告できる。
  論文  参考訳（メタデータ） (2024-07-08T11:44:15Z)
• PLUTO: Pathology-Universal Transformer [4.920983796208486]
  そこで我々はPathoLogy Universal TransfOrmer (PLUTO)を提案する。 我々はPLUTOの出力埋め込みを利用したタスク固有の適応ヘッドを,病的規模にまたがるタスクに設計する。 PLUTOは既存のタスク固有のベースラインや病理学固有の基盤モデルに適合するか、性能を向上する。
  論文  参考訳（メタデータ） (2024-05-13T16:40:17Z)
• Knowledge-enhanced Visual-Language Pretraining for Computational Pathology [68.6831438330526]
  本稿では,公共資源から収集した大規模画像テキストペアを利用した視覚的表現学習の課題について考察する。 ヒト32組織から病理診断を必要とする4,718の疾患に対して50,470個の情報属性からなる病理知識ツリーをキュレートする。
  論文  参考訳（メタデータ） (2024-04-15T17:11:25Z)
• HistoSegCap: Capsules for Weakly-Supervised Semantic Segmentation of Histological Tissue Type in Whole Slide Images [19.975420988169454]
  デジタル病理学では、物理的組織スライドを高解像度の全体スライド画像(WSI)に変換する。 多数の顕微鏡フィールドを持つ大きな組織学スライドは、ビジュアルサーチの課題を提起する。 コンピュータ支援診断システム(CAD)は、WSIを効率的に検査し、診断に関連のある領域を識別するための視覚的補助を提供する。
  論文  参考訳（メタデータ） (2024-02-16T17:44:11Z)
• HistoCartography: A Toolkit for Graph Analytics in Digital Pathology [0.6299766708197883]
  HistoCartographyは、計算病理学におけるグラフ分析を容易にするために必要な前処理、機械学習、説明可能性ツールを備えた標準化されたpython APIである。 画像の種類や病理組織学のタスクにまたがる複数のデータセットの計算時間と性能をベンチマークした。
  論文  参考訳（メタデータ） (2021-07-21T13:34:14Z)
• MIMO: Mutual Integration of Patient Journey and Medical Ontology for Healthcare Representation Learning [49.57261599776167]
  本稿では、医療表現学習と予測分析のための、エンドツーエンドの堅牢なトランスフォーマーベースのソリューション、患者旅行の相互統合、医療オントロジー(MIMO)を提案する。
  論文  参考訳（メタデータ） (2021-07-20T07:04:52Z)
• Data-driven generation of plausible tissue geometries for realistic photoacoustic image synthesis [53.65837038435433]
  光音響トモグラフィ(pat)は形態的および機能的組織特性を回復する可能性がある。 我々は,PATデータシミュレーションの新たなアプローチを提案し,これを「シミュレーションの学習」と呼ぶ。 我々は、意味的注釈付き医療画像データに基づいて訓練されたGAN(Generative Adversarial Networks)の概念を活用して、可塑性組織ジオメトリを生成する。
  論文  参考訳（メタデータ） (2021-03-29T11:30:18Z)
• Deep Co-Attention Network for Multi-View Subspace Learning [73.3450258002607]
  マルチビューサブスペース学習のための深層コアテンションネットワークを提案する。 共通情報と相補情報の両方を敵意で抽出することを目的としている。 特に、新しいクロス再構成損失を使用し、ラベル情報を利用して潜在表現の構築を誘導する。
  論文  参考訳（メタデータ） (2021-02-15T18:46:44Z)
• G-MIND: An End-to-End Multimodal Imaging-Genetics Framework for Biomarker Identification and Disease Classification [49.53651166356737]
  診断によって誘導される画像データと遺伝データを統合し、解釈可能なバイオマーカーを提供する新しいディープニューラルネットワークアーキテクチャを提案する。 2つの機能的MRI(fMRI)パラダイムとSingle Nucleotide Polymorphism (SNP)データを含む統合失調症の集団研究で本モデルを評価した。
  論文  参考訳（メタデータ） (2021-01-27T19:28:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。