論文の概要: Learning biologically relevant features in a pathology foundation model using sparse autoencoders

• arxiv url: http://arxiv.org/abs/2407.10785v3
• Date: Mon, 16 Dec 2024 21:02:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-18 13:54:36.787808
• Title: Learning biologically relevant features in a pathology foundation model using sparse autoencoders
• Title（参考訳）: スパースオートエンコーダを用いた病理基盤モデルにおける生物学的特徴の学習
• Authors: Nhat Minh Le, Ciyue Shen, Neel Patel, Chintan Shah, Darpan Sanghavi, Blake Martin, Alfred Eng, Daniel Shenker, Harshith Padigela, Raymond Biju, Syed Ashar Javed, Jennifer Hipp, John Abel, Harsha Pokkalla, Sean Grullon, Dinkar Juyal,
• Abstract要約: 我々は、病理予知基礎モデルの埋め込みについてスパースオートエンコーダを訓練した。 Sparse Autoencoderの機能は, 解釈可能な, 単意味的な生物学的概念を表す。
• 参考スコア（独自算出の注目度）: 2.5919097694815365
• License:
• Abstract: Pathology plays an important role in disease diagnosis, treatment decision-making and drug development. Previous works on interpretability for machine learning models on pathology images have revolved around methods such as attention value visualization and deriving human-interpretable features from model heatmaps. Mechanistic interpretability is an emerging area of model interpretability that focuses on reverse-engineering neural networks. Sparse Autoencoders (SAEs) have emerged as a promising direction in terms of extracting monosemantic features from polysemantic model activations. In this work, we trained a Sparse Autoencoder on the embeddings of a pathology pretrained foundation model. We found that Sparse Autoencoder features represent interpretable and monosemantic biological concepts. In particular, individual SAE dimensions showed strong correlations with cell type counts such as plasma cells and lymphocytes. These biological representations were unique to the pathology pretrained model and were not found in a self-supervised model pretrained on natural images. We demonstrated that such biologically-grounded monosemantic representations evolved across the model's depth, and the pathology foundation model eventually gained robustness to non-biological factors such as scanner type. The emergence of biologically relevant SAE features was generalizable to an out-of-domain dataset. Our work paves the way for further exploration around interpretable feature dimensions and their utility for medical and clinical applications.
• Abstract（参考訳）: 病理は、疾患の診断、治療決定、薬物開発において重要な役割を担っている。 病理画像上での機械学習モデルの解釈可能性に関するこれまでの研究は、注意値の可視化や、モデルヒートマップからの人間の解釈可能な特徴の抽出といった手法を中心に発展してきた。 機械的解釈可能性(Mechanistic Interpretability)は、リバースエンジニアリングニューラルネットワークに焦点を当てたモデル解釈可能性の新たな領域である。 スパースオートエンコーダ (SAE) は, 多意味モデルアクティベーションから単意味的特徴を抽出する上で有望な方向として登場した。 本研究では,病理予知基礎モデルの埋め込みについて,スパースオートエンコーダを訓練した。 Sparse Autoencoderの機能は, 解釈可能な, 単意味的な生物学的概念を表す。 特に、個々のSAE次元は、血漿細胞やリンパ球などの細胞型数と強い相関を示した。 これらの生物学的表現は、病理予知モデルに特有のものであり、自然画像上で事前訓練された自己監督モデルには見つからなかった。 そこで我々は, モデル深度にわたって, 生物学的に接地したモノセマンティック表現が進化し, 病理基盤モデルがスキャナー型などの非生物学的要因に対して頑健性を得たことを実証した。 生物学的に関連するSAE機能の出現は、ドメイン外のデータセットに一般化可能であった。 我々の研究は、解釈可能な特徴次元とその医療・臨床応用への有用性に関するさらなる探求の道を開くものである。

関連論文リスト

• Causal Representation Learning from Multimodal Biological Observations [57.00712157758845]
  我々は,マルチモーダルデータに対するフレキシブルな識別条件の開発を目指している。 我々は、各潜伏成分の識別可能性を保証するとともに、サブスペース識別結果を事前の作業から拡張する。 我々の重要な理論的要素は、異なるモーダル間の因果関係の構造的空間性である。
  論文  参考訳（メタデータ） (2024-11-10T16:40:27Z)
• Deep Latent Variable Modeling of Physiological Signals [0.8702432681310401]
  潜時変動モデルを用いた生理モニタリングに関する高次元問題について検討する。 まず、光学的に得られた信号を入力として、心の電気波形を生成するための新しい状態空間モデルを提案する。 次に,確率的グラフィカルモデルの強みと深い敵対学習を組み合わせた脳信号モデリング手法を提案する。 第3に,生理的尺度と行動の合同モデリングのための枠組みを提案する。
  論文  参考訳（メタデータ） (2024-05-29T17:07:33Z)
• Tertiary Lymphoid Structures Generation through Graph-based Diffusion [54.37503714313661]
  本研究では,最先端のグラフベース拡散モデルを用いて生物学的に意味のある細胞グラフを生成する。 本研究では, グラフ拡散モデルを用いて, 3次リンパ構造(TLS)の分布を正確に学習できることを示す。
  論文  参考訳（メタデータ） (2023-10-10T14:37:17Z)
• Biologically-informed deep learning models for cancer: fundamental trends for encoding and interpreting oncology data [0.0]
  本稿では,癌生物学における推論を支援するために用いられる深層学習(DL)モデルに着目した構造化文献解析を行う。 この研究は、既存のモデルが、先行知識、生物学的妥当性、解釈可能性とのより良い対話の必要性にどのように対処するかに焦点を当てている。
  論文  参考訳（メタデータ） (2022-07-02T12:11:35Z)
• Learning multi-scale functional representations of proteins from single-cell microscopy data [77.34726150561087]
  局所化分類に基づいて訓練された単純な畳み込みネットワークは、多様な機能情報をカプセル化したタンパク質表現を学習できることを示す。 また,生物機能の異なるスケールでタンパク質表現の質を評価するためのロバストな評価戦略を提案する。
  論文  参考訳（メタデータ） (2022-05-24T00:00:07Z)
• PathologyBERT -- Pre-trained Vs. A New Transformer Language Model for Pathology Domain [2.3628956573813498]
  大規模な病理データベースのテキストマイニングが成功すれば、「ビッグデータ」がん研究の進展に重要な役割を果たす可能性がある。 病理学の分野での急速なデータマイニング開発を支援するために、病理学固有の言語空間は存在しない。 PathologyBERTは,347,173例の病理組織学的報告に基づいて訓練された,訓練済みの仮面言語モデルである。
  論文  参考訳（メタデータ） (2022-05-13T20:42:07Z)
• Mapping the landscape of histomorphological cancer phenotypes using self-supervised learning on unlabeled, unannotated pathology slides [9.27127895781971]
  病理形態学的現象型学習は、小さな画像タイルにおける識別画像の特徴の自動発見を通じて行われる。 タイルは、組織形態学的表現型のライブラリを構成する形態学的に類似したクラスターに分類される。
  論文  参考訳（メタデータ） (2022-05-04T08:06:55Z)
• Analyzing the Effects of Handling Data Imbalance on Learned Features from Medical Images by Looking Into the Models [50.537859423741644]
  不均衡なデータセットでモデルをトレーニングすることは、学習問題にユニークな課題をもたらす可能性がある。 ニューラルネットワークの内部ユニットを深く調べて、データの不均衡処理が学習した機能にどのように影響するかを観察します。
  論文  参考訳（メタデータ） (2022-04-04T09:38:38Z)
• Self-Supervised Vision Transformers Learn Visual Concepts in Histopathology [5.164102666113966]
  我々は、様々な弱い教師付きおよびパッチレベルのタスクに対する検証を行い、様々な自己教師付きモデルを訓練することにより、病理学における良い表現を探索する。 我々の重要な発見は、DINOベースの知識蒸留を用いたビジョントランスフォーマーが、組織像におけるデータ効率と解釈可能な特徴を学習できることを発見したことである。
  論文  参考訳（メタデータ） (2022-03-01T16:14:41Z)
• A multi-stage machine learning model on diagnosis of esophageal manometry [50.591267188664666]
  このフレームワークには、飲み込みレベルにおけるディープラーニングモデルと、学習レベルにおける機能ベースの機械学習モデルが含まれている。 これは、生のマルチスワローデータからHRM研究のCC診断を自動的に予測する最初の人工知能モデルである。
  論文  参考訳（メタデータ） (2021-06-25T20:09:23Z)
• G-MIND: An End-to-End Multimodal Imaging-Genetics Framework for Biomarker Identification and Disease Classification [49.53651166356737]
  診断によって誘導される画像データと遺伝データを統合し、解釈可能なバイオマーカーを提供する新しいディープニューラルネットワークアーキテクチャを提案する。 2つの機能的MRI(fMRI)パラダイムとSingle Nucleotide Polymorphism (SNP)データを含む統合失調症の集団研究で本モデルを評価した。
  論文  参考訳（メタデータ） (2021-01-27T19:28:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。