論文の概要: Learning biologically relevant features in a pathology foundation model using sparse autoencoders

• arxiv url: http://arxiv.org/abs/2407.10785v3
• Date: Mon, 16 Dec 2024 21:02:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-18 12:50:05.655852
• Title: Learning biologically relevant features in a pathology foundation model using sparse autoencoders
• Title（参考訳）: スパースオートエンコーダを用いた病理基盤モデルにおける生物学的特徴の学習
• Authors: Nhat Minh Le, Ciyue Shen, Neel Patel, Chintan Shah, Darpan Sanghavi, Blake Martin, Alfred Eng, Daniel Shenker, Harshith Padigela, Raymond Biju, Syed Ashar Javed, Jennifer Hipp, John Abel, Harsha Pokkalla, Sean Grullon, Dinkar Juyal,
• Abstract要約: 我々は、病理予知基礎モデルの埋め込みについてスパースオートエンコーダを訓練した。 Sparse Autoencoderの機能は, 解釈可能な, 単意味的な生物学的概念を表す。
• 参考スコア（独自算出の注目度）: 2.5919097694815365
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Pathology plays an important role in disease diagnosis, treatment decision-making and drug development. Previous works on interpretability for machine learning models on pathology images have revolved around methods such as attention value visualization and deriving human-interpretable features from model heatmaps. Mechanistic interpretability is an emerging area of model interpretability that focuses on reverse-engineering neural networks. Sparse Autoencoders (SAEs) have emerged as a promising direction in terms of extracting monosemantic features from polysemantic model activations. In this work, we trained a Sparse Autoencoder on the embeddings of a pathology pretrained foundation model. We found that Sparse Autoencoder features represent interpretable and monosemantic biological concepts. In particular, individual SAE dimensions showed strong correlations with cell type counts such as plasma cells and lymphocytes. These biological representations were unique to the pathology pretrained model and were not found in a self-supervised model pretrained on natural images. We demonstrated that such biologically-grounded monosemantic representations evolved across the model's depth, and the pathology foundation model eventually gained robustness to non-biological factors such as scanner type. The emergence of biologically relevant SAE features was generalizable to an out-of-domain dataset. Our work paves the way for further exploration around interpretable feature dimensions and their utility for medical and clinical applications.
• Abstract（参考訳）: 病理は、疾患の診断、治療決定、薬物開発において重要な役割を担っている。 病理画像上での機械学習モデルの解釈可能性に関するこれまでの研究は、注意値の可視化や、モデルヒートマップからの人間の解釈可能な特徴の抽出といった手法を中心に発展してきた。 機械的解釈可能性(Mechanistic Interpretability)は、リバースエンジニアリングニューラルネットワークに焦点を当てたモデル解釈可能性の新たな領域である。 スパースオートエンコーダ (SAE) は, 多意味モデルアクティベーションから単意味的特徴を抽出する上で有望な方向として登場した。 本研究では,病理予知基礎モデルの埋め込みについて,スパースオートエンコーダを訓練した。 Sparse Autoencoderの機能は, 解釈可能な, 単意味的な生物学的概念を表す。 特に、個々のSAE次元は、血漿細胞やリンパ球などの細胞型数と強い相関を示した。 これらの生物学的表現は、病理予知モデルに特有のものであり、自然画像上で事前訓練された自己監督モデルには見つからなかった。 そこで我々は, モデル深度にわたって, 生物学的に接地したモノセマンティック表現が進化し, 病理基盤モデルがスキャナー型などの非生物学的要因に対して頑健性を得たことを実証した。 生物学的に関連するSAE機能の出現は、ドメイン外のデータセットに一般化可能であった。 我々の研究は、解釈可能な特徴次元とその医療・臨床応用への有用性に関するさらなる探求の道を開くものである。

関連論文リスト

• CytoFM: The first cytology foundation model [3.591868126270513]
  本稿では,デジタル細胞学のための初の自己教師型基礎モデルであるCytoFMを紹介する。 我々はCytoFMをさまざまなデータセットで事前訓練し、堅牢で転送可能な表現を学習する。 以上の結果から,CytoFMは3つの下流課題のうち2つの課題において,病理組織学で事前訓練された既存の基礎モデルよりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2025-04-18T01:37:50Z)
• PathSegDiff: Pathology Segmentation using Diffusion model representations [63.20694440934692]
  そこで我々は,Latent Diffusion Models (LDMs) を事前学習した特徴抽出器として活用する,病理組織像分割の新しい手法であるPathSegDiffを提案する。 本手法は,H&E染色組織像から多彩な意味情報を抽出するために,自己教師型エンコーダによって誘導される病理特異的LCMを用いる。 本実験は,BCSSおよびGlaSデータセットにおける従来の手法よりも大幅に改善されたことを示す。
  論文  参考訳（メタデータ） (2025-04-09T14:58:21Z)
• Biomedical Foundation Model: A Survey [84.26268124754792]
  ファンデーションモデルは、広範なラベルなしデータセットから学習する大規模な事前訓練モデルである。 これらのモデルは、質問応答や視覚的理解といった様々な応用に適応することができる。 本研究は,生物医学分野における基礎モデルの可能性を探るものである。
  論文  参考訳（メタデータ） (2025-03-03T22:42:00Z)
• MIRROR: Multi-Modal Pathological Self-Supervised Representation Learning via Modality Alignment and Retention [52.106879463828044]
  病理組織学と転写学は、腫瘍学の基本的なモダリティであり、疾患の形態学的および分子的側面を包含している。 モーダルアライメントと保持を両立させる新しいマルチモーダル表現学習法であるMIRRORを提案する。 がんの亜型化と生存分析のためのTCGAコホートに関する広範囲な評価は,MIRRORの優れた性能を浮き彫りにしている。
  論文  参考訳（メタデータ） (2025-03-01T07:02:30Z)
• Causal Representation Learning from Multimodal Biomedical Observations [57.00712157758845]
  バイオメディカルデータセットの理解を容易にするために,マルチモーダルデータに対するフレキシブルな識別条件と原理的手法を開発した。 主要な理論的貢献は、モジュラリティ間の因果関係の構造的空間性である。 実世界のヒト表現型データセットの結果は、確立された生物医学研究と一致している。
  論文  参考訳（メタデータ） (2024-11-10T16:40:27Z)
• Multiplex Imaging Analysis in Pathology: a Comprehensive Review on Analytical Approaches and Digital Toolkits [0.7968706282619793]
  マルチ多重イメージングは、複数のバイオマーカーを1つのセクションで同時に視覚化することを可能にする。 多重画像からのデータは、前処理、セグメンテーション、特徴抽出、空間解析のための洗練された計算方法を必要とする。 PathMLは、画像分析を効率化するAIベースのプラットフォームで、臨床および研究環境では複雑な解釈がアクセス可能である。
  論文  参考訳（メタデータ） (2024-11-01T18:02:41Z)
• Histopathology image embedding based on foundation models features aggregation for patient treatment response prediction [0.0]
  びまん性大細胞型B細胞リンパ腫患者に対する全スライド画像からの治療反応を予測する新しい方法を提案する。 本手法は, 組織小領域に対応する画像の局所的表現を得るために, 特徴抽出器としていくつかの基礎モデルを利用する。 本研究は152名の患者を対象とした実験で,本手法の有望な結果を示した。
  論文  参考訳（メタデータ） (2024-07-23T13:31:12Z)
• Anatomy-guided Pathology Segmentation [56.883822515800205]
  本研究では, 解剖学的特徴と病理学的情報を組み合わせた汎用的セグメンテーションモデルを構築し, 病理学的特徴のセグメンテーション精度を高めることを目的とする。 我々の解剖学・病理学交流(APEx)訓練では,ヒト解剖学の問合せ表現に結合特徴空間をデコードする問合せベースのセグメンテーション変換器を用いている。 これにより、FDG-PET-CTとChest X-Rayの病理分類タスクにおいて、強力なベースライン法に比べて最大3.3%のマージンで、ボード全体で最高の結果を報告できる。
  論文  参考訳（メタデータ） (2024-07-08T11:44:15Z)
• PLUTO: Pathology-Universal Transformer [4.920983796208486]
  そこで我々はPathoLogy Universal TransfOrmer (PLUTO)を提案する。 我々はPLUTOの出力埋め込みを利用したタスク固有の適応ヘッドを,病的規模にまたがるタスクに設計する。 PLUTOは既存のタスク固有のベースラインや病理学固有の基盤モデルに適合するか、性能を向上する。
  論文  参考訳（メタデータ） (2024-05-13T16:40:17Z)
• Knowledge-enhanced Visual-Language Pretraining for Computational Pathology [68.6831438330526]
  本稿では,公共資源から収集した大規模画像テキストペアを利用した視覚的表現学習の課題について考察する。 ヒト32組織から病理診断を必要とする4,718の疾患に対して50,470個の情報属性からなる病理知識ツリーをキュレートする。
  論文  参考訳（メタデータ） (2024-04-15T17:11:25Z)
• HistoSegCap: Capsules for Weakly-Supervised Semantic Segmentation of Histological Tissue Type in Whole Slide Images [19.975420988169454]
  デジタル病理学では、物理的組織スライドを高解像度の全体スライド画像(WSI)に変換する。 多数の顕微鏡フィールドを持つ大きな組織学スライドは、ビジュアルサーチの課題を提起する。 コンピュータ支援診断システム(CAD)は、WSIを効率的に検査し、診断に関連のある領域を識別するための視覚的補助を提供する。
  論文  参考訳（メタデータ） (2024-02-16T17:44:11Z)
• Tertiary Lymphoid Structures Generation through Graph-based Diffusion [54.37503714313661]
  本研究では,最先端のグラフベース拡散モデルを用いて生物学的に意味のある細胞グラフを生成する。 本研究では, グラフ拡散モデルを用いて, 3次リンパ構造(TLS)の分布を正確に学習できることを示す。
  論文  参考訳（メタデータ） (2023-10-10T14:37:17Z)
• Biologically-informed deep learning models for cancer: fundamental trends for encoding and interpreting oncology data [0.0]
  本稿では,癌生物学における推論を支援するために用いられる深層学習(DL)モデルに着目した構造化文献解析を行う。 この研究は、既存のモデルが、先行知識、生物学的妥当性、解釈可能性とのより良い対話の必要性にどのように対処するかに焦点を当てている。
  論文  参考訳（メタデータ） (2022-07-02T12:11:35Z)
• PathologyBERT -- Pre-trained Vs. A New Transformer Language Model for Pathology Domain [2.3628956573813498]
  大規模な病理データベースのテキストマイニングが成功すれば、「ビッグデータ」がん研究の進展に重要な役割を果たす可能性がある。 病理学の分野での急速なデータマイニング開発を支援するために、病理学固有の言語空間は存在しない。 PathologyBERTは,347,173例の病理組織学的報告に基づいて訓練された,訓練済みの仮面言語モデルである。
  論文  参考訳（メタデータ） (2022-05-13T20:42:07Z)
• Mapping the landscape of histomorphological cancer phenotypes using self-supervised learning on unlabeled, unannotated pathology slides [9.27127895781971]
  病理形態学的現象型学習は、小さな画像タイルにおける識別画像の特徴の自動発見を通じて行われる。 タイルは、組織形態学的表現型のライブラリを構成する形態学的に類似したクラスターに分類される。
  論文  参考訳（メタデータ） (2022-05-04T08:06:55Z)
• Self-Supervised Vision Transformers Learn Visual Concepts in Histopathology [5.164102666113966]
  我々は、様々な弱い教師付きおよびパッチレベルのタスクに対する検証を行い、様々な自己教師付きモデルを訓練することにより、病理学における良い表現を探索する。 我々の重要な発見は、DINOベースの知識蒸留を用いたビジョントランスフォーマーが、組織像におけるデータ効率と解釈可能な特徴を学習できることを発見したことである。
  論文  参考訳（メタデータ） (2022-03-01T16:14:41Z)
• HistoCartography: A Toolkit for Graph Analytics in Digital Pathology [0.6299766708197883]
  HistoCartographyは、計算病理学におけるグラフ分析を容易にするために必要な前処理、機械学習、説明可能性ツールを備えた標準化されたpython APIである。 画像の種類や病理組織学のタスクにまたがる複数のデータセットの計算時間と性能をベンチマークした。
  論文  参考訳（メタデータ） (2021-07-21T13:34:14Z)
• MIMO: Mutual Integration of Patient Journey and Medical Ontology for Healthcare Representation Learning [49.57261599776167]
  本稿では、医療表現学習と予測分析のための、エンドツーエンドの堅牢なトランスフォーマーベースのソリューション、患者旅行の相互統合、医療オントロジー(MIMO)を提案する。
  論文  参考訳（メタデータ） (2021-07-20T07:04:52Z)
• A multi-stage machine learning model on diagnosis of esophageal manometry [50.591267188664666]
  このフレームワークには、飲み込みレベルにおけるディープラーニングモデルと、学習レベルにおける機能ベースの機械学習モデルが含まれている。 これは、生のマルチスワローデータからHRM研究のCC診断を自動的に予測する最初の人工知能モデルである。
  論文  参考訳（メタデータ） (2021-06-25T20:09:23Z)
• Data-driven generation of plausible tissue geometries for realistic photoacoustic image synthesis [53.65837038435433]
  光音響トモグラフィ(pat)は形態的および機能的組織特性を回復する可能性がある。 我々は,PATデータシミュレーションの新たなアプローチを提案し,これを「シミュレーションの学習」と呼ぶ。 我々は、意味的注釈付き医療画像データに基づいて訓練されたGAN(Generative Adversarial Networks)の概念を活用して、可塑性組織ジオメトリを生成する。
  論文  参考訳（メタデータ） (2021-03-29T11:30:18Z)
• Deep Co-Attention Network for Multi-View Subspace Learning [73.3450258002607]
  マルチビューサブスペース学習のための深層コアテンションネットワークを提案する。 共通情報と相補情報の両方を敵意で抽出することを目的としている。 特に、新しいクロス再構成損失を使用し、ラベル情報を利用して潜在表現の構築を誘導する。
  論文  参考訳（メタデータ） (2021-02-15T18:46:44Z)
• G-MIND: An End-to-End Multimodal Imaging-Genetics Framework for Biomarker Identification and Disease Classification [49.53651166356737]
  診断によって誘導される画像データと遺伝データを統合し、解釈可能なバイオマーカーを提供する新しいディープニューラルネットワークアーキテクチャを提案する。 2つの機能的MRI(fMRI)パラダイムとSingle Nucleotide Polymorphism (SNP)データを含む統合失調症の集団研究で本モデルを評価した。
  論文  参考訳（メタデータ） (2021-01-27T19:28:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。