論文の概要: Can Protein-Derived Knowledge Improve Pathology Foundation Models?
- arxiv url: http://arxiv.org/abs/2609.33178v1
- Date: Sun, 27 Sep 2026 03:58:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-06 02:30:19.587165
- Title: Can Protein-Derived Knowledge Improve Pathology Foundation Models?
- Title(参考訳): タンパク質由来の知識は病理基盤モデルを改善するか?
- Abstract要約: クロスモーダル転送からプロテオミクスの知識獲得を分離する3段階のフレームワークを提案する。
まず,12,695個のサンプルレベルのバルクタンパク質プロファイル上にPFE(Proteomic Foundation)をプリトレーニングした。
第2に、パッチ領域スライディングエンコーダであるProSlideをプレトレーニングして、ペアのWSI-omicsサンプルからタンパク質の発現を予測する。
- 参考スコア(独自算出の注目度): 20.45366356021653
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Molecularly guided pathology foundation models (PFMs) exploit transcriptomic or proteomic information to enrich whole-slide image (WSI) representations, yet effectively leveraging large standalone molecular corpora remains challenging. First, existing molecular foundation models encode protein sequences or single-cell states, not the patient-level bulk expression profiles paired with WSIs. Second, because cross-modal supervision is restricted to paired WSI-omics samples, knowledge from standalone molecular corpora reaches the pathology encoder only indirectly, creating a paired-support bottleneck. To address these challenges, we propose a three-stage framework that decouples proteomic knowledge acquisition from cross-modal transfer, yielding ProSlide, a slide-level hierarchical pathology foundation model. First, to close the modality gap, we pretrain a Proteomic Foundation Encoder (PFE) on 12,695 sample-level bulk protein profiles using virtual profile generation and expression-space multi-view pretraining. Second, we pretrain ProSlide, a patch-region-slide encoder, to predict protein expression from paired WSI-protein samples. Third, to relax the paired-support bottleneck, we introduce Prot2Path, a cross-modal relational distillation objective. For each paired sample, it aligns the similarity distributions of the WSI and its protein profile over a shared, frozen bank of PFE-encoded paired and standalone profiles. We evaluate ProSlide on 12 downstream tasks across breast, lung, and renal cancers. Despite being pretrained with only 2,229 WSIs and 12,695 sample-level protein profiles, ProSlide achieves the highest mean accuracy and AUC within each cancer group.
- Abstract(参考訳): 分子誘導病理基盤モデル (PFM) は, 転写情報やプロテオミクス情報を利用して全スライディング画像 (WSI) の表現を増強するが, 大きな独立分子コーパスを効果的に活用することは困難である。
まず、既存の分子基盤モデルは、WSIと組み合わせた患者レベルのバルク表現プロファイルではなく、タンパク質配列または単細胞状態をコードする。
第2に、相互監視はペア化されたWSI-オミクスサンプルに制限されるため、スタンドアロン分子コーパスからの知識は、間接的にのみ病理エンコーダに到達し、ペア化された支持ボトルネックを生み出す。
これらの課題に対処するため、我々は、クロスモーダルトランスファーからプロテオミクスの知識獲得を分離し、スライドレベルの階層的病理基盤モデルであるProSlideを生成する3段階のフレームワークを提案する。
まず,プロテオミクス・ファンデーション・エンコーダ (PFE) を12,695個のサンプルレベルのバルクタンパク質プロファイル上で,仮想プロファイル生成と表現空間のマルチビュー事前学習を用いて事前訓練する。
第2に、パッチ領域スライディングエンコーダであるProSlideをプレトレーニングして、ペアのWSIタンパク質サンプルからタンパク質の発現を予測する。
第3に, 対支持ボトルネックを緩和するために, クロスモーダルリレーショナル蒸留の目的であるProt2Pathを導入する。
各ペアサンプルについて、WSIとそのタンパク質プロファイルの類似度分布を、PFEエンコードされたペアプロファイルとスタンドアロンプロファイルの共有、凍結バンク上に整列する。
乳癌, 肺癌, 腎癌にまたがる12の下流課題におけるProSlideの評価を行った。
2,229のWSIと12,695のサンプルレベルのタンパク質プロファイルで事前訓練されているにもかかわらず、ProSlideは各がんグループの中で最も高い平均精度とAUCを達成している。
関連論文リスト
- MKGR: Multimodal Knowledge-Graph Representation Learning for Cold-Start Protein-Protein Interaction Prediction [1.6711037450548076]
本稿では,冷間開始型PPI予測のためのマルチモーダル表現フレームワークを提案する。
領域認識タンパク質配列を4つのタンパク質中心の生物医学知識グラフと組み合わせる方法。
2つのベンチマークデータセットの実験では、メソッドが競合シーケンス、ネットワーク、知識グラフのベースラインを一貫して上回っていることが示されている。
論文 参考訳(メタデータ) (2026-07-02T02:50:42Z) - AMix-2: Establishing Protein as a Native Modality in Large Language Models [88.00237394496698]
大型言語モデル(LLM)において、タンパク質をネイティブなモダリティとして確立するタンパク質-テキスト基盤モデルAMix-2を提案する。
AMix-2は、(1)自然言語とタンパク質配列を共有トークン空間に埋め込む統一されたタンパク質-テキストの定式化、(2)ブロックワイド拡散言語モデリングバックボーンの2つの主要なアイデアに基づいて構築されている。
本稿では,様々な理解・設計タスクにまたがって,時間認識・ホモロジー認識プロトコルを用いた総合ベンチマークであるProteinArenaを紹介する。
論文 参考訳(メタデータ) (2026-05-29T07:58:08Z) - Self Distillation Fine-Tuning of Protein Language Models Improves Versatility in Protein Design [61.2846583160056]
Supervised Fine-tuning (SFT) は、大規模言語モデルを特殊なドメインに適応するための標準的なアプローチである。
これは、高品質なアノテートされたデータは、自然言語よりもタンパク質の入手がはるかに難しいためである。
生成したタンパク質配列の忠実度,信頼性,新規性を改善するために設計された,PLMの高速SFTのための簡易かつ汎用的なレシピを提案する。
論文 参考訳(メタデータ) (2025-12-10T05:34:47Z) - S$^2$Drug: Bridging Protein Sequence and 3D Structure in Contrastive Representation Learning for Virtual Screening [72.89086338778098]
タンパク質リガンドコントラスト表現学習のための2段階フレームワークを提案する。
最初の段階では、ESM2ベースのバックボーンを用いて、ChemBLでタンパク質配列を事前訓練する。
第2段階では、残基レベルゲーティングモジュールを介して配列と構造情報を融合することでPDBBindを微調整する。
この補助的なタスクは、モデルを誘導し、タンパク質配列内の結合残基を正確に局在させ、それらの3次元空間配列をキャプチャする。
論文 参考訳(メタデータ) (2025-11-10T11:57:47Z) - Neural Proteomics Fields for Super-resolved Spatial Proteomics Prediction [8.424059461071614]
シークエンシングに基づく空間空間(seq-SP)のための空間超解像の新しい課題について紹介する。
神経プロテオミクスフィールド(NPF)は、各組織専用のネットワークをトレーニングすることにより、連続空間におけるタンパク質再構成問題としてセック-SPを定式化する。
NPFは、より少ない学習可能なパラメータで最先端のパフォーマンスを達成し、空間研究を進める可能性を強調している。
論文 参考訳(メタデータ) (2025-08-24T14:53:12Z) - xTrimoPGLM: Unified 100B-Scale Pre-trained Transformer for Deciphering the Language of Protein [74.64101864289572]
本稿では,タンパク質の理解と生成を同時に行うために,統一されたタンパク質言語モデル xTrimoPGLM を提案する。
xTrimoPGLMは、4つのカテゴリにわたる18のタンパク質理解ベンチマークにおいて、他の高度なベースラインを著しく上回っている。
また、自然の原理に従ってデノボタンパク質配列を生成でき、微調整を監督した後にプログラム可能な生成を行うことができる。
論文 参考訳(メタデータ) (2024-01-11T15:03:17Z) - HelixFold-Single: MSA-free Protein Structure Prediction by Using Protein
Language Model as an Alternative [61.984700682903096]
HelixFold-Singleは、大規模なタンパク質言語モデルとAlphaFold2の優れた幾何学的学習能力を組み合わせるために提案されている。
提案手法は,数千万の一次配列を持つ大規模タンパク質言語モデルを事前学習する。
我々は、一次系列のみから原子の3次元座標を予測するために、エンドツーエンドの微分可能なモデルを得る。
論文 参考訳(メタデータ) (2022-07-28T07:30:33Z) - Pre-training Co-evolutionary Protein Representation via A Pairwise
Masked Language Model [93.9943278892735]
タンパク質配列表現学習の鍵となる問題は、配列中の残基間の共変量によって反映される共進化情報をキャプチャすることである。
Pairwise Masked Language Model (PMLM) と呼ばれる専用言語モデルによる事前学習により,この情報を直接キャプチャする新しい手法を提案する。
提案手法は, 相互関係を効果的に把握し, ベースラインと比較して, 接触予測性能を最大9%向上できることを示す。
論文 参考訳(メタデータ) (2021-10-29T04:01:32Z) - Pre-training Protein Language Models with Label-Agnostic Binding Pairs
Enhances Performance in Downstream Tasks [1.452875650827562]
タンパク質配列の1%未満は構造的にも機能的にも注釈付けされている。
本稿では,結合タンパク質配列と非結合タンパク質配列を混合したRoBERTaモデルを提案する。
トランスフォーマーの注意機構は,タンパク質結合部位の発見に寄与することが示唆された。
論文 参考訳(メタデータ) (2020-12-05T17:37:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。