論文の概要: Discovery of a Hematopoietic Manifold in scGPT Yields a Method for Extracting Performant Algorithms from Biological Foundation Model Internals

• arxiv url: http://arxiv.org/abs/2603.10261v1
• Date: Tue, 10 Mar 2026 22:44:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-12 16:22:32.711688
• Title: Discovery of a Hematopoietic Manifold in scGPT Yields a Method for Extracting Performant Algorithms from Biological Foundation Model Internals
• Title（参考訳）: scGPT収量における造血マニフォールドの発見 : 生体基礎モデル内部からの高性能アルゴリズム抽出法
• Authors: Ihor Kendiukhov,
• Abstract要約: scGPTは内部的に発達分岐構造を持つコンパクトな造血多様体を符号化していることを示す。 本稿では,凍結した注意重みから直接操作子を輸出する3段階抽出法を提案する。 コンパクト作用素の機械論的解釈性は、66.2%のアブレーション効果を説明する4要素コアが集中していることを示している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We report the discovery and extraction of a compact hematopoietic algorithm from the single-cell foundation model scGPT, to our knowledge the first biologically useful, competitive algorithm extracted from a foundation model via mechanistic interpretability. We show that scGPT internally encodes a compact hematopoietic manifold with significant developmental branch structure, validated on a strict non-overlap Tabula Sapiens external panel and confirmed via frozen-head zero-shot transfer to an independent multi-donor immune panel. To isolate this geometry, we introduce a general three-stage extraction method consisting of direct operator export from frozen attention weights, a lightweight learned adaptor, and a task-specific readout, producing a standalone algorithm without target-dataset retraining. In 88-split donor-holdout benchmarks against scVI, Palantir, DPT, CellTypist, PCA, and raw-expression baselines, the extracted algorithm achieves the strongest pseudotime-depth ordering and leads on key subtype endpoints (CD4/CD8 AUROC 0.867, mono/macro AUROC 0.951). Compared to standard probing of frozen scGPT embeddings with a 3-layer MLP, the extracted head is BH-significantly better on 6/8 classification endpoints while completing a full 12-split evaluation campaign 34.5x faster with approximately 1000x fewer trainable parameters. The exported operator compresses from three pooled attention heads to a single head without statistically significant loss, and further to a rank-64 surrogate. Mechanistic interpretability of the compact operator reveals a concentrated four-factor core explaining 66.2% of ablation impact, with factors resolving into explicit T/lymphoid, B/plasma, granulocytic, and monocyte/macrophage gene programs. A supplementary second-manifold validation (intercellular communication geometry) confirms that the extraction method generalizes beyond hematopoiesis.
• Abstract（参考訳）: 本稿では, 単一細胞基盤モデル scGPT からのコンパクト造血アルゴリズムの発見と抽出について報告する。 以上の結果から, scGPTは内在的に発生分岐構造を有するコンパクトな造血多様体をコードし, 厳密な非オーバーラップTabula Sapiens外パネル上で検証し, 凍結ヘッドゼロショット移植により独立した多剤系免疫パネルに転移することを確認した。 この幾何を分離するために、凍結した注意重みから直接演算子を抽出する一般的な3段階抽出法、軽量な学習適応器、タスク固有の読み出し法を導入し、ターゲット・データセットの再学習なしにスタンドアロンのアルゴリズムを生成する。 scVI, Palantir, DPT, CellTypist, PCA, および生の表現ベースラインに対する88分割ドナーホールドアウトベンチマークにおいて, 抽出アルゴリズムは最強の擬似時間深度順序付けを達成し, キーサブタイプエンドポイント(CD4/CD8 AUROC 0.867, mono/macro AUROC 0.951)を導出する。 3層MLPで凍結したScGPT埋め込みの標準プローブと比較すると、抽出したヘッドは6/8の分類終端においてBH比で優れ、12分割評価キャンペーンは34.5倍速く、トレーニング可能なパラメータは約1000倍少ない。 エクスポートされたオペレータは、3つのプールされたアテンションヘッドから1つのヘッドに、統計的に大きな損失を伴わずに圧縮し、さらにランク64サロゲートに圧縮する。 コンパクトオペレーターの機械的解釈性は、66.2%のアブレーション効果を説明する集中した4因子コアを示し、その因子は明示的なT/リンパ腫、B/プラスマ、顆粒球、単球/マクロファージ遺伝子プログラムに分解される。 補足的な第2多様体の検証(細胞間通信の幾何学)により,抽出法が造血を超越して一般化されることが確認された。

関連論文リスト

• FUGC: Benchmarking Semi-Supervised Learning Methods for Cervical Segmentation [63.7829089874007]
  本稿では,頚椎椎間板断裂における半教師あり学習のための最初のベンチマークであるFetal Ultrasound Grand Challenge (FUGC)を紹介する。 FUGCは、500のトレーニング画像、90の検証画像、300のテスト画像を含む890のTVSイメージのデータセットを提供する。 Dice similarity Coefficient (DSC), Hausdorff Distance (HD), and Runtime (RT), with a weighted combination of 0.4/0.4/0.2。
  論文  参考訳（メタデータ） (2026-01-22T01:34:39Z)
• A decoupled alignment kernel for peptide membrane permeability predictions [35.849562641740754]
  本稿では, 化学的に有意な残基残基類似性と配列アライメントを結合したモノマー非結合グローバルアライメントカーネル(MD-GAK)を提案する。 PMD-GAKという三角形の前方位置を組み込んだ変種も導入する。 MD-GAK と PMD-GAK の両方をこのフレームワークに直接適用できるので,予測モデルとしてガウス過程を用いる。
  論文  参考訳（メタデータ） (2025-11-26T16:40:41Z)
• DRBD-Mamba for Robust and Efficient Brain Tumor Segmentation with Analytical Insights [54.87947751720332]
  脳腫瘍の正確なセグメンテーションは、臨床診断と治療に重要である。 マンバを拠点とするState Space Modelsは、有望なパフォーマンスを示している。 本稿では,計算オーバーヘッドを最小限に抑えながら,マルチスケールの長距離依存関係をキャプチャするマルチ解像度双方向マンバを提案する。
  論文  参考訳（メタデータ） (2025-10-16T07:31:21Z)
• Hemorica: A Comprehensive CT Scan Dataset for Automated Brain Hemorrhage Classification, Segmentation, and Detection [0.749500254646884]
  Hemoricaは、2012年から2024年の間に取得された372個の頭部CT検査の公開コレクションである。 ICHサブタイプ(EPH)、サブデューラル(SDH)、サブアラキノイド(SAH)、パーレンキマル(IPH)の5つのサブタイプ(EPH)に対して、各スキャンは徹底的に注釈付けされている。 Hemoricaは、マルチタスクとカリキュラム学習をサポートする統一されたきめ細かいベンチマークを提供する。
  論文  参考訳（メタデータ） (2025-09-26T23:09:41Z)
• Leveraging Fine-Tuned Large Language Models for Interpretable Pancreatic Cystic Lesion Feature Extraction and Risk Categorization [9.840625513935343]
  放射線検査より膵嚢胞性病変(PCL)の特徴を手動で抽出した。 MRI/CTレポートからPCL特徴を自動的に抽出する大規模言語モデル(LLM)の開発と評価を行う。
  論文  参考訳（メタデータ） (2025-07-26T15:02:32Z)
• Depth-Sequence Transformer (DST) for Segment-Specific ICA Calcification Mapping on Non-Contrast CT [38.85617601239779]
  従来の3Dモデルは、縮小されたボリュームや分離されたパッチを処理せざるを得ない。 我々は,3次元課題を1次元軸方向に沿ったtextbfParallel Probabilistic Landmark Localizationタスクとして再構成する。 フル解像度CTボリュームを2次元スライスシーケンスとして処理するフレームワークである textbfDepth-Sequence Transformer (DST) を提案する。
  論文  参考訳（メタデータ） (2025-07-10T23:12:12Z)
• Segmentation of Bruch's Membrane in retinal OCT with AMD using anatomical priors and uncertainty quantification [4.5206601127476445]
  本稿では,AMD患者に対するBruch膜(BM)自動分割のためのエンドツーエンド深層学習法を提案する。 アテンションU-Netは、表面の自然な曲率を考慮してBM位置の確率密度関数を出力するように訓練される。 また, サーフェス位置の他に, セグメンテーション出力のAスキャン的不確かさを推定する手法も提案した。
  論文  参考訳（メタデータ） (2022-10-26T15:49:07Z)
• Hepatic vessel segmentation based on 3Dswin-transformer with inductive biased multi-head self-attention [46.46365941681487]
  Indu BIased Multi-Head Attention Vessel Net という,堅牢なエンドツーエンドのコンテナセグメンテーションネットワークを提案する。 正確な肝血管のボクセルを見つけるために,パッチワイド埋め込みよりもボクセルワイド埋め込みを導入する。 一方,絶対位置埋め込みから帰納的バイアス付き相対的位置埋め込みを学習する帰納的バイアス付きマルチヘッド自己アテンションを提案する。
  論文  参考訳（メタデータ） (2021-11-05T10:17:08Z)
• Nested-block self-attention for robust radiotherapy planning segmentation [3.2541650155921142]
  深層畳み込みネットワークは、頭頸部(HN)臓器のリスクセグメンテーション(OAR)において広く研究されている。 定期的な臨床治療計画のためのそれらの使用は、イメージングアーティファクトへの堅牢性の欠如、CT上の低い軟組織コントラスト、および異常な解剖の存在によって制限される。 我々は,任意の畳み込みネットワークと組み合わせることができる計算効率の良いネストブロック自己アテンション法(NBSA)を開発した。
  論文  参考訳（メタデータ） (2021-02-26T15:28:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。