論文の概要: Causal Circuit Tracing Reveals Distinct Computational Architectures in Single-Cell Foundation Models: Inhibitory Dominance, Biological Coherence, and Cross-Model Convergence
- arxiv url: http://arxiv.org/abs/2603.01752v2
- Date: Wed, 04 Mar 2026 03:03:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-05 14:47:28.874986
- Title: Causal Circuit Tracing Reveals Distinct Computational Architectures in Single-Cell Foundation Models: Inhibitory Dominance, Biological Coherence, and Cross-Model Convergence
- Title(参考訳): 単一セルファンデーションモデルにおける個別計算アーキテクチャの因果回路追跡:阻害支配、生物学的コヒーレンス、相互モデル収束
- Abstract要約: SAE特徴と下流応答を損なうことで因果回路をトレースする手法を提案する。
我々はGeneformer V2-316M と scGPT に4つの条件で適用した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Motivation: Sparse autoencoders (SAEs) decompose foundation model activations into interpretable features, but causal feature-to-feature interactions across network depth remain unknown for biological foundation models. Results: We introduce causal circuit tracing by ablating SAE features and measuring downstream responses, and apply it to Geneformer V2-316M and scGPT whole-human across four conditions (96,892 edges, 80,191 forward passes). Both models show approximately 53 percent biological coherence and 65 to 89 percent inhibitory dominance, invariant to architecture and cell type. scGPT produces stronger effects (mean absolute d = 1.40 vs. 1.05) with more balanced dynamics. Cross-model consensus yields 1,142 conserved domain pairs (10.6x enrichment, p < 0.001). Disease-associated domains are 3.59x more likely to be consensus. Gene-level CRISPRi validation shows 56.4 percent directional accuracy, confirming co-expression rather than causal encoding.
- Abstract(参考訳): モチベーション: スパースオートエンコーダ(SAE)は基礎モデルのアクティベーションを解釈可能な特徴に分解するが、ネットワーク深度をまたいだ因果的特徴-機能的相互作用は生物学的基礎モデルでは未知である。
結果: SAEの特徴を非難し, 下流応答を測定し, 4つの条件(96,892エッジ, 80,191フォワードパス)でGeneformer V2-316M, scGPT全体に適用した。
どちらのモデルも、およそ53%の生物学的コヒーレンスと65~99%の抑制的支配を示しており、アーキテクチャや細胞タイプに不変である。
scGPTはより強い効果(平均絶対d = 1.40 vs. 1.05)を、よりバランスの取れた力学で生成する。
クロスモデルコンセンサスにより、1,142個の保存されたドメイン対(10.6xエンリッチメント、p < 0.001)が得られる。
疾患関連ドメインのコンセンサス率は3.59倍である。
遺伝子レベルのCRISPRiバリデーションは56.4%の方向精度を示し、因果的エンコーディングよりも共発現を確認する。
関連論文リスト
- Architecture-Dependent Causal Transfer of Activation States Across Large Language Models [51.56484100374058]
内部言語アクティベーション状態は、異なる大きな言語モデル間で因果的に転送することができる。
生成中に投影された活性化をターゲットモデルに注入すると、統計的に有意で事前登録された因果効果が生じる。
現在実装されているLCM間のエンド・ツー・エンドのアクティベーション・ステート・トランスファーは、ユニバーサルではなくアーキテクチャに依存していると結論付けている。
論文 参考訳(メタデータ) (2026-08-17T09:53:27Z) - Searching for Robust Augmentations to Improve Out-of-Domain Generalization in Dermoscopic Skin Cancer Classification [35.18016233072556]
悪性二分数非悪性一般化のロバスト性を改善するためのデータ拡張法について検討した。
データ拡張は、マルチソースISICアーカイブコレクションで検索された。
論文 参考訳(メタデータ) (2026-07-29T11:06:06Z) - Differentiable latent structure discovery for interpretable forecasting in clinical time series [38.473526928012724]
連続時間多タスクガウス過程であるStructGPを導入し, 基本的不確かさを保ちながら, 相違構造学習と相違構造学習を組み合わせ, 相互依存の有向非巡回グラフ(DAG)を導出する。
LP-StructGPは,被験者特異的カップリングフィルタとソフトマックスゲーティング機構を用いて,患者間の進行パターンを捉えることで,StructGPを潜在経路に分割し,時間的に変化する軌跡を増大させる。
論文 参考訳(メタデータ) (2026-04-30T14:59:50Z) - Shared Emotion Geometry Across Small Language Models: A Cross-Architecture Study of Representation, Behavior, and Methodological Confounds [4.358468367889626]
我々は、fp16精度で統合理解モードパイプラインの下で、12個の小言語モデルから21個の感情ベクトル集合を抽出する。
5つの成熟したアーキテクチャは、ほぼ同じ21-感情幾何学を共有し、対の RDM Spearman 相関は 0.74-0.92 である。
本研究は, 従来の研究成果を, 単一の理解と生成の方法の効果として, 4つの異なる層に分解したことを示す。
論文 参考訳(メタデータ) (2026-04-13T06:27:40Z) - Exhaustive Circuit Mapping of a Single-Cell Foundation Model Reveals Massive Redundancy, Heavy-Tailed Hub Architecture, and Layer-Dependent Differentiation Control [0.0]
本稿では, サーキットトレース, 高次アブレーション, 因果軌道ステアリングによる限界に対処する3つの実験について述べる。
第一に、第5層における4065個のアクティブオートエンコーダの特徴を徹底的に追跡すると、1393850の下流エッジが得られる。
第2に、8つの三つ子にまたがる3つの冗長性は、冗長性は相互作用順序とともに単調に深まることを示す。
第3に、軌道案内型特徴ステアリングは、層の位置と微分方向との因果関係を確立する。
論文 参考訳(メタデータ) (2026-03-12T13:53:20Z) - Sparse autoencoders reveal organized biological knowledge but minimal regulatory logic in single-cell foundation models: a comparative atlas of Geneformer and scGPT [0.0]
単一細胞基盤モデル Geneformer と scGPT は豊富な生物学的情報をエンコードする。
我々はTopK SAEsをGeneformer V2-316M と scGPT 全体の全層からの残流活性化について訓練した。
両機能をインタラクティブなWebプラットフォームとしてリリースし、2つの主要なシングルセル基盤モデルの30層にわたる107000以上の機能の調査を可能にしました。
論文 参考訳(メタデータ) (2026-03-03T13:05:11Z) - What Topological and Geometric Structure Do Biological Foundation Models Learn? Evidence from 141 Hypotheses [0.0]
52回の反復で141の幾何学的および位相的仮説を提案し,検証し,洗練するAI駆動ブレインストーミングループを提案する。
遺伝子埋め込み近傍は非自明なトポロジーを示し、12層のうち11層に持続的ホモロジーが有意である。
scGPTとGeneformerのCCAアライメントは0.80の正準相関と72%の遺伝子検索精度をもたらすが、19の検査方法が確実に遺伝子レベルの対応を回復することはなかった。
論文 参考訳(メタデータ) (2026-02-25T14:33:24Z) - Function-Space Decoupled Diffusion for Forward and Inverse Modeling in Carbon Capture and Storage [65.51149575007149]
本稿では,Fun-DDPSについて述べる。Fun-DDPSは,関数空間拡散モデルと微分可能なニューラル演算子サロゲートを結合した生成フレームワークである。
Fun-DDPSは、ジョイントステートベースラインで観察される高周波アーティファクトから、物理的に一貫した実現をもたらす。
論文 参考訳(メタデータ) (2026-02-12T18:58:12Z) - Central Dogma Transformer: Towards Mechanism-Oriented AI for Cellular Understanding [0.0]
本稿では,DNA,RNA,タンパク質の事前学習言語モデルを統合するアーキテクチャであるCentral Dogma Transformer(CDT)を紹介する。
我々は, K562細胞のCRISPRiエンハンサー摂動データに対するCDT v1の有効性を検証し, Pearson相関を0.503。
これらの結果から,生物情報の流れに沿ったAIアーキテクチャは,予測精度と機械的解釈可能性の両方を達成できることが示唆された。
論文 参考訳(メタデータ) (2026-01-03T06:29:22Z) - Towards a Science of Scaling Agent Systems [79.64446272302287]
エージェント評価の定義を定式化し,エージェント量,コーディネーション構造,モデル,タスク特性の相互作用として,スケーリング法則を特徴付ける。
協調指標を用いて予測モデルを導出し,R2=0をクロスバリデーションし,未知のタスク領域の予測を可能にする。
ツールコーディネーショントレードオフ: 固定的な計算予算の下では, ツールヘビータスクはマルチエージェントのオーバーヘッドから不均衡に悩まされ, 2) 能力飽和: 調整が減少または負のリターンを, 単一エージェントのベースラインが45%を超えると達成できる。
論文 参考訳(メタデータ) (2025-12-09T06:52:21Z) - CONFIDE: Hallucination Assessment for Reliable Biomolecular Structure Prediction and Design [46.12506067241116]
本稿では,位相的フラストレーションを定量化する自己評価尺度であるCODE(Chain of Diffusion Embeddings)を提案する。
エネルギー的およびトポロジ的視点を組み合わせた統合評価フレームワークであるCONFIDEを提案する。
データ駆動の埋め込みと理論的な洞察を組み合わせることで、CODEとConFIDEは、幅広い生体分子システムで既存の指標より優れています。
論文 参考訳(メタデータ) (2025-11-20T03:38:46Z) - Characterizing Continuous and Discrete Hybrid Latent Spaces for Structural Connectomes [1.7732287904031832]
構造コネクトームは、異なる脳領域が物理的にどのように接続されているかを示す詳細なグラフである。
PCAやオートエンコーダのような低次元空間は、大きな変化源を捉えるためにしばしば用いられる。
離散成分と連続成分を連成モデル化するハイブリッド潜在空間を持つ変分オートエンコーダ(VAE)を提案する。
論文 参考訳(メタデータ) (2025-11-20T02:52:17Z) - MeCaMIL: Causality-Aware Multiple Instance Learning for Fair and Interpretable Whole Slide Image Diagnosis [40.3028468133626]
MIL(Multiple Case Learning)は、コンピュータ病理学における全スライド画像(WSI)解析の主流パラダイムとして登場した。
因果関係を意識したMILフレームワークである textbfMeCaMIL は、構造化因果グラフを通じて、階層的共同創設者を明示的にモデル化する。
MeCaMILは優れた公正性を達成する -- 人口格差の分散は、属性全体の平均で65%以上減少する。
論文 参考訳(メタデータ) (2025-11-14T06:47:21Z) - UniGenX: a unified generative foundation model that couples sequence, structure and function to accelerate scientific design across proteins, molecules and materials [62.72989417755985]
自然系における関数の統一生成モデルUniGenXを提案する。
UniGenXはシンボルトークンと数値トークンの混合ストリームとして異種入力を表す。
ドメイン間のファンクション・アウェア・ジェネレーションに対して、最先端または競合的なパフォーマンスを達成する。
論文 参考訳(メタデータ) (2025-03-09T16:43:07Z) - CRTRE: Causal Rule Generation with Target Trial Emulation Framework [47.2836994469923]
ターゲットトライアルエミュレーションフレームワーク(CRTRE)を用いた因果ルール生成という新しい手法を提案する。
CRTREは、アソシエーションルールの因果効果を推定するためにランダム化トライアル設計原則を適用している。
次に、病気発症予測などの下流アプリケーションにそのような関連ルールを組み込む。
論文 参考訳(メタデータ) (2024-11-10T02:40:06Z) - CausalDiff: Causality-Inspired Disentanglement via Diffusion Model for Adversarial Defense [61.78357530675446]
人間は、本質的な要因のみに基づいて判断するので、微妙な操作によって騙されるのは難しい。
この観察に触発されて、本質的なラベル因果因子を用いたラベル生成をモデル化し、ラベル非因果因子を組み込んでデータ生成を支援する。
逆の例では、摂動を非因果因子として識別し、ラベル因果因子のみに基づいて予測することを目的としている。
論文 参考訳(メタデータ) (2024-10-30T15:06:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。