論文の概要: Transcoder-based Circuit Analysis for Interpretable Single-Cell Foundation Models

• arxiv url: http://arxiv.org/abs/2509.14723v1
• Date: Thu, 18 Sep 2025 08:16:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-19 17:26:53.11808
• Title: Transcoder-based Circuit Analysis for Interpretable Single-Cell Foundation Models
• Title（参考訳）: トランスコーダを用いた解釈可能な単一セル基礎モデルの回路解析
• Authors: Sosuke Hosokawa, Toshiharu Kawakami, Satoshi Kodera, Masamichi Ito, Norihiko Takeda,
• Abstract要約: 我々はC2Sモデル(最先端のSCFM)でトランスコーダを訓練する。 トレーニングされたトランスコーダを利用して、C2Sモデルから内部決定回路を抽出する。
• 参考スコア（独自算出の注目度）: 0.007860795487430005
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Single-cell foundation models (scFMs) have demonstrated state-of-the-art performance on various tasks, such as cell-type annotation and perturbation response prediction, by learning gene regulatory networks from large-scale transcriptome data. However, a significant challenge remains: the decision-making processes of these models are less interpretable compared to traditional methods like differential gene expression analysis. Recently, transcoders have emerged as a promising approach for extracting interpretable decision circuits from large language models (LLMs). In this work, we train a transcoder on the cell2sentence (C2S) model, a state-of-the-art scFM. By leveraging the trained transcoder, we extract internal decision-making circuits from the C2S model. We demonstrate that the discovered circuits correspond to real-world biological mechanisms, confirming the potential of transcoders to uncover biologically plausible pathways within complex single-cell models.
• Abstract（参考訳）: 単一細胞基盤モデル(scFM)は、大規模な転写産物データから遺伝子制御ネットワークを学習することにより、細胞型アノテーションや摂動応答予測などの様々なタスクにおける最先端のパフォーマンスを実証している。 しかし、重要な課題が残る:これらのモデルの意思決定プロセスは、差分遺伝子発現解析のような従来の方法に比べて解釈しにくい。 近年,大言語モデル (LLM) から解釈可能な決定回路を抽出するための有望な手法としてトランスコーダが出現している。 本研究では,C2Sモデル上でトランスコーダをトレーニングする。 トレーニングされたトランスコーダを利用して、C2Sモデルから内部決定回路を抽出する。 これらの回路は実世界の生物学的機構に対応し, 複雑な単一細胞モデル内の生物学的にもっともらしい経路を明らかにするトランスコーダの可能性を確認する。

関連論文リスト

• A scalable gene network model of regulatory dynamics in single cells [88.48246132084441]
  本稿では,遺伝子ネットワーク構造を結合微分方程式に組み込んで,遺伝子制御関数をモデル化する機能的学習可能モデルFLeCSを提案する。 FLeCS は (pseudo) 時系列の単一セルデータから, セルの動態を正確に推定する。
  論文  参考訳（メタデータ） (2025-03-25T19:19:21Z)
• Mechanistic Unveiling of Transformer Circuits: Self-Influence as a Key to Model Reasoning [9.795934690403374]
  このような課題を解決するために言語モデルでどのような多段階推論機構が使われているのかはいまだ不明である。 回路解析と自己影響関数を用いて、推論過程を通して各トークンの変動の重要性を評価する。 提案手法は,モデルが使用する人間の解釈可能な推論過程を明らかにする。
  論文  参考訳（メタデータ） (2025-02-13T07:19:05Z)
• Learning Robust Representations for Communications over Interference-limited Channels [0.6990493129893111]
  本研究では、干渉制限環境下でのブロック伝送と検出のためのエンコーダとデコーダの設計のために、TwinNetとSiameseNetという2つの高効率な手法を紹介した。
  論文  参考訳（メタデータ） (2024-10-13T09:09:21Z)
• Multimodal Prototyping for cancer survival prediction [45.61869793509184]
  ギガピクセルヒストロジー全体スライディング画像(WSI)と転写学的プロファイルを組み合わせたマルチモーダルサバイバル法は,患者の予後と成層化に特に有望である。 現在のアプローチでは、WSIを小さなパッチ(>10,000パッチ)にトークン化し、トランスクリプトミクスを遺伝子グループに分割し、結果を予測するためにTransformerを使用して統合する。 このプロセスは多くのトークンを生成し、これは注意を計算するための高いメモリ要求をもたらし、ポストホック解釈可能性分析を複雑にする。 我々のフレームワークは、新しい解釈可能性解析を解き放ちながら、はるかに少ない計算で最先端の手法より優れている。
  論文  参考訳（メタデータ） (2024-06-28T20:37:01Z)
• Affine-Consistent Transformer for Multi-Class Cell Nuclei Detection [76.11864242047074]
  本稿では, 原子核位置を直接生成する新しいアフィン一貫性変換器 (AC-Former) を提案する。 本稿では,AAT (Adaptive Affine Transformer) モジュールを導入し,ローカルネットワークトレーニングのためのオリジナル画像をワープするための重要な空間変換を自動学習する。 実験結果から,提案手法は様々なベンチマークにおいて既存の最先端アルゴリズムを著しく上回ることがわかった。
  論文  参考訳（メタデータ） (2023-10-22T02:27:02Z)
• DynGFN: Towards Bayesian Inference of Gene Regulatory Networks with GFlowNets [81.75973217676986]
  遺伝子調節ネットワーク(GRN)は、遺伝子発現と細胞機能を制御する遺伝子とその産物間の相互作用を記述する。 既存の方法は、チャレンジ(1)、ダイナミックスから循環構造を識別すること、あるいはチャレンジ(2)、DAGよりも複雑なベイズ後部を学習することに焦点を当てるが、両方ではない。 本稿では、RNAベロシティ技術を用いて遺伝子発現の「速度」を推定できるという事実を活用し、両方の課題に対処するアプローチを開発する。
  論文  参考訳（メタデータ） (2023-02-08T16:36:40Z)
• Do Transformers Encode a Foundational Ontology? Probing Abstract Classes in Natural Language [2.363388546004777]
  本稿では,トランスフォーマーをベースとしたモデルが抽象意味情報をエンコードするかどうかを調べるための体系的基礎オントロジー探索手法を提案する。 本稿では,トランスフォーマーをベースとしたモデルが,事前学習中の基礎オントロジーに関連する情報を偶然に符号化していることを示す。
  論文  参考訳（メタデータ） (2022-01-25T12:11:46Z)
• G-MIND: An End-to-End Multimodal Imaging-Genetics Framework for Biomarker Identification and Disease Classification [49.53651166356737]
  診断によって誘導される画像データと遺伝データを統合し、解釈可能なバイオマーカーを提供する新しいディープニューラルネットワークアーキテクチャを提案する。 2つの機能的MRI(fMRI)パラダイムとSingle Nucleotide Polymorphism (SNP)データを含む統合失調症の集団研究で本モデルを評価した。
  論文  参考訳（メタデータ） (2021-01-27T19:28:04Z)
• BCGGAN: Ballistocardiogram artifact removal in simultaneous EEG-fMRI using generative adversarial network [14.014014808233016]
  脳のfMRIでは、BCG(Ballistocardiogram)アーティファクトが脳波を著しく汚染する可能性がある。 本稿では,新しいモジュール型生成対向ネットワーク(GAN)とそれに対応するトレーニング戦略を提案し,ネットワーク性能を向上する。 実験により,複数の手法と比較して,BCGアーチファクトをより効果的に除去できることが示唆された。
  論文  参考訳（メタデータ） (2020-11-03T13:54:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。