論文の概要: Intermediate Layers Encode Optimal Biological Representations in Single-Cell Foundation Models

• arxiv url: http://arxiv.org/abs/2604.14838v1
• Date: Thu, 16 Apr 2026 10:16:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-17 21:29:31.838953
• Title: Intermediate Layers Encode Optimal Biological Representations in Single-Cell Foundation Models
• Title（参考訳）: 単一セル基礎モデルにおける最適生体表現を符号化する中間層
• Authors: Vincenzo Yuto Civale, Roberto Semeraro, Andrew David Bagdanov, Alberto Magi,
• Abstract要約: 現在の単一セル基礎モデルベンチマークは最終層埋め込みを普遍的に抽出する。 我々は,ScFoundation と Tahoe-X1 からレイヤワイド表現を評価する。 第一層埋め込みは、全てのより深い層をキネッセンス細胞で上回る。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Current single-cell foundation model benchmarks universally extract final layer embeddings, assuming these represent optimal feature spaces. We systematically evaluate layer-wise representations from scFoundation (100M parameters) and Tahoe-X1 (1.3B parameters) across trajectory inference and perturbation response prediction. Our analysis reveals that optimal layers are task-dependent (trajectory peaks at 60% depth, 31% above final layers) and context-dependent (perturbation optima shift 0-96% across T cell activation states). Notably, first-layer embeddings outperform all deeper layers in quiescent cells, challenging assumptions about hierarchical feature abstraction. These findings demonstrate that "where" to extract features matters as much as "what" the model learns, necessitating systematic layer evaluation tailored to biological task and cellular context rather than defaulting to final-layer embeddings.
• Abstract（参考訳）: 現在の単一セル基礎モデルベンチマークは、最終層埋め込みを普遍的に抽出し、これらが最適な特徴空間を表すと仮定する。 我々は,軌道推定と摂動応答予測において,ScFoundation (100Mパラメータ) とTahoe-X1 (1.3Bパラメータ) から階層表現を体系的に評価した。 解析の結果,最適層はタスク依存(軌道ピークは60%,最終層は31%)であり,コンテキスト依存(摂動最適シフトはT細胞活性化状態から0-96%)であることが判明した。 特に、第1層埋め込みは、全ての深い層をキネッセンスセルで上回り、階層的特徴抽象化に関する仮定に挑戦する。 これらの結果から, 最終層埋め込みをデフォルトにするのではなく, 生物学的タスクや細胞コンテキストに合わせて, モデルが学習する「何」の「場所」が重要であることが示唆された。

関連論文リスト

• A Layer-wise Analysis of Supervised Fine-Tuning [8.337291809639352]
  Supervised Fine-Tuning (SFT) は破滅的な忘れ込みのリスクを引き起こす。 本稿では,情報理論,幾何,最適化の指標を用いた包括的分析により,このメカニズムについて検討する。 そこで我々は,これらの重要な中間層を選択的に更新するミッドブロック効率チューニングを提案する。
  論文  参考訳（メタデータ） (2026-04-12T12:57:12Z)
• Learning Consistent Taxonomic Classification through Hierarchical Reasoning [61.372270953201955]
  分類学分類における葉レベル精度と階層的整合性を改善するための2段階階層型推論フレームワークを提案する。 我々のフレームワークはQwen2.5-VL-7Bモデルで実装され、葉レベルと階層的整合性の両方で元の72Bを10%以上上回っている。
  論文  参考訳（メタデータ） (2026-01-21T03:00:00Z)
• Layer Probing Improves Kinase Functional Prediction with Protein Language Models [0.22590311296876828]
  中間から後期のトランス層(20-33層)が最終層を32%上回っていることを示す。 基本層選択はキナーゼ機能の予測を大幅に改善する。
  論文  参考訳（メタデータ） (2025-11-29T08:06:11Z)
• Multimodal Language Models See Better When They Look Shallower [54.5303326937134]
  マルチモーダル大言語モデル(MLLM)は、通常、事前訓練された視覚変換器(ViT)の最終層から視覚的特徴を抽出する。 MLLMの視覚層選択に関する最初の総合的研究を行い,VT層間の表現類似性を解析した。 我々は、深い層がOCRのようなセマンティックリッチなタスクに優れているのに対して、浅い層と中層の層は、きめ細かい視覚的なタスクでそれらを著しく上回っていることに気付きました。
  論文  参考訳（メタデータ） (2025-04-30T09:07:10Z)
• Exploring Selective Layer Fine-Tuning in Federated Learning [48.470385357429215]
  フェデレートラーニング(FL)は,分散データを用いた基礎モデルの微調整のための,有望なパラダイムとして登場した。 FLにおける選択的層微調整について検討し、クライアントがローカルデータやリソースに応じて選択した層を調整できるフレキシブルなアプローチを強調した。
  論文  参考訳（メタデータ） (2024-08-28T07:48:39Z)
• Layer-wise Linear Mode Connectivity [52.6945036534469]
  ニューラルネットワークパラメータの平均化は、2つの独立したモデルの知識の直感的な方法である。 フェデレートラーニングにおいて最も顕著に用いられている。 私たちは、単一グループやグループを平均化するモデルの性能を分析します。
  論文  参考訳（メタデータ） (2023-07-13T09:39:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。