論文の概要: Prototype Guided Post-pretraining for Single-Cell Representation Learning

• arxiv url: http://arxiv.org/abs/2605.07938v1
• Date: Fri, 08 May 2026 16:08:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-11 19:43:39.188565
• Title: Prototype Guided Post-pretraining for Single-Cell Representation Learning
• Title（参考訳）: 単セル表現学習のためのプロトタイプ指導後事前学習
• Abstract要約: 遺伝子発現データからの単一細胞表現学習は、細胞機能の基礎となる複雑な制御ロジックを明らかにする手段を提供する。 遺伝子をトークンとして扱い、細胞を文として扱う、いくつかの単細胞事前訓練モデルが最近提案されている。 本稿では,単細胞基礎モデルの事前学習段階と微調整段階の間で動作するポストプレトレーニング手法であるCellRefineを紹介する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Single-cell representation learning (SCRL) from gene expression data offers a way to uncover the complex regulatory logic underlying cellular function. Inspired by large language models in natural language modeling, several single-cell pretrained models have recently been proposed that treat genes as tokens and cells as sentences. However, these models are fundamentally limited by the long-tailed nature of cell-type distributions and struggle to generalize under covariate shifts in gene expression data. While fine-tuning is often used to mitigate these issues, we observe that performance remains bounded. To address this challenge, we introduce CellRefine, a post-pretraining method that operates between the pretraining and fine-tuning stages of a single-cell foundation model. CellRefine uses a multi-faceted objective that incorporates marker-gene sets as structural priors to guide post-pretraining and refine the latent embedding manifold of cells. Across multiple computational biology tasks, empirical results show that CellRefine consistently improves downstream performance, yielding gains up to 15%.
• Abstract（参考訳）: 遺伝子発現データからの単細胞表現学習(SCRL)は、細胞機能の基礎となる複雑な制御ロジックを明らかにする手段を提供する。 自然言語モデリングにおける大きな言語モデルに触発され、最近いくつかの単一細胞事前訓練モデルが提案され、遺伝子をトークンとして扱い、細胞を文として扱う。 しかし、これらのモデルは、細胞型分布の長い尾の性質によって根本的に制限されており、遺伝子発現データにおける共変量シフトの下での一般化に苦慮している。 これらの問題を緩和するために、微調整がよく使われるが、パフォーマンスがまだ境界であるのを観察する。 この課題に対処するために,シングルセル基礎モデルの事前学習と微調整の段階の間で動作するポストプレトレーニング手法であるCellRefineを導入する。 CellRefineは、マーカー-遺伝子セットを構造的先行要素として組み込んだ多面的目的を用いて、後処理をガイドし、潜伏する細胞の埋め込み多様体を洗練させる。 複数の計算生物学タスク全体で、実験の結果、CellRefineはダウンストリームのパフォーマンスを継続的に改善し、最大15%のゲインが得られることが示された。

関連論文リスト

• Lingshu-Cell: A generative cellular world model for transcriptome modeling toward virtual cells [48.885716676667776]
  Lingshu-Cellは、転写状態の分布を学習し、摂動下で条件シミュレーションをサポートする離散拡散モデルである。 約18,000の遺伝子にまたがる複雑なトランスクリプトーム全体の発現依存性を、以前の遺伝子選択に頼らずに捕捉する。 これは、Virtual Cell Challenge H1遺伝子摂動ベンチマークにおいて、ヒトPBMCのサイトカイン誘発反応の予測において、主要な性能を発揮する。
  論文  参考訳（メタデータ） (2026-03-26T09:46:27Z)
• Parameter-free representations outperform single-cell foundation models on downstream benchmarks [0.0]
  シングルセルRNAシークエンシング(scRNA-seq)データは、強く再現可能な統計構造を示す。 TranscriptFormerのような大規模基盤モデルは、潜在ベクトル空間に遺伝子を埋め込むことで遺伝子発現の生成モデルを学ぶ。 計算集約的な深層学習に基づく表現を使わずに、類似のパフォーマンスが達成できるかどうかを問う。
  論文  参考訳（メタデータ） (2026-02-18T18:42:29Z)
• Scalable Single-Cell Gene Expression Generation with Latent Diffusion Models [11.343106383645441]
  単一細胞遺伝子発現データに対してスケーラブルな潜伏拡散モデルを導入し、これを scLDM と呼ぶ。 観測および摂動単細胞データおよびセルレベルの分類などの下流タスクにおいて,様々な実験において,その優れた性能を示す。
  論文  参考訳（メタデータ） (2025-11-04T20:44:12Z)
• Cell2Text: Multimodal LLM for Generating Single-Cell Descriptions from RNA-Seq Data [17.440176654185095]
  我々は、cRNA-seqプロファイルを構造化された自然言語記述に変換するフレームワークであるCell2Textを紹介する。 遺伝子レベルの埋め込みと事前訓練された大きな言語モデルを統合することで、Cell2Textは、細胞のアイデンティティ、組織の起源、疾患関連、経路活性をキャプチャするコヒーレントな要約を生成する。
  論文  参考訳（メタデータ） (2025-09-29T14:20:50Z)
• CellVerse: Do Large Language Models Really Understand Cell Biology? [74.34984441715517]
  我々は,4種類のシングルセルマルチオミクスデータを統合する統一言語中心の質問応答ベンチマークであるCellVerseを紹介する。 我々は,CellVerse上で160Mから671Bまでの14のオープンソースおよびクローズドソースLLMの性能を体系的に評価した。
  論文  参考訳（メタデータ） (2025-05-09T06:47:23Z)
• A scalable gene network model of regulatory dynamics in single cells [88.48246132084441]
  本稿では,遺伝子ネットワーク構造を結合微分方程式に組み込んで,遺伝子制御関数をモデル化する機能的学習可能モデルFLeCSを提案する。 FLeCS は (pseudo) 時系列の単一セルデータから, セルの動態を正確に推定する。
  論文  参考訳（メタデータ） (2025-03-25T19:19:21Z)
• scReader: Prompting Large Language Models to Interpret scRNA-seq Data [12.767105992391555]
  本稿では,大規模言語モデルの一般的な知識機能と,単一セルオミクスデータ解釈のためのドメイン固有表現モデルを統合する,革新的なハイブリッドアプローチを提案する。 単細胞遺伝子レベルでの遺伝子発現データをプロンプトで入力することにより、様々な種および細胞タイプにわたる遺伝子発現の差分レベルに基づいて、細胞表現を効果的にモデル化する。
  論文  参考訳（メタデータ） (2024-12-24T04:28:42Z)
• Multi-Modal and Multi-Attribute Generation of Single Cells with CFGen [76.02070962797794]
  本研究では、単一セルデータ固有の離散性を保存するフローベースの条件生成モデルであるCellFlow for Generation (CFGen)を紹介する。 CFGenは、全ゲノムマルチモーダル単一セルデータを確実に生成し、重要な生物学的データ特性の回復を改善する。
  論文  参考訳（メタデータ） (2024-07-16T14:05:03Z)
• Mixed Models with Multiple Instance Learning [51.440557223100164]
  一般化線形混合モデル(GLMM)とMultiple Instance Learning(MIL)を統合するフレームワークであるMixMILを紹介する。 実験結果から,MixMILは単一セルデータセットにおいて既存のMILモデルより優れていることがわかった。
  論文  参考訳（メタデータ） (2023-11-04T16:42:42Z)
• Multi-modal Self-supervised Pre-training for Regulatory Genome Across Cell Types [75.65676405302105]
  我々は、GeneBERTと呼ばれる、多モードかつ自己管理的な方法でゲノムデータを事前学習するための、単純かつ効果的なアプローチを提案する。 我々はATAC-seqデータセットで1700万のゲノム配列でモデルを事前訓練する。
  論文  参考訳（メタデータ） (2021-10-11T12:48:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。