論文の概要: Scaling an Autoregressive Transformer for Single-Cell Generation

• arxiv url: http://arxiv.org/abs/2608.02961v1
• Date: Mon, 03 Aug 2026 23:54:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-05 15:30:22.965787
• Title: Scaling an Autoregressive Transformer for Single-Cell Generation
• Title（参考訳）: 単セル発生のための自己回帰変換器のスケーリング
• Abstract要約: 単一細胞遺伝子発現ベクトルの自己教師付き生成タスクについて検討する。 生成した遺伝子発現ベクターの生物学的忠実度と事前学習損失のスケーリング挙動を特徴付ける。 単一セルファウンデーションモデルに対して,初めて適合する2指数スケーリング法則と計算最適フロンティアを求める。
• 参考スコア（独自算出の注目度）: 43.111801709156815
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study a self-supervised generation task for single-cell gene expression vectors: given a set of vectors from a cell type, we aim to generate additional gene expression vectors of that cell type. For this task we characterize both the biological fidelity of the generated gene expression vectors and the scaling behavior of the pretraining loss. The model is a causal transformer paired with a learned quantized VAE tokenizer, trained with a cross-entropy loss. To evaluate the model, we condition it on held-out gene expression vectors of a cell type and generate vectors of gene expression, comparing the resulting distribution over gene expression vectors to the ground truth distribution of that cell type. We study the scaling properties of the proposed architecture by varying the number of trained parameters and the amount of training data. To our knowledge, we find the first jointly-fit two-exponent scaling law and compute-optimal frontier for a single-cell foundation model. Finally, we discuss how this pretrained model could be finetuned for perturbation response prediction.
• Abstract（参考訳）: 本研究では, 単一細胞の遺伝子発現ベクターの自己教師付き生成タスクについて検討し, 細胞型からベクターの集合が与えられた場合, その細胞型の遺伝子発現ベクターを新たに生成することを目的とする。 本課題は、生成した遺伝子発現ベクトルの生物学的忠実度と、事前学習損失のスケーリング挙動の両方を特徴付ける。 このモデルは、学習された量子化VAEトークン化器と組み合わせた因果変換器であり、クロスエントロピー損失で訓練されている。 このモデルを評価するために、我々は、それを細胞型の保留遺伝子表現ベクトルに条件付け、遺伝子表現ベクトルを生成させ、その結果の遺伝子発現ベクトルの分布と、その細胞型の基底真理分布を比較した。 提案するアーキテクチャのスケーリング特性について,トレーニングパラメータ数とトレーニングデータの量を変化させて検討する。 我々の知る限り、単セル基礎モデルにおいて、最初の共同で適合する2指数スケーリング法則と計算最適フロンティアを見いだす。 最後に,この事前学習モデルを用いて摂動応答予測を行う方法について検討する。

関連論文リスト

• Prototype Guided Post-pretraining for Single-Cell Representation Learning [0.0]
  遺伝子発現データからの単一細胞表現学習は、細胞機能の基礎となる複雑な制御ロジックを明らかにする手段を提供する。 遺伝子をトークンとして扱い、細胞を文として扱う、いくつかの単細胞事前訓練モデルが最近提案されている。 本稿では,単細胞基礎モデルの事前学習段階と微調整段階の間で動作するポストプレトレーニング手法であるCellRefineを紹介する。
  論文  参考訳（メタデータ） (2026-05-08T16:08:10Z)
• Parameter-free representations outperform single-cell foundation models on downstream benchmarks [0.0]
  シングルセルRNAシークエンシング(scRNA-seq)データは、強く再現可能な統計構造を示す。 TranscriptFormerのような大規模基盤モデルは、潜在ベクトル空間に遺伝子を埋め込むことで遺伝子発現の生成モデルを学ぶ。 計算集約的な深層学習に基づく表現を使わずに、類似のパフォーマンスが達成できるかどうかを問う。
  論文  参考訳（メタデータ） (2026-02-18T18:42:29Z)
• Scalable Single-Cell Gene Expression Generation with Latent Diffusion Models [11.343106383645441]
  単一細胞遺伝子発現データに対してスケーラブルな潜伏拡散モデルを導入し、これを scLDM と呼ぶ。 観測および摂動単細胞データおよびセルレベルの分類などの下流タスクにおいて,様々な実験において,その優れた性能を示す。
  論文  参考訳（メタデータ） (2025-11-04T20:44:12Z)
• Modeling Gene Expression Distributional Shifts for Unseen Genetic Perturbations [44.619690829431214]
  遺伝的摂動に伴う遺伝子発現の分布応答を予測するニューラルネットワークを訓練する。 本モデルでは, 摂動を条件とした遺伝子レベルのヒストグラムを予測し, 高次統計値の取得において, 基準値よりも優れていた。
  論文  参考訳（メタデータ） (2025-07-01T06:04:28Z)
• Unlasting: Unpaired Single-Cell Multi-Perturbation Estimation by Dual Conditional Diffusion Implicit Bridges [68.98973318553983]
  本稿では,Dual Diffusion Implicit Bridges (DDIB) に基づくフレームワークを提案する。 我々は、生物学的に意味のある方法で摂動シグナルを伝達するために遺伝子制御ネットワーク(GRN)情報を統合する。 また、サイレント遺伝子を予測し、生成したプロファイルの品質を向上させるためのマスキング機構も組み込んだ。
  論文  参考訳（メタデータ） (2025-06-26T09:05:38Z)
• GRAPE: Heterogeneous Graph Representation Learning for Genetic Perturbation with Coding and Non-Coding Biotype [51.58774936662233]
  遺伝子制御ネットワーク(GRN)の構築は、遺伝的摂動の影響を理解し予測するために不可欠である。 本研究では,事前学習した大規模言語モデルとDNAシークエンスモデルを用いて,遺伝子記述やDNAシークエンスデータから特徴を抽出する。 我々は、遺伝子摂動において初めて遺伝子バイオタイプ情報を導入し、細胞プロセスの制御において異なるバイオタイプを持つ遺伝子の異なる役割をシミュレートした。
  論文  参考訳（メタデータ） (2025-05-06T03:35:24Z)
• Learning to Discover Regulatory Elements for Gene Expression Prediction [59.470991831978516]
  Seq2Expは、ターゲット遺伝子発現を駆動する制御要素を発見し、抽出するために設計されたSequence to Expressionネットワークである。 本手法は, エピジェノミックシグナル, DNA 配列とその関連因子の因果関係を捉える。
  論文  参考訳（メタデータ） (2025-02-19T03:25:49Z)
• Molecule Design by Latent Prompt Transformer [61.68502207071992]
  本稿では,分子設計などの最適化課題を解決するために,潜時変圧器モデルを提案する。 目的は、既存のソフトウェアで計算可能な、標的となる化学的または生物学的性質の最適な値を持つ分子を見つけることである。
  論文  参考訳（メタデータ） (2023-10-05T02:09:51Z)
• Neural network facilitated ab initio derivation of linear formula: A case study on formulating the relationship between DNA motifs and gene expression [8.794181445664243]
  本稿では、解釈可能なニューラルネットワークモデルに基づく新しいアプローチを用いて、シーケンスモチーフと線形式を導出するためのフレームワークを提案する。 この線形モデルは、深いニューラルネットワークモデルに匹敵する性能を持つプロモーター配列を用いて遺伝子発現レベルを予測することができることを示した。
  論文  参考訳（メタデータ） (2022-08-19T22:29:30Z)
• Factorized Discriminant Analysis for Genetic Signatures of Neuronal Phenotypes [0.5076419064097734]
  線形次元減少の新しい手法である分解線形判別分析(FLDA)を導入する。 FLDAのくちばしは、1つの表現型の特徴と高い相関を持つ遺伝子発現レベルの線形関数を同定することにある。 FLDAは表現型の特徴に沿った構造パターンを捉えるだけでなく,各表現型に関連する重要な遺伝子を明らかにする。
  論文  参考訳（メタデータ） (2020-10-05T17:18:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。