論文の概要: White-Box Diffusion Transformer for single-cell RNA-seq generation

• arxiv url: http://arxiv.org/abs/2411.06785v2
• Date: Sat, 16 Nov 2024 08:36:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-19 14:26:38.669484
• Title: White-Box Diffusion Transformer for single-cell RNA-seq generation
• Title（参考訳）: 単一セルRNA系列生成のためのWhite-Box Diffusion Transformer
• Authors: Zhuorui Cui, Shengze Dong, Ding Liu,
• Abstract要約: そこで我々はDiffusion ModelとWhite-Box Transformerに基づくハイブリッドモデルを提案する。 我々のWhite-Box Diffusion Transformerは、Diffusionモデルの生成能力とWhite-Box Transformerの数学的解釈性を組み合わせる。
• 参考スコア（独自算出の注目度）: 9.846966401472802
• License:
• Abstract: As a powerful tool for characterizing cellular subpopulations and cellular heterogeneity, single cell RNA sequencing (scRNA-seq) technology offers advantages of high throughput and multidimensional analysis. However, the process of data acquisition is often constrained by high cost and limited sample availability. To overcome these limitations, we propose a hybrid model based on Diffusion model and White-Box transformer that aims to generate synthetic and biologically plausible scRNA-seq data. Diffusion model progressively introduce noise into the data and then recover the original data through a denoising process, a forward and reverse process that is particularly suitable for generating complex data distributions. White-Box transformer is a deep learning architecture that emphasizes mathematical interpretability. By minimizing the encoding rate of the data and maximizing the sparsity of the representation, it not only reduces the computational burden, but also provides clear insight into underlying structure. Our White-Box Diffusion Transformer combines the generative capabilities of Diffusion model with the mathematical interpretability of White-Box transformer. Through experiments using six different single-cell RNA-Seq datasets, we visualize both generated and real data using t-SNE dimensionality reduction technique, as well as quantify similarity between generated and real data using various metrics to demonstrate comparable performance of White-Box Diffusion Transformer and Diffusion Transformer in generating scRNA-seq data alongside significant improvements in training efficiency and resource utilization. Our code is available at https://github.com/lingximamo/White-Box-Diffusion-Transformer
• Abstract（参考訳）: 細胞サブポピュレーションと細胞不均一性を特徴付ける強力なツールとして、シングルセルRNAシークエンシング(scRNA-seq)技術は、高いスループットと多次元解析の利点を提供する。 しかし、データ取得のプロセスは、高コストと限られたサンプル可用性によって制約されることが多い。 これらの制約を克服するために,DiffusionモデルとWhite-Box変換器に基づくハイブリッドモデルを提案する。 拡散モデルは、データにノイズを徐々に導入し、次に、複雑なデータ分布を生成するのに特に適した、前方および後方のプロセスであるデノナイジングプロセスを通じて元のデータを復元する。 White-Box Transformerは、数学的解釈性を強調するディープラーニングアーキテクチャである。 データの符号化速度を最小化し、表現の空間性を最大化することにより、計算負担を軽減するだけでなく、基盤となる構造に対する明確な洞察を提供する。 我々のWhite-Box Diffusion Transformerは、Diffusionモデルの生成能力とWhite-Box Transformerの数学的解釈性を組み合わせる。 6つの異なる単細胞RNA-Seqデータセットを用いた実験により、t-SNE次元削減技術を用いて生成されたデータと実データの両方を可視化し、様々なメトリクスを用いて生成されたデータと実データ間の類似性を定量化し、トレーニング効率と資源利用の大幅な改善とともに、scRNA-seqデータの生成におけるWhite-Box Diffusion TransformerとDiffusion Transformerの同等のパフォーマンスを実証する。 私たちのコードはhttps://github.com/lingximamo/White-Box-Diffusion-Transformerで利用可能です。

関連論文リスト

• Scalable Amortized GPLVMs for Single Cell Transcriptomics Data [9.010523724015398]
  大規模単細胞RNA-seqデータの解析には次元化が不可欠である。 改良されたモデル、償却変分モデル(BGPLVM)を導入する。 BGPLVMは、特殊なエンコーダ、カーネル、そして可能性設計を備えたシングルセルRNA-seq向けに調整されている。
  論文  参考訳（メタデータ） (2024-05-06T21:54:38Z)
• scRDiT: Generating single-cell RNA-seq data by diffusion transformers and accelerating sampling [9.013834280011293]
  シングルセルRNAシークエンシング(英: Single-cell RNA Sequencing、scRNA-seq)は、生物研究で広く利用されている基盤技術である。 本研究は、scRDiT(scRNA-seq Diffusion Transformer)と呼ばれる生成的アプローチを紹介する。 この方法は、実際のデータセットを活用して、仮想scRNA-seqデータを生成する。
  論文  参考訳（メタデータ） (2024-04-09T09:25:16Z)
• scDiffusion: conditional generation of high-quality single-cell data using diffusion model [1.0738561302102216]
  単細胞RNAシークエンシング(scRNA-seq)データは、単細胞レベルでの生命の法則を研究する上で重要である。 十分な高品質の scRNA-seq データを取得することは依然として困難である。 拡散モデルと基礎モデルを組み合わせた生成モデルである scDiffusion を開発し,高品質な scRNA-seq データを生成する。
  論文  参考訳（メタデータ） (2024-01-08T15:44:39Z)
• xTrimoGene: An Efficient and Scalable Representation Learner for Single-Cell RNA-Seq Data [45.043516102428676]
  我々は、xTrimoGene$alpha$(略してxTrimoGene)と呼ばれる、cRNA-seqデータのための新しい非対称エンコーダデコーダトランスを提案する。 xTrimoGeneは、高い精度を維持しながら、古典的なトランスフォーマーと比較して、FLOPを1～2桁削減する。 また,モデルサイズをスケールアップすることで,xTrimoGeneの性能が向上することを示す。
  論文  参考訳（メタデータ） (2023-11-26T01:23:01Z)
• scHyena: Foundation Model for Full-Length Single-Cell RNA-Seq Analysis in Brain [46.39828178736219]
  我々はこれらの課題に対処し、脳内のscRNA-seq解析の精度を高めるために設計された基礎モデルであるscHyenaを紹介する。 scHyenaは、線形適応層、遺伝子埋め込みによる位置エンコーディング、および双方向ハイエナ演算子を備えている。 これにより、生データから情報を失うことなく、全長の scRNA-seq データを処理できる。
  論文  参考訳（メタデータ） (2023-10-04T10:30:08Z)
• Diffusion-GAN: Training GANs with Diffusion [135.24433011977874]
  GAN(Generative Adversarial Network)は、安定してトレーニングすることが難しい。 フォワード拡散チェーンを利用してインスタンスノイズを生成する新しいGANフレームワークであるDiffusion-GANを提案する。 我々は,Diffusion-GANにより,最先端のGANよりも高い安定性とデータ効率で,よりリアルな画像を生成することができることを示す。
  論文  参考訳（メタデータ） (2022-06-05T20:45:01Z)
• Improving the Sample-Complexity of Deep Classification Networks with Invariant Integration [77.99182201815763]
  変換によるクラス内分散に関する事前知識を活用することは、ディープニューラルネットワークのサンプル複雑性を改善するための強力な方法である。 そこで本研究では,アプリケーションの複雑な問題に対処するために,プルーニング法に基づく新しい単項選択アルゴリズムを提案する。 本稿では,Rotated-MNIST,SVHN,CIFAR-10データセットにおけるサンプルの複雑さの改善について述べる。
  論文  参考訳（メタデータ） (2022-02-08T16:16:11Z)
• Feature transforms for image data augmentation [74.12025519234153]
  画像分類において、多くの拡張アプローチは単純な画像操作アルゴリズムを利用する。 本研究では,14種類の拡張アプローチを組み合わせて生成した画像を追加することで,データレベルでのアンサンブルを構築する。 事前トレーニングされたResNet50ネットワークは、各拡張メソッドから派生した画像を含むトレーニングセットに基づいて微調整される。
  論文  参考訳（メタデータ） (2022-01-24T14:12:29Z)
• TransCMD: Cross-Modal Decoder Equipped with Transformer for RGB-D Salient Object Detection [86.94578023985677]
  本研究では,グローバルな情報アライメントと変革の観点から,この課題を再考する。 具体的には、トランスCMD(TransCMD)は、複数のクロスモーダル統合ユニットをカスケードして、トップダウントランスフォーマーベースの情報伝達経路を構築する。 7つのRGB-D SODベンチマークデータセットの実験結果から、単純な2ストリームエンコーダデコーダフレームワークが、最先端のCNNベースの手法を超越できることが示されている。
  論文  参考訳（メタデータ） (2021-12-04T15:45:34Z)
• nnFormer: Interleaved Transformer for Volumetric Segmentation [50.10441845967601]
  本稿では,自己意図と畳み込みを実証的に組み合わせた,インターリーブアーキテクチャを備えた強力なセグメンテーションモデルであるnnFormerを紹介する。 nnFormerは、SynapseとACDCの2つの一般的なデータセットで、以前のTransformerベースのメソッドよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2021-09-07T17:08:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。