論文の概要: Effective Biological Representation Learning by Masking Gene Expression
- arxiv url: http://arxiv.org/abs/2605.31562v1
- Date: Fri, 29 May 2026 17:28:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-01 20:56:50.771584
- Title: Effective Biological Representation Learning by Masking Gene Expression
- Title(参考訳): マスキング遺伝子発現による効果的な生物学的表現学習
- Abstract要約: 我々は、帰納的表現学習の評価に焦点をあてた、新しい自己教師型トランスクリプトミクスモデル、TxFMを開発した。
TxFMは多様なRNA-seqカウントデータに合わせたマスク付きオートエンコーディング方式を採用している。
その結果、TxFMは100倍以上の精度で訓練されたTxFMよりも優れた高忠実度遺伝子表現が得られることが判明した。
- 参考スコア(独自算出の注目度): 3.694068604201839
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: RNA sequencing produces rich and diverse datasets of gene expression, offering compelling insights into cellular state and function that have many applications in drug discovery. Modeling such data is challenging due to inherent technical noise and experimental batch effects, as evidenced by many existing transcriptomic foundation models (FMs) underperforming relative to linear baselines. Such results raise the question of whether deep representation learning provides a distinct advantage over the direct use of raw transcript counts. Our work explores this by developing a new self-supervised model, TxFM, with a focus on inductive representation learning evaluations. TxFM employs a masked autoencoding approach tailored to diverse RNA-seq count data, and our ablation study empirically identifies crucial architecture configurations required for strong transfer performance. Additionally, we curate a public training corpus, DiverseRNA-1.4M, and find that TxFM trained on this curated dataset yields high-fidelity gene representations that outperform FMs trained on atlas-scale corpora over 100x larger. Overall, our results indicate that inductive self-supervised learning is a viable modeling approach for transcriptomics representation, provided a careful synthesis of model architecture and training data curation.
- Abstract(参考訳): RNAシークエンシング(RNAシークエンシング)は、多種多様な遺伝子発現データセットを生成し、薬物発見に多くの応用がある細胞の状態と機能に関する魅力的な洞察を提供する。
このようなデータのモデリングは、線形ベースラインに対して性能が低い多くの既存の転写基礎モデル(FM)が証明しているように、固有の技術的ノイズと実験的バッチ効果のために困難である。
このような結果は、深層表現学習が生の転写数を直接利用するよりも明確な優位性をもたらすかどうかという疑問を提起する。
本研究は,帰納的表現学習評価に焦点をあてて,新たな自己教師型モデルであるTxFMを開発することによって,これを探求する。
TxFMは多種多様なRNA-seqカウントデータに適したマスク付きオートエンコーディング方式を採用し,我々は高い転送性能に必要なアーキテクチャ構成を実証的に同定した。
さらに、パブリックトレーニングコーパスであるDiverseRNA-1.4Mをキュレートし、この訓練データセットでトレーニングしたTxFMが、100倍以上の大規模コーパスでトレーニングしたFMよりも優れた高忠実度遺伝子表現を得られることを発見した。
以上の結果から,帰納的自己教師型学習はトランスクリプトミクス表現のモデリング手法であり,モデルアーキテクチャとトレーニングデータキュレーションを慎重に合成する上で有効であることが示唆された。
関連論文リスト
- Towards Reliable Stain Transfer: An Iterative Data-Model Co-Optimization Framework Based on Multimodal Expert-Guided Assessment [55.16957949238588]
Stain Transferのための新しいデータモデル共最適化フレームワークDMCoStainを提案する。
反復的にトレーニングデータとモデル能力を再定義し、病理的および構造的整合性の両方において染色精度と解釈性を向上させる。
MEGFS をサポートするために,150K VQA サンプルを用いた IPE 命令追従型大規模データセットである ImmunoInstruction を構築した。
論文 参考訳(メタデータ) (2026-07-28T07:54:43Z) - Learning Robust and Task-Invariant Functional Representation from fMRI through Siamese Self-Supervised Learning [13.034770236191994]
我々は、データ効率のよい自己教師型表現学習フレームワークBrainSimSiamを紹介した。
学習した表現は、複数の下流分類および回帰タスクで高い性能を達成できることを実証する。
論文 参考訳(メタデータ) (2026-05-27T18:48:31Z) - Adapting HFMCA to Graph Data: Self-Supervised Learning for Generalizable fMRI Representations [57.054499278843856]
機能的磁気共鳴画像(fMRI)解析は、データセットのサイズが限られ、研究間でのドメインの変動が原因で大きな課題に直面している。
コンピュータビジョンにインスパイアされた従来の自己教師付き学習手法は、正と負のサンプルペアに依存することが多い。
本稿では,最近開発された階層関数最大相関アルゴリズム(HFMCA)をグラフ構造fMRIデータに適用することを提案する。
論文 参考訳(メタデータ) (2025-10-05T12:35:01Z) - AdaFusion: Prompt-Guided Inference with Adaptive Fusion of Pathology Foundation Models [49.550545038402184]
本稿では,新しいプロンプト誘導推論フレームワークであるAdaFusionを提案する。
本手法は,多様なモデルからタイルレベルの特徴を圧縮・整列する。
AdaFusionは、分類タスクと回帰タスクの両方にわたって、個々のPFMを一貫して上回っている。
論文 参考訳(メタデータ) (2025-08-07T07:09:31Z) - BMFM-RNA: An Open Framework for Building and Evaluating Transcriptomic Foundation Models [1.1906923449182683]
本稿では,BMFM-RNAについて述べる。BMFM-RNAはオープンソースでモジュール型のソフトウェアパッケージで,多様なTFM事前学習と微調整の目的を統一する。
オートエンコーダのようなCRSボトルネック表現を用いてグローバルな表現パターンをキャプチャする,新たなトレーニング目標である全セル表現デコーダ(WCED)を導入する。
我々は、WCEDモデルが、SCGPTのような最先端のアプローチに適合または超越した性能を達成することを示す。
論文 参考訳(メタデータ) (2025-06-17T15:40:08Z) - Evaluating Vision Language Models (VLMs) for Radiology: A Comprehensive Analysis [4.803310914375717]
本研究では,3つの視覚言語基盤モデル(RAD-DINO,CheXagent,BiomedCLIP)を,放射線学タスクの微細な画像特徴を捉える能力について評価した。
胸部X線写真上, 気胸, 心肥大に対する分類, セグメンテーション, 回帰作業で評価した。
論文 参考訳(メタデータ) (2025-04-22T17:20:34Z) - Revisiting Automatic Data Curation for Vision Foundation Models in Digital Pathology [41.34847597178388]
視覚基盤モデル(FM)は、全スライディング画像から抽出された高度に異質なタイルの組織学的特徴を表現することを学ぶ。
タイルレベルでの教師なし自動データキュレーションの可能性について検討し,3億5000万個のタイルを考慮に入れた。
論文 参考訳(メタデータ) (2025-03-24T14:23:48Z) - MRGen: Segmentation Data Engine for Underrepresented MRI Modalities [59.61465292965639]
稀ながら臨床的に重要な画像モダリティのための医用画像分割モデルの訓練は、注釈付きデータの不足により困難である。
本稿では,データ合成における生成モデルの利用について検討する。
本稿では,テキストプロンプトとセグメンテーションマスクを条件とした医用画像合成のためのデータエンジンMRGenを提案する。
論文 参考訳(メタデータ) (2024-12-04T16:34:22Z) - Masked Autoencoders for Microscopy are Scalable Learners of Cellular Biology [2.7280901660033643]
本研究は、弱教師付き分類器と自己教師付きマスク付きオートエンコーダ(MAE)のスケーリング特性について検討する。
以上の結果から,ViTをベースとしたMAEは,様々なタスクにおいて弱い教師付き分類器よりも優れており,公的なデータベースから得られた既知の生物学的関係を思い出すと,11.5%の相対的な改善が達成されることがわかった。
我々は、異なる数のチャネルと順序の画像を推論時に入力できる新しいチャネルに依存しないMAEアーキテクチャ(CA-MAE)を開発した。
論文 参考訳(メタデータ) (2024-04-16T02:42:06Z) - Towards an Automatic Analysis of CHO-K1 Suspension Growth in
Microfluidic Single-cell Cultivation [63.94623495501023]
我々は、人間の力で抽象化されたニューラルネットワークをデータレベルで注入できる新しい機械学習アーキテクチャを提案する。
具体的には、自然データと合成データに基づいて生成モデルを同時に訓練し、細胞数などの対象変数を確実に推定できる共有表現を学習する。
論文 参考訳(メタデータ) (2020-10-20T08:36:51Z) - Select-ProtoNet: Learning to Select for Few-Shot Disease Subtype
Prediction [55.94378672172967]
本研究は, 類似患者のサブグループを同定し, 数発の疾患のサブタイプ予測問題に焦点を当てた。
新しいモデルを開発するためにメタラーニング技術を導入し、関連する臨床課題から共通の経験や知識を抽出する。
我々の新しいモデルは、単純だが効果的なメタ学習マシンであるPrototypeal Networkと呼ばれる、慎重に設計されたメタラーナーに基づいて構築されている。
論文 参考訳(メタデータ) (2020-09-02T02:50:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。