論文の概要: BMFM-RNA: An Open Framework for Building and Evaluating Transcriptomic Foundation Models

• arxiv url: http://arxiv.org/abs/2506.14861v1
• Date: Tue, 17 Jun 2025 15:40:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-19 19:35:51.436915
• Title: BMFM-RNA: An Open Framework for Building and Evaluating Transcriptomic Foundation Models
• Title（参考訳）: BMFM-RNA: トランスクリプトロジー基礎モデルの構築と評価のためのオープンフレームワーク
• Authors: Bharath Dandala, Michael M. Danziger, Ella Barkan, Tanwi Biswas, Viatcheslav Gurev, Jianying Hu, Matthew Madgwick, Akira Koseki, Tal Kozlovski, Michal Rosen-Zvi, Yishai Shimoni, Ching-Huei Tsou,
• Abstract要約: 本稿では,BMFM-RNAについて述べる。BMFM-RNAはオープンソースでモジュール型のソフトウェアパッケージで,多様なTFM事前学習と微調整の目的を統一する。 オートエンコーダのようなCRSボトルネック表現を用いてグローバルな表現パターンをキャプチャする,新たなトレーニング目標である全セル表現デコーダ(WCED)を導入する。 我々は、WCEDモデルが、SCGPTのような最先端のアプローチに適合または超越した性能を達成することを示す。
• 参考スコア（独自算出の注目度）: 1.1906923449182683
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Transcriptomic foundation models (TFMs) have recently emerged as powerful tools for analyzing gene expression in cells and tissues, supporting key tasks such as cell-type annotation, batch correction, and perturbation prediction. However, the diversity of model implementations and training strategies across recent TFMs, though promising, makes it challenging to isolate the contribution of individual design choices or evaluate their potential synergies. This hinders the field's ability to converge on best practices and limits the reproducibility of insights across studies. We present BMFM-RNA, an open-source, modular software package that unifies diverse TFM pretraining and fine-tuning objectives within a single framework. Leveraging this capability, we introduce a novel training objective, whole cell expression decoder (WCED), which captures global expression patterns using an autoencoder-like CLS bottleneck representation. In this paper, we describe the framework, supported input representations, and training objectives. We evaluated four model checkpoints pretrained on CELLxGENE using combinations of masked language modeling (MLM), WCED and multitask learning. Using the benchmarking capabilities of BMFM-RNA, we show that WCED-based models achieve performance that matches or exceeds state-of-the-art approaches like scGPT across more than a dozen datasets in both zero-shot and fine-tuning tasks. BMFM-RNA, available as part of the biomed-multi-omics project ( https://github.com/BiomedSciAI/biomed-multi-omic ), offers a reproducible foundation for systematic benchmarking and community-driven exploration of optimal TFM training strategies, enabling the development of more effective tools to leverage the latest advances in AI for understanding cell biology.
• Abstract（参考訳）: Transcriptomic foundation model (TFMs) は、細胞や組織における遺伝子発現を解析し、細胞型アノテーション、バッチ補正、摂動予測などの重要なタスクをサポートする強力なツールとして最近登場した。 しかしながら、最近のTFMにおけるモデル実装とトレーニング戦略の多様性は、将来性はあるものの、個々の設計選択の貢献を分離したり、その潜在的な相乗効果を評価することは困難である。 これにより、フィールドのベストプラクティスに収束する能力が妨げられ、研究全体での洞察の再現性が制限される。 本稿では,BMFM-RNAについて述べる。BMFM-RNAはオープンソースでモジュール型のソフトウェアパッケージで,TFMの事前学習と微調整の目的をひとつのフレームワークに統合する。 この能力を活用することで、オートエンコーダのようなCRSボトルネック表現を用いてグローバルな表現パターンをキャプチャする、新たなトレーニング目標である全セル表現デコーダ(WCED)を導入する。 本稿では,フレームワーク,サポートされた入力表現,学習目標について述べる。 マスク言語モデリング(MLM)、WCED、マルチタスク学習の組み合わせを用いて、CellxGENEで事前訓練した4つのモデルチェックポイントを評価した。 BMFM-RNAのベンチマーク機能を用いて、WCEDベースのモデルは、ゼロショットタスクと微調整タスクの両方において、1ダース以上のデータセットにまたがるScGPTのような最先端のアプローチに適合または超える性能を実現する。 BMFM-RNAは、バイオメディカルマルチオミクスプロジェクト(https://github.com/BiomedSciAI/biomed-multi-omic )の一部として利用可能であり、組織的なベンチマークと最適なTFMトレーニング戦略のコミュニティ主導による探索のための再現可能な基盤を提供する。

関連論文リスト

• MORAL: A Multimodal Reinforcement Learning Framework for Decision Making in Autonomous Laboratories [4.503215272392276]
  自律的な研究室における意思決定のためのマルチモーダル強化学習フレームワークMORALを提案する。 我々は、事前訓練されたBLIP-2視覚言語モデルで微調整された画像キャプションを生成し、早期融合戦略により視覚特徴と組み合わせる。 実験の結果,マルチモーダルエージェントはタスク完了率を20%向上することがわかった。
  論文  参考訳（メタデータ） (2025-04-04T04:15:52Z)
• Will Pre-Training Ever End? A First Step Toward Next-Generation Foundation MLLMs via Self-Improving Systematic Cognition [89.50068130832635]
  自己改善認知 (SIcog) は、マルチモーダル知識によって次世代のMLLMを構築するための自己学習フレームワークである。 ステップバイステップの視覚的理解のためのChain-of-Descriptionを提案し、詳細なマルチモーダル推論をサポートするために構造化されたChain-of-Thought(CoT)推論を統合する。 実験は、マルチモーダル認知を増強したMLLMの開発におけるSIcogの有効性を示す。
  論文  参考訳（メタデータ） (2025-03-16T00:25:13Z)
• Large Language Model as Meta-Surrogate for Data-Driven Many-Task Optimization: A Proof-of-Principle Study [11.452011929848844]
  本研究では,マルチタスク最適化を支援するメタサロゲートフレームワークを提案する。 問題群に適合するメタデータを持つ普遍モデルを定義することにより、多タスクフィットネス予測のための統一的なフレームワークを定式化する。 我々のフレームワークは、双対レベルの知識伝達 -- 代理レベルと個別レベルの両方 -- をサポートし、最適化の効率性と堅牢性を高めます。
  論文  参考訳（メタデータ） (2025-03-11T11:13:11Z)
• Flex: End-to-End Text-Instructed Visual Navigation from Foundation Model Features [59.892436892964376]
  本稿では,視覚に基づく制御ポリシを用いて,ロバストな閉ループ性能を実現するために必要な最小限のデータ要件とアーキテクチャ適応について検討する。 この知見はFlex (Fly lexically) で合成され, 凍結パッチワイド特徴抽出器として, 事前学習された視覚言語モデル (VLM) を用いたフレームワークである。 本研究では,本手法の有効性を,行動クローンによる訓練を実世界のシーンに応用した,四重項フライ・トゥ・ターゲットタスクに適用した。
  論文  参考訳（メタデータ） (2024-10-16T19:59:31Z)
• Steering Masked Discrete Diffusion Models via Discrete Denoising Posterior Prediction [88.65168366064061]
  本稿では,確率論的推論の課題として,事前学習したMDMを操る作業を行う新しいフレームワークであるDDPPを紹介する。 私たちのフレームワークは、3つの新しい目標のファミリーにつながります。 Wet-lab Validation(ウェット・ラブ・バリデーション)を用いて,報酬最適化タンパク質配列の過渡的発現を観察する。
  論文  参考訳（メタデータ） (2024-10-10T17:18:30Z)
• StableLLaVA: Enhanced Visual Instruction Tuning with Synthesized Image-Dialogue Data [129.92449761766025]
  本稿では,視覚的インストラクションチューニングのための画像と対話を同期的に合成する新しいデータ収集手法を提案する。 このアプローチは生成モデルのパワーを活用し、ChatGPTとテキスト・ツー・イメージ生成モデルの能力とを結合する。 本研究は,各種データセットを対象とした総合的な実験を含む。
  論文  参考訳（メタデータ） (2023-08-20T12:43:52Z)
• USER: Unified Semantic Enhancement with Momentum Contrast for Image-Text Retrieval [115.28586222748478]
  Image-Text Retrieval (ITR) は、与えられたクエリに意味のあるターゲットインスタンスを、他のモダリティから検索することを目的としている。 既存のアプローチは通常、2つの大きな制限に悩まされる。
  論文  参考訳（メタデータ） (2023-01-17T12:42:58Z)
• Forging Multiple Training Objectives for Pre-trained Language Models via Meta-Learning [97.28779163988833]
  複数の事前学習目標が単一目的言語モデリングの理解能力の欠如を埋める。 メタラーニングに基づく新しい適応型サンプリングシステムであるtextitMOMETAS を提案し,任意の事前学習対象に対して潜時サンプリングパターンを学習する。
  論文  参考訳（メタデータ） (2022-10-19T04:38:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。