論文の概要: CellVerse: Do Large Language Models Really Understand Cell Biology?

• arxiv url: http://arxiv.org/abs/2505.07865v1
• Date: Fri, 09 May 2025 06:47:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-14 20:57:54.237828
• Title: CellVerse: Do Large Language Models Really Understand Cell Biology?
• Title（参考訳）: CellVerse: 大規模言語モデルは細胞生物学を本当に理解しているか?
• Authors: Fan Zhang, Tianyu Liu, Zhihong Zhu, Hao Wu, Haixin Wang, Donghao Zhou, Yefeng Zheng, Kun Wang, Xian Wu, Pheng-Ann Heng,
• Abstract要約: 我々は,4種類のシングルセルマルチオミクスデータを統合する統一言語中心の質問応答ベンチマークであるCellVerseを紹介する。 我々は,CellVerse上で160Mから671Bまでの14のオープンソースおよびクローズドソースLLMの性能を体系的に評価した。
• 参考スコア（独自算出の注目度）: 74.34984441715517
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent studies have demonstrated the feasibility of modeling single-cell data as natural languages and the potential of leveraging powerful large language models (LLMs) for understanding cell biology. However, a comprehensive evaluation of LLMs' performance on language-driven single-cell analysis tasks still remains unexplored. Motivated by this challenge, we introduce CellVerse, a unified language-centric question-answering benchmark that integrates four types of single-cell multi-omics data and encompasses three hierarchical levels of single-cell analysis tasks: cell type annotation (cell-level), drug response prediction (drug-level), and perturbation analysis (gene-level). Going beyond this, we systematically evaluate the performance across 14 open-source and closed-source LLMs ranging from 160M to 671B on CellVerse. Remarkably, the experimental results reveal: (1) Existing specialist models (C2S-Pythia) fail to make reasonable decisions across all sub-tasks within CellVerse, while generalist models such as Qwen, Llama, GPT, and DeepSeek family models exhibit preliminary understanding capabilities within the realm of cell biology. (2) The performance of current LLMs falls short of expectations and has substantial room for improvement. Notably, in the widely studied drug response prediction task, none of the evaluated LLMs demonstrate significant performance improvement over random guessing. CellVerse offers the first large-scale empirical demonstration that significant challenges still remain in applying LLMs to cell biology. By introducing CellVerse, we lay the foundation for advancing cell biology through natural languages and hope this paradigm could facilitate next-generation single-cell analysis.
• Abstract（参考訳）: 近年の研究では、単一セルデータを自然言語としてモデル化する可能性や、細胞生物学の理解に強力な大規模言語モデル(LLM)を活用する可能性を実証している。 しかし,言語駆動型単一セル解析タスクにおけるLLMの性能の総合評価はまだ未検討のままである。 この課題に触発されたCellVerseは、4種類のシングルセルマルチオミクスデータを統合し、セルタイプアノテーション(セルレベル)、薬物応答予測(ドラッグレベル)、摂動解析(遺伝子レベル)という3つの階層レベルの単一セル分析タスクを包含する統一言語中心の質問応答ベンチマークである。 これを超えて、我々はCellVerse上で160Mから671Bまでの14のオープンソースおよびクローズドソースLLMの性能を体系的に評価した。 1)既存のスペシャリストモデル(C2S-Pythia)はセルバース内のすべてのサブタスクに対して合理的な決定を下さないが、Qwen、Llama、GPT、DeepSeekファミリーモデルのようなジェネラリストモデルは、細胞生物学の領域における予備的な理解能力を示す。 2)現在のLLMの性能は期待に届かず、改善の余地がかなりあります。 特に,広く研究されている薬物反応予測タスクでは,いずれのLSMもランダムな推測よりも顕著な性能向上を示さなかった。 CellVerseは、LLMを細胞生物学に適用する上で重要な課題がまだ残っている、最初の大規模な実証実験を提供している。 CellVerseを導入することで、我々は自然言語による細胞生物学の進歩の基礎を築き、このパラダイムが次世代の単一細胞分析を促進することを期待している。

関連論文リスト

• Biology Instructions: A Dataset and Benchmark for Multi-Omics Sequence Understanding Capability of Large Language Models [51.316001071698224]
  本稿では,生物配列関連命令チューニングデータセットであるBiology-Instructionsを紹介する。 このデータセットは、大きな言語モデル(LLM)と複雑な生物学的シーケンスに関連するタスクのギャップを埋めることができます。 また、新たな3段階トレーニングパイプラインを備えたChatMultiOmicsという強力なベースラインも開発しています。
  論文  参考訳（メタデータ） (2024-12-26T12:12:23Z)
• Single-Cell Omics Arena: A Benchmark Study for Large Language Models on Cell Type Annotation Using Single-Cell Data [13.56585855722118]
  大規模言語モデル(LLM)は、テキストの膨大なコーパスを効率的に処理し、合成し、生物学的知識を自動的に抽出する能力を実証している。 本研究は、単一細胞RNAシークエンシング(scRNA-seq)データにおいて、細胞型を正確に分類し、アノテートするLLMの可能性を探るものである。 以上の結果から,LCMは微調整を必要とせずに単一セルデータの堅牢な解釈を実現できることが示された。
  論文  参考訳（メタデータ） (2024-12-03T23:58:35Z)
• An Evaluation of Large Language Models in Bioinformatics Research [52.100233156012756]
  本研究では,大規模言語モデル(LLM)の性能について,バイオインフォマティクスの幅広い課題について検討する。 これらのタスクには、潜在的なコーディング領域の同定、遺伝子とタンパク質の命名されたエンティティの抽出、抗微生物および抗がんペプチドの検出、分子最適化、教育生物情報学問題の解決が含まれる。 以上の結果から, GPT 変種のような LLM がこれらのタスクの多くをうまく処理できることが示唆された。
  論文  参考訳（メタデータ） (2024-02-21T11:27:31Z)
• ChatCell: Facilitating Single-Cell Analysis with Natural Language [40.4429032376233]
  ChatCellは、自然言語による単一セル分析を容易にするツールである。 ChatCellは単細胞生物学の深い専門知識を得た。 プロジェクトのホームページはhttps://zjunlp.io/project/ChatCell.orgで公開されています。
  論文  参考訳（メタデータ） (2024-02-13T09:06:14Z)
• Mixed Models with Multiple Instance Learning [51.440557223100164]
  一般化線形混合モデル(GLMM)とMultiple Instance Learning(MIL)を統合するフレームワークであるMixMILを紹介する。 実験結果から,MixMILは単一セルデータセットにおいて既存のMILモデルより優れていることがわかった。
  論文  参考訳（メタデータ） (2023-11-04T16:42:42Z)
• Towards an Automatic Analysis of CHO-K1 Suspension Growth in Microfluidic Single-cell Cultivation [63.94623495501023]
  我々は、人間の力で抽象化されたニューラルネットワークをデータレベルで注入できる新しい機械学習アーキテクチャを提案する。 具体的には、自然データと合成データに基づいて生成モデルを同時に訓練し、細胞数などの対象変数を確実に推定できる共有表現を学習する。
  論文  参考訳（メタデータ） (2020-10-20T08:36:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。