論文の概要: Benchmarking and Evaluation of AI Models in Biology: Outcomes and Recommendations from the CZI Virtual Cells Workshop
- arxiv url: http://arxiv.org/abs/2507.10502v2
- Date: Tue, 15 Jul 2025 20:40:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-17 12:30:11.773284
- Title: Benchmarking and Evaluation of AI Models in Biology: Outcomes and Recommendations from the CZI Virtual Cells Workshop
- Title（参考訳）: 生物学におけるAIモデルのベンチマークと評価:CZI仮想細胞ワークショップの成果と勧告
- Authors: Elizabeth Fahsbender, Alma Andersson, Jeremy Ash, Polina Binder, Daniel Burkhardt, Benjamin Chang, Georg K. Gerber, Anthony Gitter, Patrick Godau, Ankit Gupta, Genevieve Haliburton, Siyu He, Trey Ideker, Ivana Jelic, Aly Khan, Yang-Joon Kim, Aditi Krishnapriyan, Jon M. Laurent, Tianyu Liu, Emma Lundberg, Shalin B. Mehta, Rob Moccia, Angela Oliveira Pisco, Katherine S. Pollard, Suresh Ramani, Julio Saez-Rodriguez, Yasin Senbabaoglu, Elana Simon, Srinivasan Sivanandan, Gustavo Stolovitzky, Marc Valer, Bo Wang, Xikun Zhang, James Zou, Katrina Kalantar,
- Abstract要約: 我々は、AI駆動の仮想細胞のための堅牢なベンチマークの開発を加速することを目指している。
これらのベンチマークは、厳格さ、関連性、生物学的関連性を保証するために不可欠である。
これらのベンチマークは、新たな発見、治療的洞察、細胞系のより深い理解を促進する統合モデルに向けて、分野を前進させるだろう。
- 参考スコア（独自算出の注目度）: 18.00029758641004
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Artificial intelligence holds immense promise for transforming biology, yet a lack of standardized, cross domain, benchmarks undermines our ability to build robust, trustworthy models. Here, we present insights from a recent workshop that convened machine learning and computational biology experts across imaging, transcriptomics, proteomics, and genomics to tackle this gap. We identify major technical and systemic bottlenecks such as data heterogeneity and noise, reproducibility challenges, biases, and the fragmented ecosystem of publicly available resources and propose a set of recommendations for building benchmarking frameworks that can efficiently compare ML models of biological systems across tasks and data modalities. By promoting high quality data curation, standardized tooling, comprehensive evaluation metrics, and open, collaborative platforms, we aim to accelerate the development of robust benchmarks for AI driven Virtual Cells. These benchmarks are crucial for ensuring rigor, reproducibility, and biological relevance, and will ultimately advance the field toward integrated models that drive new discoveries, therapeutic insights, and a deeper understanding of cellular systems.
- Abstract（参考訳）: 人工知能は生物学を変革する大きな可能性を秘めているが、標準化されたクロスドメインなベンチマークの欠如は、堅牢で信頼できるモデルを構築する能力を損なう。
ここでは、このギャップに対処するために、画像、転写学、プロテオミクス、ゲノム学にまたがって機械学習と計算生物学の専門家を招集した最近のワークショップの洞察を紹介する。
データの不均一性とノイズ、再現性の問題、バイアス、公開リソースの断片化されたエコシステムなど、主要な技術的およびシステム的ボトルネックを特定し、タスクやデータモダリティをまたいだ生物学的システムのMLモデルを効率的に比較できるベンチマークフレームワークを構築するための一連の推奨事項を提案する。
高品質なデータキュレーション、標準化されたツール、包括的な評価指標、オープンで協調的なプラットフォームを促進することで、AI駆動の仮想セルのための堅牢なベンチマークの開発を加速することを目指している。
これらのベンチマークは、厳密性、再現性、生物学的関連性の確保に不可欠であり、最終的には新しい発見、治療的洞察、細胞系のより深い理解を促進する統合モデルへと分野を前進させる。
関連論文リスト
- DeepSeq: High-Throughput Single-Cell RNA Sequencing Data Labeling via Web Search-Augmented Agentic Generative AI Foundation Models [0.0]
生成AI基盤モデルは、構造化された生物学的データを処理するための変換ポテンシャルを提供する。
本稿では,実時間Web検索を用いたエージェント基礎モデルを用いて実験データのラベル付けを自動化し,最大82.5%の精度を実現することを提案する。
論文 参考訳（メタデータ） (2025-06-14T23:30:22Z) - Data Heterogeneity Modeling for Trustworthy Machine Learning [25.732841312561586]
データの不均一性は、機械学習(ML)システムの性能を決定する上で重要な役割を果たす。
伝統的なアルゴリズムは、しばしばデータセットの固有の多様性を見落としている。
データ多様性の深い理解によって、モデルの堅牢性、公正性、信頼性が向上することを示す。
論文 参考訳（メタデータ） (2025-06-01T11:36:56Z) - OmniGenBench: A Modular Platform for Reproducible Genomic Foundation Models Benchmarking [21.177773831820673]
ゲノム基盤モデル (GFMs) は、ゲノムをデコードするトランスフォーメーションアプローチとして登場した。
GFMがAI駆動ゲノム学の展望を拡大し、再形成するにつれ、この分野は厳密で再現可能な評価の緊急の必要性に直面している。
我々は、GFM間のデータ、モデル、ベンチマーク、解釈可能性レイヤを統合するために設計されたモジュラーベンチマークプラットフォームであるOmniGenBenchを紹介します。
論文 参考訳（メタデータ） (2025-05-20T14:16:25Z) - PyTDC: A multimodal machine learning training, evaluation, and inference platform for biomedical foundation models [59.17570021208177]
PyTDCは、マルチモーダルな生物学的AIモデルのための合理化されたトレーニング、評価、推論ソフトウェアを提供する機械学習プラットフォームである。
本稿では、PyTDCのアーキテクチャの構成要素と、我々の知る限り、導入したシングルセルドラッグターゲットMLタスクにおける第一種ケーススタディについて論じる。
論文 参考訳（メタデータ） (2025-05-08T18:15:38Z) - COMET: Benchmark for Comprehensive Biological Multi-omics Evaluation Tasks and Language Models [56.81513758682858]
COMETは、シングルオミクス、クロスオミクス、マルチオミクスタスクのモデルを評価することを目的としている。
まず、我々は、DNA、RNA、タンパク質の主要な構造的および機能的側面をカバーする、下流タスクとデータセットの多様なコレクションをキュレートし、開発する。
そこで我々は,DNA,RNA,タンパク質の既存の基礎言語モデルと,新たに提案されたマルチオミクス法を評価する。
論文 参考訳（メタデータ） (2024-12-13T18:42:00Z) - A Theoretical Framework for AI-driven data quality monitoring in high-volume data environments [1.2753215270475886]
本稿では,高ボリューム環境におけるデータ品質維持の課題に対処するために,AIによるデータ品質監視システムに関する理論的枠組みを提案する。
本稿では,ビッグデータのスケール,速度,多様性の管理における従来の手法の限界について検討し,高度な機械学習技術を活用した概念的アプローチを提案する。
主なコンポーネントは、インテリジェントデータ取り込み層、適応前処理機構、コンテキスト認識機能抽出、AIベースの品質評価モジュールなどである。
論文 参考訳（メタデータ） (2024-10-11T07:06:36Z) - How to Build the Virtual Cell with Artificial Intelligence: Priorities and Opportunities [46.671834972945874]
仮想セル構築にAIの進歩を活用するというビジョンを提案する。
我々は、生物の普遍的な表現を含む、そのようなAI仮想セルの望ましい能力について議論する。
我々は、AI仮想細胞が新しい薬物標的を特定し、摂動に対する細胞反応を予測し、スケール仮説を探索する未来を想像する。
論文 参考訳（メタデータ） (2024-09-18T02:41:50Z) - GenBench: A Benchmarking Suite for Systematic Evaluation of Genomic Foundation Models [56.63218531256961]
我々はGenomic Foundation Modelsの有効性を評価するためのベンチマークスイートであるGenBenchを紹介する。
GenBenchはモジュラーで拡張可能なフレームワークを提供し、様々な最先端の方法論をカプセル化している。
本稿では,タスク固有性能におけるモデルアーキテクチャとデータセット特性の相互作用のニュアンス解析を行う。
論文 参考訳（メタデータ） (2024-06-01T08:01:05Z) - Causal machine learning for single-cell genomics [94.28105176231739]
単細胞ゲノミクスへの機械学習技術の応用とその課題について論じる。
まず, 単一細胞生物学における現在の因果的アプローチの基盤となるモデルについて述べる。
次に、単一セルデータへの因果的アプローチの適用におけるオープンな問題を特定する。
論文 参考訳（メタデータ） (2023-10-23T13:35:24Z) - Towards an Automatic Analysis of CHO-K1 Suspension Growth in
Microfluidic Single-cell Cultivation [63.94623495501023]
我々は、人間の力で抽象化されたニューラルネットワークをデータレベルで注入できる新しい機械学習アーキテクチャを提案する。
具体的には、自然データと合成データに基づいて生成モデルを同時に訓練し、細胞数などの対象変数を確実に推定できる共有表現を学習する。
論文 参考訳（メタデータ） (2020-10-20T08:36:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。