論文の概要: WelQrate: Defining the Gold Standard in Small Molecule Drug Discovery Benchmarking

• arxiv url: http://arxiv.org/abs/2411.09820v1
• Date: Thu, 14 Nov 2024 21:49:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-18 15:38:48.715649
• Title: WelQrate: Defining the Gold Standard in Small Molecule Drug Discovery Benchmarking
• Title（参考訳）: WelQrate: 小さな分子のドラッグ発見ベンチマークにおけるゴールドスタンダードの定義
• Authors: Yunchao, Liu, Ha Dong, Xin Wang, Rocco Moretti, Yu Wang, Zhaoqian Su, Jiawei Gu, Bobby Bodenheimer, Charles David Weaver, Jens Meiler, Tyler Derr,
• Abstract要約: 深層学習はコンピュータ支援による薬物発見に革命をもたらした。 ディープラーニングはコンピュータ支援薬の発見に革命をもたらしたが、AIコミュニティは主にモデルイノベーションに重点を置いてきた。 我々は、小型分子の薬物発見ベンチマークであるWelQrateの新しいゴールドスタンダードの確立を目指しています。
• 参考スコア（独自算出の注目度）: 13.880278087741482
• License:
• Abstract: While deep learning has revolutionized computer-aided drug discovery, the AI community has predominantly focused on model innovation and placed less emphasis on establishing best benchmarking practices. We posit that without a sound model evaluation framework, the AI community's efforts cannot reach their full potential, thereby slowing the progress and transfer of innovation into real-world drug discovery. Thus, in this paper, we seek to establish a new gold standard for small molecule drug discovery benchmarking, WelQrate. Specifically, our contributions are threefold: WelQrate Dataset Collection - we introduce a meticulously curated collection of 9 datasets spanning 5 therapeutic target classes. Our hierarchical curation pipelines, designed by drug discovery experts, go beyond the primary high-throughput screen by leveraging additional confirmatory and counter screens along with rigorous domain-driven preprocessing, such as Pan-Assay Interference Compounds (PAINS) filtering, to ensure the high-quality data in the datasets; WelQrate Evaluation Framework - we propose a standardized model evaluation framework considering high-quality datasets, featurization, 3D conformation generation, evaluation metrics, and data splits, which provides a reliable benchmarking for drug discovery experts conducting real-world virtual screening; Benchmarking - we evaluate model performance through various research questions using the WelQrate dataset collection, exploring the effects of different models, dataset quality, featurization methods, and data splitting strategies on the results. In summary, we recommend adopting our proposed WelQrate as the gold standard in small molecule drug discovery benchmarking. The WelQrate dataset collection, along with the curation codes, and experimental scripts are all publicly available at WelQrate.org.
• Abstract（参考訳）: ディープラーニングはコンピュータ支援薬の発見に革命をもたらしたが、AIコミュニティは主にモデルイノベーションに重点を置いており、最高のベンチマークプラクティスの確立に重点を置いていない。 我々は、健全なモデル評価フレームワークがなければ、AIコミュニティの努力がその潜在能力を最大限に発揮できないため、イノベーションの進行と現実のドラッグ発見への移行が遅くなると仮定する。 そこで本研究では,小分子ドラッグ発見ベンチマークであるWelQrateの金本位制の確立を目指す。 WelQrate Dataset Collection - 5つの治療対象クラスにまたがる9つのデータセットの厳密にキュレートされたコレクションを導入します。 医薬発見の専門家が設計した階層的なキュレーションパイプラインは、Pan-Assay Interference Compounds(PAINS)フィルタリングなどの厳密なドメイン駆動プレプロセッシングと合わせて、主要な高スループットスクリーンを活用して、データセットの高品質なデータを保証する。WelQrate Evaluation Framework - 高品質なデータセット、3Dコンフォーメーション生成、3Dコンフォーメーション生成、評価メトリクス、データ分割を考慮した標準化されたモデル評価フレームワークを提案し、現実世界の仮想スクリーニングを行う薬物発見専門家の信頼性の高いベンチマークを提供する。 要約して, 提案するWelQrateを, 小分子ドラッグ発見ベンチマークにおけるゴールドスタンダードとして採用することを推奨する。 WelQrateデータセットコレクションとキュレーションコード、実験的スクリプトは、すべてWelQrate.orgで公開されている。

関連論文リスト

• LiveXiv -- A Multi-Modal Live Benchmark Based on Arxiv Papers Content [62.816876067499415]
  我々は、科学的ArXiv論文に基づくスケーラブルな進化型ライブベンチマークであるLiveXivを提案する。 LiveXivは、任意のタイムスタンプでドメイン固有の原稿にアクセスし、視覚的な問合せペアを自動的に生成することを提案する。 ベンチマークの最初のバージョンで、複数のオープンでプロプライエタリなLMM(Large Multi-modal Models)をベンチマークし、その挑戦的な性質を示し、モデルの真の能力を明らかにする。
  論文  参考訳（メタデータ） (2024-10-14T17:51:23Z)
• EBES: Easy Benchmarking for Event Sequences [17.277513178760348]
  イベントシーケンスは、ヘルスケア、ファイナンス、ユーザインタラクションログなど、さまざまな現実世界のドメインにおける一般的なデータ構造である。 時間データモデリング技術の進歩にもかかわらず、イベントシーケンスのパフォーマンスを評価するための標準ベンチマークは存在しない。 標準化された評価シナリオとプロトコルを備えた総合的なベンチマークツールであるEBESを紹介する。
  論文  参考訳（メタデータ） (2024-10-04T13:03:43Z)
• Investigating the Impact of Hard Samples on Accuracy Reveals In-class Data Imbalance [4.291589126905706]
  AutoMLドメインでは、モデルの有効性を評価するための重要な指標として、テスト精度が宣言される。 しかし、主性能指標としての試験精度の信頼性は疑問視されている。 トレーニングセットとテストセット間のハードサンプルの分布は、これらのセットの難易度に影響を与える。 本稿では,ハードサンプル識別法を比較するためのベンチマーク手法を提案する。
  論文  参考訳（メタデータ） (2024-09-22T11:38:14Z)
• GenBench: A Benchmarking Suite for Systematic Evaluation of Genomic Foundation Models [56.63218531256961]
  我々はGenomic Foundation Modelsの有効性を評価するためのベンチマークスイートであるGenBenchを紹介する。 GenBenchはモジュラーで拡張可能なフレームワークを提供し、様々な最先端の方法論をカプセル化している。 本稿では,タスク固有性能におけるモデルアーキテクチャとデータセット特性の相互作用のニュアンス解析を行う。
  論文  参考訳（メタデータ） (2024-06-01T08:01:05Z)
• Rethinking Model Prototyping through the MedMNIST+ Dataset Collection [0.11999555634662634]
  本研究は,MedMNIST+データベースに対する評価環境の多様化のためのベンチマークを示す。 我々は、医用画像分類のための共通畳み込みニューラルネットワーク(CNN)とトランスフォーマーベースのアーキテクチャを徹底的に分析する。 この結果から,計算効率のよいトレーニングスキームと最新の基礎モデルは,高額なエンドツーエンドトレーニングとリソース強化アプローチのギャップを埋める上で有望であることが示唆された。
  論文  参考訳（メタデータ） (2024-04-24T10:19:25Z)
• Towards a more inductive world for drug repurposing approaches [0.545520830707066]
  ドラッグ・ターゲット・インタラクション(DTI)の予測は、薬物再資源化において重要な課題である。 DTI予測法は一般化に欠け, インフレーション性能を損なうことを示す。 そこで本研究では, 生物学的に駆動される負のエッジサブサンプリングの戦略を提案し, 新たに発見された相互作用が真であることをin vitroで検証した。
  論文  参考訳（メタデータ） (2023-11-21T15:28:44Z)
• On the Evaluation and Refinement of Vision-Language Instruction Tuning Datasets [71.54954966652286]
  VLIT(Vision-Language Instruction-Tuning)データセットの評価を試みる。 各データセットから高いSQのサンプルを収集し,新しいデータセットREVO-LIONを構築した。 注目すべきは、完全なデータの半分でなくても、REVO-LIONでトレーニングされたモデルは、単にすべてのVLITデータセットを追加するのに匹敵するパフォーマンスを達成することができることだ。
  論文  参考訳（メタデータ） (2023-10-10T13:01:38Z)
• Drug Discovery under Covariate Shift with Domain-Informed Prior Distributions over Functions [30.305418761024143]
  実世界の薬物発見タスクは、しばしばラベル付きデータの不足とかなりの範囲のデータによって特徴づけられる。 我々は、データ生成プロセスの明示的な事前知識を事前分布にエンコードする原理的な方法を提案する。 我々は,Q-SAVIを組み込んで,事前知識のような化学空間をモデリングプロセスに組み込むことで,相当な精度と校正が可能であることを実証した。
  論文  参考訳（メタデータ） (2023-07-14T05:01:10Z)
• DrugOOD: Out-of-Distribution (OOD) Dataset Curator and Benchmark for AI-aided Drug Discovery -- A Focus on Affinity Prediction Problems with Noise Annotations [90.27736364704108]
  我々は、AI支援薬物発見のための体系的なOODデータセットキュレーターおよびベンチマークであるTarmOODを提案する。 DrugOODには、ベンチマークプロセスを完全に自動化するオープンソースのPythonパッケージが付属している。 我々は、薬物標的結合親和性予測という、AIDDにおける最も重要な問題の1つに焦点を当てる。
  論文  参考訳（メタデータ） (2022-01-24T12:32:48Z)
• How Faithful is your Synthetic Data? Sample-level Metrics for Evaluating and Auditing Generative Models [95.8037674226622]
  ドメインに依存しない方法で生成モデルの忠実度,多様性,一般化性能を特徴付ける3次元評価指標を提案する。 当社のメトリクスは、精度リコール分析により統計的発散測定を統合し、モデル忠実度と多様性のサンプルおよび分布レベルの診断を可能にします。
  論文  参考訳（メタデータ） (2021-02-17T18:25:30Z)
• Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
  マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。 ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。 マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
  論文  参考訳（メタデータ） (2020-12-29T23:43:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。