論文の概要: Benchmarking community drug response prediction models: datasets, models, tools, and metrics for cross-dataset generalization analysis
- arxiv url: http://arxiv.org/abs/2503.14356v1
- Date: Tue, 18 Mar 2025 15:40:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-19 14:14:16.112662
- Title: Benchmarking community drug response prediction models: datasets, models, tools, and metrics for cross-dataset generalization analysis
- Title（参考訳）: コミュニティ薬物応答予測モデルのベンチマーク:データセット、モデル、ツール、およびデータセット間の一般化分析のためのメトリクス
- Authors: Alexander Partin, Priyanka Vasanthakumari, Oleksandr Narykov, Andreas Wilke, Natasha Koussa, Sara E. Jones, Yitan Zhu, Jamie C. Overbeek, Rajeev Jain, Gayara Demini Fernando, Cesar Sanchez-Villalobos, Cristina Garcia-Cardona, Jamaludin Mohd-Yusof, Nicholas Chia, Justin M. Wozniak, Souparno Ghosh, Ranadip Pal, Thomas S. Brettin, M. Ryan Weil, Rick L. Stevens,
- Abstract要約: 本稿では,ディープラーニング(DL)モデルと機械学習(ML)モデルにおけるデータセット間予測の一般化を評価するためのベンチマークフレームワークを提案する。
絶対的なパフォーマンス(データセット間での予測精度など)と相対的なパフォーマンス(例えば、データセット内の結果と比較してパフォーマンス低下)の両方を定量化します。
本結果は,厳密な一般化評価の重要性を浮き彫りにして,未知のデータセット上でモデルをテストする場合の大幅な性能低下を明らかにした。
- 参考スコア（独自算出の注目度）: 36.689210473887904
- License:
- Abstract: Deep learning (DL) and machine learning (ML) models have shown promise in drug response prediction (DRP), yet their ability to generalize across datasets remains an open question, raising concerns about their real-world applicability. Due to the lack of standardized benchmarking approaches, model evaluations and comparisons often rely on inconsistent datasets and evaluation criteria, making it difficult to assess true predictive capabilities. In this work, we introduce a benchmarking framework for evaluating cross-dataset prediction generalization in DRP models. Our framework incorporates five publicly available drug screening datasets, six standardized DRP models, and a scalable workflow for systematic evaluation. To assess model generalization, we introduce a set of evaluation metrics that quantify both absolute performance (e.g., predictive accuracy across datasets) and relative performance (e.g., performance drop compared to within-dataset results), enabling a more comprehensive assessment of model transferability. Our results reveal substantial performance drops when models are tested on unseen datasets, underscoring the importance of rigorous generalization assessments. While several models demonstrate relatively strong cross-dataset generalization, no single model consistently outperforms across all datasets. Furthermore, we identify CTRPv2 as the most effective source dataset for training, yielding higher generalization scores across target datasets. By sharing this standardized evaluation framework with the community, our study aims to establish a rigorous foundation for model comparison, and accelerate the development of robust DRP models for real-world applications.
- Abstract（参考訳）: ディープラーニング(DL)と機械学習(ML)モデルは、薬物反応予測(DRP)において有望であることを示しているが、データセットをまたいで一般化する能力は依然としてオープンな問題であり、現実の応用性に対する懸念を提起している。
標準化されたベンチマークアプローチが欠如しているため、モデル評価と比較はしばしば一貫性のないデータセットと評価基準に依存しており、真の予測能力を評価することは困難である。
本研究では,DRPモデルにおけるクロスデータセット予測の一般化を評価するためのベンチマークフレームワークを提案する。
本フレームワークには,薬物スクリーニングデータセット5つ,標準化されたDRPモデル6つ,体系的評価のためのスケーラブルなワークフローが組み込まれている。
モデル一般化を評価するために,絶対的性能(データセット間の予測精度など)と相対的性能(データ内結果と比較した場合のパフォーマンス低下など)を定量化し,モデル転送可能性のより包括的な評価を可能にする評価指標のセットを導入する。
本結果は,厳密な一般化評価の重要性を浮き彫りにして,未知のデータセット上でモデルをテストする場合の大幅な性能低下を明らかにした。
いくつかのモデルは比較的強力なデータセット間の一般化を示すが、単一のモデルはすべてのデータセットで一貫して優れることはない。
さらに、CTRPv2をトレーニング用として最も効果的なソースデータセットとして同定し、ターゲットデータセット間で高い一般化スコアを得る。
本研究は,この標準化された評価フレームワークをコミュニティと共有することにより,モデル比較のための厳密な基盤を確立し,実世界のアプリケーションのための堅牢なDRPモデルの開発を加速することを目的とする。
関連論文リスト
- Rethinking Relation Extraction: Beyond Shortcuts to Generalization with a Debiased Benchmark [53.876493664396506]
ベンチマークは、機械学習アルゴリズムのパフォーマンスの評価、比較の促進、優れたソリューションの特定に不可欠である。
本稿では,関係抽出タスクにおけるエンティティバイアスの問題に対処する。
本稿では,エンティティの代替によって,エンティティ参照と関係型との擬似相関を破る不偏関係抽出ベンチマークDREBを提案する。
DREBの新たなベースラインを確立するために,データレベルとモデルトレーニングレベルを組み合わせたデバイアス手法であるMixDebiasを導入する。
論文 参考訳（メタデータ） (2025-01-02T17:01:06Z) - On Evaluation of Vision Datasets and Models using Human Competency Frameworks [20.802372291783488]
アイテム応答理論(IRT)は、モデルと各データセット項目のアンサンブルに対して解釈可能な潜在パラメータを推論するフレームワークである。
モデルキャリブレーションを評価し、情報的データサブセットを選択し、コンピュータビジョンにおけるモデルとデータセットを解析・比較するための潜在パラメータの有用性を実証する。
論文 参考訳（メタデータ） (2024-09-06T06:20:11Z) - Ranking and Combining Latent Structured Predictive Scores without Labeled Data [2.5064967708371553]
本稿では,新しい教師なしアンサンブル学習モデル(SUEL)を提案する。
連続的な予測スコアを持つ予測器のセット間の依存関係を利用して、ラベル付きデータなしで予測器をランク付けし、それらをアンサンブルされたスコアに重み付けする。
提案手法の有効性は、シミュレーション研究とリスク遺伝子発見の現実的応用の両方を通じて厳密に評価されている。
論文 参考訳（メタデータ） (2024-08-14T20:14:42Z) - A Framework for Efficient Model Evaluation through Stratification, Sampling, and Estimation [17.351089059392674]
本稿では,階層化,サンプリング,推定を含むモデル評価のためのフレームワークを提案する。
モデル性能の正確な予測に基づいて,k平均クラスタリングによる成層化を行うことで,効率的に推定できることを示す。
また、データセットのラベル付けされていない部分におけるモデル精度の予測を利用するモデル支援推定器は、一般的に従来の推定値よりも効率的であることがわかった。
論文 参考訳（メタデータ） (2024-06-11T14:49:04Z) - Don't Make Your LLM an Evaluation Benchmark Cheater [142.24553056600627]
大規模言語モデル(LLM)は人工知能のフロンティアを大幅に進歩させ、モデルキャパシティを著しく向上させた。
モデル性能を評価するために, LLMの能力レベルを測定するための評価ベンチマークを構築するのが典型的な方法である。
評価ベンチマークを用いて不適切なリスクと影響について検討し,評価結果を誤って解釈する。
論文 参考訳（メタデータ） (2023-11-03T14:59:54Z) - The Validity of Evaluation Results: Assessing Concurrence Across
Compositionality Benchmarks [27.83907050770602]
本研究では,4つのデータセットにまたがる6つのモデリング手法の性能について検討した。
この結果から,一般的な評価データセットが測定対象を計測するかどうかを評価する上で,まだ多くの作業が続けられていることが示された。
論文 参考訳（メタデータ） (2023-10-26T16:11:04Z) - On the Evaluation and Refinement of Vision-Language Instruction Tuning
Datasets [71.54954966652286]
VLIT(Vision-Language Instruction-Tuning)データセットの評価を試みる。
各データセットから高いSQのサンプルを収集し,新しいデータセットREVO-LIONを構築した。
注目すべきは、完全なデータの半分でなくても、REVO-LIONでトレーニングされたモデルは、単にすべてのVLITデータセットを追加するのに匹敵するパフォーマンスを達成することができることだ。
論文 参考訳（メタデータ） (2023-10-10T13:01:38Z) - GREAT Score: Global Robustness Evaluation of Adversarial Perturbation using Generative Models [60.48306899271866]
GREATスコア(GREAT Score)と呼ばれる新しいフレームワークを提案する。
我々は,ロバストベンチにおける攻撃ベースモデルと比較し,高い相関性を示し,GREATスコアのコストを大幅に削減した。
GREAT Scoreは、プライバシーに敏感なブラックボックスモデルのリモート監査に使用することができる。
論文 参考訳（メタデータ） (2023-04-19T14:58:27Z) - On Generalisability of Machine Learning-based Network Intrusion
Detection Systems [0.0]
本稿では,4つのベンチマークNIDSデータセットを用いて,教師付き学習モデルと教師なし学習モデルの評価を行う。
我々の調査は、検討されたモデルのうちどのモデルもすべての研究されたデータセットを一般化できないことを示唆している。
また,本研究では,教師なし学習手法が,検討シナリオにおける教師付き学習モデルよりも一般化されていることも示唆した。
論文 参考訳（メタデータ） (2022-05-09T08:26:48Z) - General Greedy De-bias Learning [163.65789778416172]
本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。
GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
論文 参考訳（メタデータ） (2021-12-20T14:47:32Z) - Performance metrics for intervention-triggering prediction models do not
reflect an expected reduction in outcomes from using the model [71.9860741092209]
臨床研究者はしばしばリスク予測モデルの中から選択し評価する。
振り返りデータから算出される標準メトリクスは、特定の仮定の下でのみモデルユーティリティに関係します。
予測が時間を通して繰り返し配信される場合、標準メトリクスとユーティリティの関係はさらに複雑になる。
論文 参考訳（メタデータ） (2020-06-02T16:26:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。