論文の概要: Temporal Distribution Shift in Real-World Pharmaceutical Data: Implications for Uncertainty Quantification in QSAR Models
- arxiv url: http://arxiv.org/abs/2502.03982v1
- Date: Thu, 06 Feb 2025 11:26:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-07 14:31:59.137560
- Title: Temporal Distribution Shift in Real-World Pharmaceutical Data: Implications for Uncertainty Quantification in QSAR Models
- Title(参考訳): リアルタイム医薬品データにおける時間分布変化:QSARモデルにおける不確実性定量化の意義
- Authors: Hannah Rosa Friesacher, Emma Svensson, Susanne Winiwarter, Lewis Mervin, Adam Arany, Ola Engkvist,
- Abstract要約: 機械学習モデルにおける予測の不確実性を推定するいくつかの計算ツールが存在する。
I. I. D. 設定からの逸脱は これらの不確実な定量化方法のパフォーマンスを損なうことが示されている。
我々は,不確実性評価手法の総合的,大規模評価の必要性に対処するために,現実世界の医薬品データセットを用いている。
- 参考スコア(独自算出の注目度): 1.9354018523009415
- License:
- Abstract: The estimation of uncertainties associated with predictions from quantitative structure-activity relationship (QSAR) models can accelerate the drug discovery process by identifying promising experiments and allowing an efficient allocation of resources. Several computational tools exist that estimate the predictive uncertainty in machine learning models. However, deviations from the i.i.d. setting have been shown to impair the performance of these uncertainty quantification methods. We use a real-world pharmaceutical dataset to address the pressing need for a comprehensive, large-scale evaluation of uncertainty estimation methods in the context of realistic distribution shifts over time. We investigate the performance of several uncertainty estimation methods, including ensemble-based and Bayesian approaches. Furthermore, we use this real-world setting to systematically assess the distribution shifts in label and descriptor space and their impact on the capability of the uncertainty estimation methods. Our study reveals significant shifts over time in both label and descriptor space and a clear connection between the magnitude of the shift and the nature of the assay. Moreover, we show that pronounced distribution shifts impair the performance of popular uncertainty estimation methods used in QSAR models. This work highlights the challenges of identifying uncertainty quantification methods that remain reliable under distribution shifts introduced by real-world data.
- Abstract(参考訳): 定量的構造活性相関モデル(QSAR)モデルから予測された不確実性の推定は、有望な実験を特定し、資源を効率的に割り当てることによって、薬物発見プロセスを加速することができる。
機械学習モデルにおける予測の不確実性を推定するいくつかの計算ツールが存在する。
しかし、i.d.設定からの偏差は、これらの不確実な定量化法の性能を損なうことが示されている。
我々は,現実的な分布変化の文脈における不確実性推定手法の包括的,大規模評価の必要性に対処するために,現実世界の医薬品データセットを用いている。
本研究では,アンサンブルベースおよびベイズアプローチを含む不確実性推定手法の性能について検討する。
さらに,この実世界設定を用いて,ラベル空間とディスクリプタ空間の分布変化を体系的に評価し,不確実性推定手法の能力に与える影響について検討する。
本研究は,ラベル空間とディスクリプタ空間の両方における時間的変化と,シフトの大きさとアッセイの性質との明確な関係を明らかにする。
さらに,QSARモデルで一般的な不確実性推定手法の性能が低下することを示す。
この研究は、実世界のデータによって導入された分布シフトの下で信頼性が保たれる不確実な定量化手法を特定することの課題を強調している。
関連論文リスト
- Score Matching-based Pseudolikelihood Estimation of Neural Marked
Spatio-Temporal Point Process with Uncertainty Quantification [59.81904428056924]
我々は、不確実な定量化を伴うmarkPsを学習するためのスコアMAtching推定器であるSMASHを紹介する。
具体的には,スコアマッチングによるマークPsの擬似的類似度を推定することにより,正規化自由度を推定する。
提案手法の優れた性能は、事象予測と不確実性定量化の両方において広範な実験によって実証される。
論文 参考訳(メタデータ) (2023-10-25T02:37:51Z) - Distributional Shift-Aware Off-Policy Interval Estimation: A Unified
Error Quantification Framework [8.572441599469597]
本研究では、無限水平マルコフ決定過程の文脈における高信頼オフ政治評価について検討する。
目的は、未知の行動ポリシーから事前に収集されたオフラインデータのみを用いて、対象の政策値に対する信頼区間(CI)を確立することである。
提案アルゴリズムは, 非線形関数近似設定においても, サンプル効率, 誤差ローバスト, 既知収束性を示す。
論文 参考訳(メタデータ) (2023-09-23T06:35:44Z) - Quantification of Predictive Uncertainty via Inference-Time Sampling [57.749601811982096]
本稿では,データあいまいさの予測不確実性を推定するためのポストホックサンプリング手法を提案する。
この方法は与えられた入力に対して異なる可算出力を生成することができ、予測分布のパラメトリック形式を仮定しない。
論文 参考訳(メタデータ) (2023-08-03T12:43:21Z) - How Reliable is Your Regression Model's Uncertainty Under Real-World
Distribution Shifts? [46.05502630457458]
本研究では,異なるタイプの分散シフトを伴う8つの画像ベース回帰データセットのベンチマークを提案する。
分散シフトがない場合、メソッドは十分に校正されているが、ベンチマークデータセットの多くに非常に自信が持たれていることが分かっています。
論文 参考訳(メタデータ) (2023-02-07T18:54:39Z) - How certain are your uncertainties? [0.3655021726150368]
ディープラーニング手法の出力の不確実性の尺度は、いくつかの点で有用である。
本研究では、これらの不確実性の測定の安定性について、大きさと空間パターンの両方の観点から検討する。
論文 参考訳(メタデータ) (2022-03-01T05:25:02Z) - Uncertainty Quantification in Extreme Learning Machine: Analytical
Developments, Variance Estimates and Confidence Intervals [0.0]
不確かさの定量化は、機械学習モデルの予測品質を評価するために不可欠である。
文献で提案されるほとんどの手法は、データに対して強い仮定を行い、入力重みのランダム性を無視したり、信頼区間推定におけるバイアス寄与を無視したりする。
本稿では,これらの制約を克服し,EMMの多様性の理解を向上させる新しい推定法を提案する。
論文 参考訳(メタデータ) (2020-11-03T13:45:59Z) - The Aleatoric Uncertainty Estimation Using a Separate Formulation with
Virtual Residuals [51.71066839337174]
既存の手法では、ターゲット推定における誤差を定量化できるが、過小評価する傾向がある。
本稿では,信号とその不確かさを推定するための新たな分離可能な定式化を提案し,オーバーフィッティングの影響を回避した。
提案手法は信号および不確実性推定のための最先端技術より優れていることを示す。
論文 参考訳(メタデータ) (2020-11-03T12:11:27Z) - Accurate and Robust Feature Importance Estimation under Distribution
Shifts [49.58991359544005]
PRoFILEは、新しい特徴重要度推定法である。
忠実さと頑健さの両面で、最先端のアプローチよりも大幅に改善されていることを示す。
論文 参考訳(メタデータ) (2020-09-30T05:29:01Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳(メタデータ) (2020-06-26T13:50:19Z) - Uncertainty-Gated Stochastic Sequential Model for EHR Mortality
Prediction [6.170898159041278]
本稿では,欠落変数の分布を推定し,隠れ状態の更新を行い,院内死亡の可能性を予測できる新しい変動再帰ネットワークを提案する。
我々のモデルは、これらの手順を1つのストリームで実行し、エンドツーエンドで全てのネットワークパラメータを共同で学習できることは注目に値する。
論文 参考訳(メタデータ) (2020-03-02T04:41:28Z) - Learning to Predict Error for MRI Reconstruction [67.76632988696943]
提案手法による予測の不確実性は予測誤差と強く相関しないことを示す。
本稿では,2段階の予測誤差の目標ラベルと大小を推定する新しい手法を提案する。
論文 参考訳(メタデータ) (2020-02-13T15:55:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。