論文の概要: MUBen: Benchmarking the Uncertainty of Pre-Trained Models for Molecular
Property Prediction
- arxiv url: http://arxiv.org/abs/2306.10060v1
- Date: Wed, 14 Jun 2023 13:06:04 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-26 01:29:00.075913
- Title: MUBen: Benchmarking the Uncertainty of Pre-Trained Models for Molecular
Property Prediction
- Title（参考訳）: MUBen:分子特性予測のための事前学習モデルの不確かさのベンチマーク
- Authors: Yinghao Li, Lingkai Kong, Yuanqi Du, Yue Yu, Yuchen Zhuang, Wenhao Mu,
Chao Zhang
- Abstract要約: 特性予測と不確実性推定の両方において,バックボーンモデルとUQモデルの組み合わせを評価し,それらの性能を定量的に評価する。
本研究は、材料科学や薬物発見などの分野における不確実性クリティカルな応用の研究を促進するために、UQモデルとバックボーンモデルを選択するための洞察を提供する。
- 参考スコア（独自算出の注目度）: 18.007038030585296
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Transformer models pre-trained on massive unlabeled molecular data have
shown great success in predicting molecular properties. However, these models
can be prone to overfitting during fine-tuning, resulting in over-confident
predictions on test data that fall outside of the training distribution. To
address this issue, uncertainty quantification (UQ) methods can be used to
improve the models' calibration of predictions. Although many UQ approaches
exist, not all of them lead to improved performance. While some studies have
used UQ to improve molecular pre-trained models, the process of selecting
suitable backbone and UQ methods for reliable molecular uncertainty estimation
remains underexplored. To address this gap, we present MUBen, which evaluates
different combinations of backbone and UQ models to quantify their performance
for both property prediction and uncertainty estimation. By fine-tuning various
backbone molecular representation models using different molecular descriptors
as inputs with UQ methods from different categories, we critically assess the
influence of architectural decisions and training strategies. Our study offers
insights for selecting UQ and backbone models, which can facilitate research on
uncertainty-critical applications in fields such as materials science and drug
discovery.
- Abstract（参考訳）: 大量のラベルのない分子データに基づいて事前訓練された大きなトランスフォーマーモデルは、分子特性を予測することに成功している。
しかし、これらのモデルは微調整中に過度に適合しがちであり、トレーニング分布の外側にあるテストデータに対する過密な予測が引き起こされる。
この問題を解決するために、モデルのキャリブレーションを改善するために不確実量化法(UQ)を用いることができる。
多くのUQアプローチが存在するが、それらすべてが性能改善につながるわけではない。
分子前訓練モデルを改善するためにUQを用いた研究もあるが、信頼性の高い分子不確実性推定のための適切なバックボーンとUQ法を選択するプロセスはまだ未定である。
このギャップに対処するために,backboneモデルとuqモデルの異なる組み合わせを評価し,特性予測と不確実性推定の両方のパフォーマンスを定量化するmubenを提案する。
異なる分子記述子を用いた様々なバックボーン分子表現モデルを、異なるカテゴリからのUQ手法による入力として微調整することにより、アーキテクチャ決定とトレーニング戦略の影響を批判的に評価する。
本研究は、材料科学や薬物発見などの分野における不確実性クリティカルな応用の研究を促進するために、UQモデルとバックボーンモデルを選択するための洞察を提供する。
関連論文リスト
- Influence Functions for Scalable Data Attribution in Diffusion Models [52.92223039302037]
拡散モデルは、生成的モデリングに大きな進歩をもたらした。
しかし、彼らの普及はデータ属性と解釈可能性に関する課題を引き起こす。
本稿では,テキスト・インフルエンス・ファンクション・フレームワークを開発することにより,このような課題に対処することを目的とする。
論文 参考訳（メタデータ） (2024-10-17T17:59:02Z) - Opinion-Unaware Blind Image Quality Assessment using Multi-Scale Deep Feature Statistics [54.08757792080732]
我々は,事前学習された視覚モデルからの深い特徴を統計的解析モデルと統合して,意見認識のないBIQA(OU-BIQA)を実現することを提案する。
提案モデルは,最先端のBIQAモデルと比較して,人間の視覚的知覚との整合性に優れる。
論文 参考訳（メタデータ） (2024-05-29T06:09:34Z) - Epistemic Uncertainty Quantification For Pre-trained Neural Network [27.444465823508715]
疫学的不確実性定量化(UQ)は、モデルが知識を欠いている場所を特定する。
ベイジアンニューラルネットワークに基づく従来のUQ法は、事前訓練された非ベイジアンモデルには適さない。
論文 参考訳（メタデータ） (2024-04-15T20:21:05Z) - Unified Uncertainty Estimation for Cognitive Diagnosis Models [70.46998436898205]
本稿では,幅広い認知診断モデルに対する統一的不確実性推定手法を提案する。
診断パラメータの不確かさをデータ・アスペクトとモデル・アスペクトに分解する。
本手法は有効であり,認知診断の不確実性に関する有用な知見を提供することができる。
論文 参考訳（メタデータ） (2024-03-09T13:48:20Z) - Learning Invariant Molecular Representation in Latent Discrete Space [52.13724532622099]
本稿では,分散シフトに対する不変性とロバスト性を示す分子表現を学習するための新しい枠組みを提案する。
我々のモデルは、様々な分布シフトが存在する場合に、最先端のベースラインに対してより強力な一般化を実現する。
論文 参考訳（メタデータ） (2023-10-22T04:06:44Z) - Machine Learning Small Molecule Properties in Drug Discovery [44.62264781248437]
我々は, 結合親和性, 溶解性, ADMET (吸収, 分布, 代謝, 排出, 毒性) を含む幅広い特性について検討する。
化学指紋やグラフベースニューラルネットワークなど,既存の一般的な記述子や埋め込みについて論じる。
最後に、モデル予測の理解を提供する技術、特に薬物発見における重要な意思決定について評価する。
論文 参考訳（メタデータ） (2023-08-02T22:18:41Z) - Uncertainty Quantification for Molecular Property Predictions with Graph Neural Architecture Search [2.711812013460678]
本稿では,分子特性予測のための自動不確実性定量化(UQ)手法であるAutoGNNUQを紹介する。
我々のアプローチでは、分散分解を用いてデータ(アラート)とモデル(エステミック)の不確実性を分離し、それらを減らすための貴重な洞察を提供する。
AutoGNNUQは、正確な不確実性定量化が意思決定に不可欠である薬物発見や材料科学などの領域で広く適用可能である。
論文 参考訳（メタデータ） (2023-07-19T20:03:42Z) - Evaluating Point-Prediction Uncertainties in Neural Networks for Drug
Discovery [0.26385121748044166]
ニューラルネットワーク(NN)モデルは、薬物発見プロセスをスピードアップし、失敗率を低下させる可能性がある。
NNモデルの成功には不確実な定量化(UQ)が必要である。
本稿では,薬物発見を目的としたNNモデルの予測不確かさを推定するUQ手法について検討する。
論文 参考訳（メタデータ） (2022-10-31T03:45:11Z) - Learning continuous models for continuous physics [94.42705784823997]
本研究では,科学技術応用のための機械学習モデルを検証する数値解析理論に基づくテストを開発する。
本研究は,従来のMLトレーニング/テスト手法と一体化して,科学・工学分野におけるモデルの検証を行う方法である。
論文 参考訳（メタデータ） (2022-02-17T07:56:46Z) - Molecular Attributes Transfer from Non-Parallel Data [57.010952598634944]
分子最適化をスタイル伝達問題として定式化し、非並列データの2つのグループ間の内部差を自動的に学習できる新しい生成モデルを提案する。
毒性修飾と合成性向上という2つの分子最適化タスクの実験により,本モデルがいくつかの最先端手法を著しく上回ることを示した。
論文 参考訳（メタデータ） (2021-11-30T06:10:22Z) - Uncertainty Quantification Using Neural Networks for Molecular Property
Prediction [33.34534208450156]
複数の相補的な性能指標を用いて,5つのベンチマークデータセット上で複数の手法を体系的に評価した。
テストしたどのメソッドも他のどのメソッドよりも絶対的に優れているわけではなく、複数のデータセットにまたがって特に信頼性の高いエラーランキングを生成するものもありません。
我々は,既存の技術が他とよく関係しているように見えるものについて,実践的な勧告で結論付けている。
論文 参考訳（メタデータ） (2020-05-20T13:31:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。