論文の概要: Pretraining Graph Transformers with Atom-in-a-Molecule Quantum Properties for Improved ADMET Modeling
- arxiv url: http://arxiv.org/abs/2410.08024v1
- Date: Thu, 10 Oct 2024 15:20:30 GMT
- ステータス: 処理完了
- システム内更新日: 2024-10-31 05:55:13.962976
- Title: Pretraining Graph Transformers with Atom-in-a-Molecule Quantum Properties for Improved ADMET Modeling
- Title（参考訳）: 改良型ADMETモデリングのためのAtom-in-a-Molecule量子特性を持つグラフ変換器の事前学習
- Authors: Alessio Fallani, Ramil Nugmanov, Jose Arjona-Medina, Jörg Kurt Wegner, Alexandre Tkatchenko, Kostiantyn Chernichenko,
- Abstract要約: 我々は,グラフトランスフォーマーの事前学習が原子レベルの量子力学特性に与える影響を評価する。
原子量子力学的性質に基づいて事前訓練されたモデルは、より低周波ラプラシアン固有モードを捕捉する。
- 参考スコア（独自算出の注目度）: 38.53065398127086
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We evaluate the impact of pretraining Graph Transformer architectures on atom-level quantum-mechanical features for the modeling of absorption, distribution, metabolism, excretion, and toxicity (ADMET) properties of drug-like compounds. We compare this pretraining strategy with two others: one based on molecular quantum properties (specifically the HOMO-LUMO gap) and one using a self-supervised atom masking technique. After fine-tuning on Therapeutic Data Commons ADMET datasets, we evaluate the performance improvement in the different models observing that models pretrained with atomic quantum mechanical properties produce in general better results. We then analyse the latent representations and observe that the supervised strategies preserve the pretraining information after finetuning and that different pretrainings produce different trends in latent expressivity across layers. Furthermore, we find that models pretrained on atomic quantum mechanical properties capture more low-frequency laplacian eigenmodes of the input graph via the attention weights and produce better representations of atomic environments within the molecule. Application of the analysis to a much larger non-public dataset for microsomal clearance illustrates generalizability of the studied indicators. In this case the performances of the models are in accordance with the representation analysis and highlight, especially for the case of masking pretraining and atom-level quantum property pretraining, how model types with similar performance on public benchmarks can have different performances on large scale pharmaceutical data.
- Abstract（参考訳）: 薬物様化合物の吸収, 分布, 代謝, 排ガス, 毒性(ADMET)特性のモデル化における, 原子レベルの量子力学特性に対する事前学習グラフトランスフォーマーアーキテクチャの影響を評価した。
この事前学習戦略を,分子量子特性(特にHOMO-LUMOギャップ)に基づくものと,自己監督型原子マスキング技術を用いたものとを比較した。
Therapeutic Data Commons ADMETデータセットを微調整した後、原子量子力学的性質で事前訓練されたモデルが一般的により良い結果をもたらすことを観察し、異なるモデルの性能改善を評価した。
次に、遅延表現を分析し、教師付き戦略が微調整後の事前学習情報を保存し、異なる事前学習が階層間の遅延表現性に異なる傾向をもたらすことを観察する。
さらに, 原子量子力学特性に基づく事前学習モデルでは, 注目重みによる入力グラフの低周波ラプラシアン固有値の取得や, 分子内の原子環境の表現性の向上が期待できる。
マイクロゾームクリアランスのためのより大規模な非公開データセットへの解析の適用は、研究された指標の一般化性を示している。
この場合、モデルの性能は表現分析とハイライトに従っており、特にマスキング事前訓練や原子レベルの量子特性事前訓練の場合、公開ベンチマークで類似した性能を持つモデルが大規模医薬品データに対してどのように異なる性能を持つかが注目される。
関連論文リスト
- Pre-trained Molecular Language Models with Random Functional Group Masking [54.900360309677794]
SMILESをベースとしたアンダーリネム分子アンダーリネム言語アンダーリネムモデルを提案し,特定の分子原子に対応するSMILESサブシーケンスをランダムにマスキングする。
この技術は、モデルに分子構造や特性をよりよく推測させ、予測能力を高めることを目的としている。
論文 参考訳（メタデータ） (2024-11-03T01:56:15Z) - Analysis of Atom-level pretraining with Quantum Mechanics (QM) data for Graph Neural Networks Molecular property models [0.0]
量子力学(QM)データを用いた原子レベルの事前トレーニングは、トレーニングデータとテストデータ間の分布類似性に関する仮定違反を軽減することができることを示す。
隠れ状態の分子表現を解析し、QMデータに対する分子レベルと原子レベルの事前学習の効果を比較するのは、これが初めてである。
論文 参考訳（メタデータ） (2024-05-23T17:51:05Z) - Machine Learning Small Molecule Properties in Drug Discovery [44.62264781248437]
我々は, 結合親和性, 溶解性, ADMET (吸収, 分布, 代謝, 排出, 毒性) を含む幅広い特性について検討する。
化学指紋やグラフベースニューラルネットワークなど,既存の一般的な記述子や埋め込みについて論じる。
最後に、モデル予測の理解を提供する技術、特に薬物発見における重要な意思決定について評価する。
論文 参考訳（メタデータ） (2023-08-02T22:18:41Z) - Atomic and Subgraph-aware Bilateral Aggregation for Molecular
Representation Learning [57.670845619155195]
我々は、原子とサブグラフを意識したバイラテラルアグリゲーション(ASBA)と呼ばれる分子表現学習の新しいモデルを導入する。
ASBAは、両方の種類の情報を統合することで、以前の原子単位とサブグラフ単位のモデルの限界に対処する。
本手法は,分子特性予測のための表現をより包括的に学習する方法を提供する。
論文 参考訳（メタデータ） (2023-05-22T00:56:00Z) - PEMP: Leveraging Physics Properties to Enhance Molecular Property
Prediction [33.715410811008375]
本研究では, 分子特性予測法(PEMP)を提案する。
PEMPの多タスク学習と移動学習の2つの異なる手法を設計する。
公開ベンチマークであるMoleculeNetの実験結果から,提案手法は対応する最先端モデルよりも優れた性能を示すことが示された。
論文 参考訳（メタデータ） (2022-10-18T07:40:58Z) - KPGT: Knowledge-Guided Pre-training of Graph Transformer for Molecular
Property Prediction [13.55018269009361]
我々は、分子グラフ表現学習のための新しい自己教師付き学習フレームワーク、KPGT(Knowledge-guided Pre-training of Graph Transformer)を紹介する。
KPGTは、いくつかの分子特性予測タスクにおける最先端の手法よりも優れた性能を提供することができる。
論文 参考訳（メタデータ） (2022-06-02T08:22:14Z) - Pre-training via Denoising for Molecular Property Prediction [53.409242538744444]
本稿では,3次元分子構造の大規模データセットを平衡に利用した事前学習手法について述べる。
近年のノイズレギュラー化の進展に触発されて, 事前学習の目的は, 雑音の除去に基づくものである。
論文 参考訳（メタデータ） (2022-05-31T22:28:34Z) - Molecular Attributes Transfer from Non-Parallel Data [57.010952598634944]
分子最適化をスタイル伝達問題として定式化し、非並列データの2つのグループ間の内部差を自動的に学習できる新しい生成モデルを提案する。
毒性修飾と合成性向上という2つの分子最適化タスクの実験により,本モデルがいくつかの最先端手法を著しく上回ることを示した。
論文 参考訳（メタデータ） (2021-11-30T06:10:22Z) - Do Large Scale Molecular Language Representations Capture Important
Structural Information? [31.76876206167457]
本稿では,MoLFormerと呼ばれる効率的なトランスフォーマーエンコーダモデルのトレーニングにより得られた分子埋め込みについて述べる。
実験の結果,グラフベースおよび指紋ベースによる教師付き学習ベースラインと比較して,学習された分子表現が競合的に機能することが確認された。
論文 参考訳（メタデータ） (2021-06-17T14:33:55Z) - Few-Shot Graph Learning for Molecular Property Prediction [46.60746023179724]
分子特性予測の新しいモデルであるMeta-MGNNを提案する。
ラベルのない分子情報を利用するため、Meta-MGNNはさらに分子構造、属性ベースの自己監視モジュール、および自己注意のタスクウェイトを組み込む。
2つの公開マルチプロパティデータセットに関する広範な実験は、Meta-MGNNがさまざまな最先端のメソッドを上回っていることを示しています。
論文 参考訳（メタデータ） (2021-02-16T01:55:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。