論文の概要: Synergistic Fusion of Graph and Transformer Features for Enhanced
Molecular Property Prediction
- arxiv url: http://arxiv.org/abs/2310.03027v1
- Date: Fri, 25 Aug 2023 14:47:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-23 04:45:25.870109
- Title: Synergistic Fusion of Graph and Transformer Features for Enhanced
Molecular Property Prediction
- Title（参考訳）: 分子特性予測のためのグラフとトランスの相乗的融合
- Authors: M V Sai Prakash, Siddartha Reddy N, Ganesh Parab, Varun V, Vishal
Vaddina, Saisubramaniam Gopalakrishnan
- Abstract要約: 本稿では,GNN と Transformer の事前学習機能を組み合わせた新しい手法を提案する。
このアプローチは包括的分子表現を提供し、大域分子構造と個々の原子特性の両方をキャプチャする。
MoleculeNetベンチマークの実験結果は,7つの分類データセット中5つ,6つの回帰データセット中4つに,以前のモデルよりも優れたパフォーマンスを示している。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Molecular property prediction is a critical task in computational drug
discovery. While recent advances in Graph Neural Networks (GNNs) and
Transformers have shown to be effective and promising, they face the following
limitations: Transformer self-attention does not explicitly consider the
underlying molecule structure while GNN feature representation alone is not
sufficient to capture granular and hidden interactions and characteristics that
distinguish similar molecules. To address these limitations, we propose SYN-
FUSION, a novel approach that synergistically combines pre-trained features
from GNNs and Transformers. This approach provides a comprehensive molecular
representation, capturing both the global molecule structure and the individual
atom characteristics. Experimental results on MoleculeNet benchmarks
demonstrate superior performance, surpassing previous models in 5 out of 7
classification datasets and 4 out of 6 regression datasets. The performance of
SYN-FUSION has been compared with other Graph-Transformer models that have been
jointly trained using a combination of transformer and graph features, and it
is found that our approach is on par with those models in terms of performance.
Extensive analysis of the learned fusion model across aspects such as loss,
latent space, and weight distribution further validates the effectiveness of
SYN-FUSION. Finally, an ablation study unequivocally demonstrates that the
synergy achieved by SYN-FUSION surpasses the performance of its individual
model components and their ensemble, offering a substantial improvement in
predicting molecular properties.
- Abstract（参考訳）: 分子特性予測は、計算薬物発見において重要な課題である。
グラフニューラルネットワーク(GNN)とトランスフォーマーの最近の進歩は効果的で有望であることが示されているが、それらは以下の制限に直面している。
このような制約に対処するため,GNNとTransformerの事前学習機能を相乗的に組み合わせたSynFUSIONを提案する。
このアプローチは包括的分子表現を提供し、大域分子構造と個々の原子特性の両方をキャプチャする。
MoleculeNetベンチマークの実験結果は,7つの分類データセット中5つ,6つの回帰データセット中4つに,以前のモデルよりも優れたパフォーマンスを示している。
Syn-FUSIONの性能は、変換器とグラフ特徴の組み合わせで共同で訓練された他のGraph-Transformerモデルと比較され、これらのモデルと性能の面で同等であることが判明した。
損失, 潜伏空間, 重量分布など, 学習した融合モデルの大規模解析により, シン融合の有効性がさらに検証される。
最後に、アブレーション研究は、Syman-FUSIONによって達成されたシナジーが個々のモデルコンポーネントとそのアンサンブルのパフォーマンスを上回り、分子特性の予測を大幅に改善することを示した。
関連論文リスト
- Pre-trained Molecular Language Models with Random Functional Group Masking [54.900360309677794]
SMILESをベースとしたアンダーリネム分子アンダーリネム言語アンダーリネムモデルを提案し,特定の分子原子に対応するSMILESサブシーケンスをランダムにマスキングする。
この技術は、モデルに分子構造や特性をよりよく推測させ、予測能力を高めることを目的としている。
論文 参考訳（メタデータ） (2024-11-03T01:56:15Z) - YZS-model: A Predictive Model for Organic Drug Solubility Based on Graph Convolutional Networks and Transformer-Attention [9.018408514318631]
伝統的な手法は複雑な分子構造を見逃し、不正確な結果をもたらすことが多い。
本稿では,グラフ畳み込みネットワーク(GCN),トランスフォーマーアーキテクチャ,Long Short-Term Memory(LSTM)ネットワークを統合するディープラーニングフレームワークであるYZS-Modelを紹介する。
YZS-Modelは、R2$ 0.59、RMSE$ 0.57を達成し、ベンチマークモデルを上回った。
論文 参考訳（メタデータ） (2024-06-27T12:40:29Z) - UAlign: Pushing the Limit of Template-free Retrosynthesis Prediction with Unsupervised SMILES Alignment [51.49238426241974]
本稿では,テンプレートのないグラフ・ツー・シーケンスパイプラインであるUAlignを紹介した。
グラフニューラルネットワークとトランスフォーマーを組み合わせることで、分子固有のグラフ構造をより効果的に活用することができる。
論文 参考訳（メタデータ） (2024-03-25T03:23:03Z) - Molecule Design by Latent Prompt Transformer [76.2112075557233]
本研究は、分子設計の課題を条件付き生成モデリングタスクとしてフレーミングすることによって検討する。
本研究では,(1)学習可能な事前分布を持つ潜伏ベクトル,(2)プロンプトとして潜伏ベクトルを用いる因果トランスフォーマーに基づく分子生成モデル,(3)潜在プロンプトを用いた分子の目標特性および/または制約値を予測する特性予測モデルからなる新しい生成モデルを提案する。
論文 参考訳（メタデータ） (2024-02-27T03:33:23Z) - MultiModal-Learning for Predicting Molecular Properties: A Framework Based on Image and Graph Structures [2.5563339057415218]
MolIGは、画像とグラフ構造に基づいて分子特性を予測するための、新しいMultiModaL分子事前学習フレームワークである。
両者の分子表現の強さを融合させる。
ベンチマークグループ内の分子特性予測に関連する下流タスクでは、パフォーマンスが向上する。
論文 参考訳（メタデータ） (2023-11-28T10:28:35Z) - Atomic and Subgraph-aware Bilateral Aggregation for Molecular
Representation Learning [57.670845619155195]
我々は、原子とサブグラフを意識したバイラテラルアグリゲーション(ASBA)と呼ばれる分子表現学習の新しいモデルを導入する。
ASBAは、両方の種類の情報を統合することで、以前の原子単位とサブグラフ単位のモデルの限界に対処する。
本手法は,分子特性予測のための表現をより包括的に学習する方法を提供する。
論文 参考訳（メタデータ） (2023-05-22T00:56:00Z) - Dynamic Molecular Graph-based Implementation for Biophysical Properties
Prediction [9.112532782451233]
本稿では,タンパク質-リガンド相互作用の動的特徴を特徴付けるため,GNNを用いたトランスフォーマーモデルに基づく新しいアプローチを提案する。
我々のメッセージパッシングトランスフォーマーは、物理シミュレーションに基づく分子動力学データに基づいて事前訓練を行い、座標構成を学習し、結合確率と親和性予測を行う。
論文 参考訳（メタデータ） (2022-12-20T04:21:19Z) - Graph neural networks for the prediction of molecular structure-property
relationships [59.11160990637615]
グラフニューラルネットワーク(GNN)は、分子グラフ上で直接動作する新しい機械学習手法である。
GNNは、エンドツーエンドでプロパティを学習できるため、情報記述子の必要性を回避することができる。
本稿では、分子特性予測のための2つの例を通して、GNNの基礎を説明し、GNNの応用を実証する。
論文 参考訳（メタデータ） (2022-07-25T11:30:44Z) - Permutation invariant graph-to-sequence model for template-free
retrosynthesis and reaction prediction [2.5655440962401617]
本稿では,テキスト生成のためのトランスフォーマーモデルのパワーと,分子グラフエンコーダの置換不変性を組み合わせた新しいGraph2SMILESモデルについて述べる。
エンドツーエンドアーキテクチャとして、Graph2SMILESは、分子から分子への変換を含むあらゆるタスクにおいて、Transformerのドロップイン置換として使用できる。
論文 参考訳（メタデータ） (2021-10-19T01:23:15Z) - Few-Shot Graph Learning for Molecular Property Prediction [46.60746023179724]
分子特性予測の新しいモデルであるMeta-MGNNを提案する。
ラベルのない分子情報を利用するため、Meta-MGNNはさらに分子構造、属性ベースの自己監視モジュール、および自己注意のタスクウェイトを組み込む。
2つの公開マルチプロパティデータセットに関する広範な実験は、Meta-MGNNがさまざまな最先端のメソッドを上回っていることを示しています。
論文 参考訳（メタデータ） (2021-02-16T01:55:34Z) - Multi-View Graph Neural Networks for Molecular Property Prediction [67.54644592806876]
マルチビューグラフニューラルネットワーク(MV-GNN)を提案する。
MV-GNNでは,学習過程を安定させるために,自己注意型読み出しコンポーネントと不一致損失を導入する。
我々は、相互依存型メッセージパッシング方式を提案することにより、MV-GNNの表現力をさらに強化する。
論文 参考訳（メタデータ） (2020-05-17T04:46:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。