論文の概要: UniMAP: Universal SMILES-Graph Representation Learning
- arxiv url: http://arxiv.org/abs/2310.14216v2
- Date: Mon, 04 Nov 2024 13:33:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-05 14:41:41.278732
- Title: UniMAP: Universal SMILES-Graph Representation Learning
- Title（参考訳）: UniMAP:Universal SMILES-Graph表現学習
- Authors: Shikun Feng, Lixin Yang, Yanwen Huang, Yuyan Ni, Weiying Ma, Yanyan Lan,
- Abstract要約: ユニバーサルSMILEグラフ表現学習モデル(UniMAP)を提案する。
CMM(Multi-Level Cross-Modality Masking)、SMILES-Graph Matching(SGM)、FLA(Fragment-Level Alignment)、ドメイン知識学習(DKL)の4種類の事前学習タスクがユニマップ向けに設計されている。
実験の結果,UniMAPは最先端の事前学習方法よりも優れていた。
- 参考スコア（独自算出の注目度）: 21.25038529787392
- License:
- Abstract: Molecular representation learning is fundamental for many drug related applications. Most existing molecular pre-training models are limited in using single molecular modality, either SMILES or graph representation. To effectively leverage both modalities, we argue that it is critical to capture the fine-grained 'semantics' between SMILES and graph, because subtle sequence/graph differences may lead to contrary molecular properties. In this paper, we propose a universal SMILE-graph representation learning model, namely UniMAP. Firstly, an embedding layer is employed to obtain the token and node/edge representation in SMILES and graph, respectively. A multi-layer Transformer is then utilized to conduct deep cross-modality fusion. Specially, four kinds of pre-training tasks are designed for UniMAP, including Multi-Level Cross-Modality Masking (CMM), SMILES-Graph Matching (SGM), Fragment-Level Alignment (FLA), and Domain Knowledge Learning (DKL). In this way, both global (i.e. SGM and DKL) and local (i.e. CMM and FLA) alignments are integrated to achieve comprehensive cross-modality fusion. We evaluate UniMAP on various downstream tasks, i.e. molecular property prediction, drug-target affinity prediction and drug-drug interaction. Experimental results show that UniMAP outperforms current state-of-the-art pre-training methods.We also visualize the learned representations to demonstrate the effect of multi-modality integration.
- Abstract（参考訳）: 分子表現学習は多くの薬物関連用途において基礎となる。
既存の分子事前学習モデルの多くは、SMILESまたはグラフ表現のいずれにおいても、単一の分子モダリティを使用する場合に制限されている。
両方のモダリティを効果的に活用するには、微妙な配列/グラフの相違が反対の分子特性をもたらすため、SMILESとグラフの間の微細な「意味論」を捉えることが重要であると論じる。
本論文では,UniMAPという汎用SMILEグラフ表現学習モデルを提案する。
まず、埋め込み層を用いて、SMILESとグラフのトークンとノード/エッジ表現を得る。
次に、多層トランスを用いて、深層異方性融合を行う。
特に、Multi-Level Cross-Modality Masking (CMM)、SMILES-Graph Matching (SGM)、Fragment-Level Alignment (FLA)、Domain Knowledge Learning (DKL)の4種類の事前学習タスクがUniMAP向けに設計されている。
このように、グローバル(すなわちSGMとDKL)とローカル(すなわちCMMとFLA)のアライメントが統合され、包括的な相互モダリティ融合が達成される。
分子特性予測,薬物-標的親和性予測,薬物-薬物相互作用など,様々な下流課題におけるUniMAPの評価を行った。
実験の結果、UniMAPは最先端の事前学習手法よりも優れており、学習した表現を可視化してマルチモーダリティ統合の効果を実証する。
関連論文リスト
- UniMatch: Universal Matching from Atom to Task for Few-Shot Drug Discovery [24.39705006290841]
我々は、明示的な階層的分子マッチングと暗黙的なタスクレベルマッチングを統合したデュアルマッチングフレームワークUniMatch(UniMatch)を紹介する。
具体的には、階層的なプーリングとマッチングによって、原子、サブ構造、分子など、複数のレベルの構造的特徴を捉える。
実験の結果,UniMatchはMoreculeNetおよびFS-Molベンチマークで最先端の手法より優れていることがわかった。
論文 参考訳（メタデータ） (2025-02-18T02:36:03Z) - MolGraph-xLSTM: A graph-based dual-level xLSTM framework with multi-head mixture-of-experts for enhanced molecular representation and interpretability [9.858315463084084]
MolGraph-xLSTMはグラフベースのxLSTMモデルであり、特徴抽出を強化し、分子の長距離相互作用を効果的にモデル化する。
我々のアプローチは分子グラフを原子レベルとモチーフレベルという2つのスケールで処理する。
MolGraph-xLSTMを10個の分子特性予測データセット上で検証し、分類と回帰の両方のタスクをカバーした。
論文 参考訳（メタデータ） (2025-01-30T15:47:59Z) - Dual-Modality Representation Learning for Molecular Property Prediction [3.0953718537420545]
薬物特性の正確な予測は、効果的な分子表現に大きく依存する。
近年の薬物特性の学習にはグラフ表現に基づくグラフニューラルネットワーク(GNN)が一般的である。
本稿では,2つの表現の強みを効果的に組み合わせたDMCA(Dual-Modality Cross-Attention)を提案する。
論文 参考訳（メタデータ） (2025-01-11T18:15:37Z) - Exploring Hierarchical Molecular Graph Representation in Multimodal LLMs [6.770274624885797]
各種グラフの特徴レベルがモデル性能に及ぼす影響について検討する。
1)現在の分子関連マルチモーダルLCMはグラフの特徴の包括的理解に欠けており、(2)静的処理は階層グラフの特徴に不十分である。
論文 参考訳（メタデータ） (2024-11-07T13:45:26Z) - MOCA: Self-supervised Representation Learning by Predicting Masked Online Codebook Assignments [72.6405488990753]
自己教師付き学習は、ビジョントランスフォーマーネットワークの欲求を軽減できる。
所望のプロパティを統一する単段および単段のMOCAを提案する。
我々は,様々な評価プロトコルにおいて,低照度設定と強力な実験結果に対して,最先端の新たな結果を得る。
論文 参考訳（メタデータ） (2023-07-18T15:46:20Z) - Bi-level Contrastive Learning for Knowledge-Enhanced Molecule Representations [68.32093648671496]
分子に固有の二重レベル構造を考慮に入れたGODEを導入する。
分子は固有のグラフ構造を持ち、より広い分子知識グラフ内のノードとして機能する。
異なるグラフ構造上の2つのGNNを事前学習することにより、GODEは対応する知識グラフサブ構造と分子構造を効果的に融合させる。
論文 参考訳（メタデータ） (2023-06-02T15:49:45Z) - Atomic and Subgraph-aware Bilateral Aggregation for Molecular
Representation Learning [57.670845619155195]
我々は、原子とサブグラフを意識したバイラテラルアグリゲーション(ASBA)と呼ばれる分子表現学習の新しいモデルを導入する。
ASBAは、両方の種類の情報を統合することで、以前の原子単位とサブグラフ単位のモデルの限界に対処する。
本手法は,分子特性予測のための表現をより包括的に学習する方法を提供する。
論文 参考訳（メタデータ） (2023-05-22T00:56:00Z) - Molecular Joint Representation Learning via Multi-modal Information [11.493011069441188]
MMSGと呼ばれるSMILESと分子グラフのマルチモーダル情報を用いた分子共同表現学習フレームワークを提案する。
トランスフォーマーのアテンションバイアスとしてボンドレベルグラフ表現を導入することにより,自己注意機構を改善した。
さらに,グラフから集約された情報フローを強化するために,双方向メッセージ通信グラフニューラルネットワーク(BMC GNN)を提案する。
論文 参考訳（メタデータ） (2022-11-25T11:53:23Z) - Learning with MISELBO: The Mixture Cookbook [62.75516608080322]
本稿では,VampPriorとPixelCNNデコーダネットワークを用いて,フローベース階層型変分オートエンコーダ(VAE)の正規化のための変分近似を初めて提案する。
我々は、この協調行動について、VIと適応的重要度サンプリングの新たな関係を描いて説明する。
我々は、MNISTおよびFashionMNISTデータセット上の負のログ類似度の観点から、VAEアーキテクチャの最先端結果を得る。
論文 参考訳（メタデータ） (2022-09-30T15:01:35Z) - Dual-view Molecule Pre-training [186.07333992384287]
デュアルビュー分子事前学習は、両方のタイプの分子表現の強さを効果的に組み合わせることができる。
DMPは9つの分子特性予測タスクでテストされ、そのうち7つで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2021-06-17T03:58:38Z) - ASGN: An Active Semi-supervised Graph Neural Network for Molecular
Property Prediction [61.33144688400446]
本稿では,ラベル付き分子とラベルなし分子の両方を組み込んだ,アクティブ半教師付きグラフニューラルネットワーク(ASGN)を提案する。
教師モデルでは,分子構造や分子分布から情報を共同で活用する汎用表現を学習するための,新しい半教師付き学習手法を提案する。
最後に,分子多様性の観点から,フレームワーク学習全体を通して情報的データを選択するための新しい能動的学習戦略を提案する。
論文 参考訳（メタデータ） (2020-07-07T04:22:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。