論文の概要: MolFM: A Multimodal Molecular Foundation Model
- arxiv url: http://arxiv.org/abs/2307.09484v2
- Date: Fri, 21 Jul 2023 05:13:55 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-24 15:08:59.410504
- Title: MolFM: A Multimodal Molecular Foundation Model
- Title(参考訳): MolFM:マルチモーダル分子基盤モデル
- Authors: Yizhen Luo, Kai Yang, Massimo Hong, Xing Yi Liu, and Zaiqing Nie
- Abstract要約: MolFMは分子構造、バイオメディカルテキスト、知識グラフからの共同表現学習を容易にするために設計された多モード分子基盤モデルである。
我々は,同分子の異なるモジュラリティ間の特徴空間における距離を最小化することにより,我々のクロスモーダル事前学習が局所的および大域的分子知識を捕捉する理論解析を行う。
クロスモーダル検索では、MolFMは既存のモデルよりも12.13%、絶対利得は5.04%、ゼロショットと微調整がそれぞれ優れている。
- 参考スコア(独自算出の注目度): 9.934141536012596
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Molecular knowledge resides within three different modalities of information
sources: molecular structures, biomedical documents, and knowledge bases.
Effective incorporation of molecular knowledge from these modalities holds
paramount significance in facilitating biomedical research. However, existing
multimodal molecular foundation models exhibit limitations in capturing
intricate connections between molecular structures and texts, and more
importantly, none of them attempt to leverage a wealth of molecular expertise
derived from knowledge graphs. In this study, we introduce MolFM, a multimodal
molecular foundation model designed to facilitate joint representation learning
from molecular structures, biomedical texts, and knowledge graphs. We propose
cross-modal attention between atoms of molecular structures, neighbors of
molecule entities and semantically related texts to facilitate cross-modal
comprehension. We provide theoretical analysis that our cross-modal
pre-training captures local and global molecular knowledge by minimizing the
distance in the feature space between different modalities of the same
molecule, as well as molecules sharing similar structures or functions. MolFM
achieves state-of-the-art performance on various downstream tasks. On
cross-modal retrieval, MolFM outperforms existing models with 12.13% and 5.04%
absolute gains under the zero-shot and fine-tuning settings, respectively.
Furthermore, qualitative analysis showcases MolFM's implicit ability to provide
grounding from molecular substructures and knowledge graphs. Code and models
are available on https://github.com/BioFM/OpenBioMed.
- Abstract(参考訳): 分子知識は、分子構造、生物医学文書、知識基盤の3つの異なる情報源の様相に存在する。
これらのモダリティから分子知識を効果的に組み込むことは、生体医学研究の促進に最重要となる。
しかし、既存のマルチモーダル分子基礎モデルでは、分子構造とテキストの間の複雑な結合を捉えることに限界があり、さらに重要なことに、知識グラフから派生した豊富な分子知識を活用しようとはしない。
本研究では,分子構造,バイオメディカルテキスト,知識グラフからの共同表現学習を容易にするためのマルチモーダル分子基盤モデルであるMolFMを紹介する。
本稿では,分子構造の原子間,分子の近傍,意味的関連テキスト間のクロスモーダル・アテンションを提案する。
クロスモーダル事前学習は、同じ分子の異なるモダリティ間の特徴空間における距離を最小化し、同じ構造や機能を共有する分子を最小化することで、局所的および大域的な分子知識を捉えているという理論的分析を提供する。
MolFMは様々な下流タスクで最先端のパフォーマンスを達成する。
クロスモーダル検索では、MolFMは既存のモデルよりも12.13%、絶対利得は5.04%、ゼロショットと微調整がそれぞれ優れている。
さらに、質的分析は分子のサブ構造と知識グラフからの接地を提供する mofm の暗黙の能力を示す。
コードとモデルはhttps://github.com/BioFM/OpenBioMed.comで入手できる。
関連論文リスト
- Leveraging Biomolecule and Natural Language through Multi-Modal
Learning: A Survey [75.47055414002571]
生物分子モデリングと自然言語(BL)の統合は、人工知能、化学、生物学の交差点において有望な学際領域として現れてきた。
生体分子と自然言語の相互モデリングによって達成された最近の進歩について分析する。
論文 参考訳(メタデータ) (2024-03-03T14:59:47Z) - Integrating Chemical Language and Molecular Graph in Multimodal Fused
Deep Learning for Drug Property Prediction [9.948710779498487]
分子表現の異なる多モード深層学習モデルを構築した。
モノモーダルモデルと比較すると,マルチモーダルフューズドディープラーニング(MMFDL)モデルは単一モデルよりも精度,信頼性,耐雑音性に優れている。
論文 参考訳(メタデータ) (2023-12-29T07:19:42Z) - From molecules to scaffolds to functional groups: building
context-dependent molecular representation via multi-channel learning [10.756149299304981]
本稿では分子構造における構造的階層の知識を活用する新しい学習フレームワークを提案する。
様々な分子特性ベンチマークの競合性能を示し、最先端の結果を確立する。
論文 参考訳(メタデータ) (2023-11-05T23:47:52Z) - Bi-level Contrastive Learning for Knowledge-Enhanced Molecule
Representations [55.42602325017405]
本稿では,分子の2レベル構造を考慮した新しいGODE法を提案する。
異なるグラフ構造上で2つのグラフニューラルネットワーク(GNN)を事前訓練し、対照的な学習と組み合わせることで、GODEは分子構造を対応する知識グラフサブ構造と融合させる。
11の化学特性タスクを微調整した場合、我々のモデルは既存のベンチマークよりも優れており、分類タスクの平均ROC-AUCアップリフトは13.8%、回帰タスクの平均RMSE/MAEエンハンスメントは35.1%である。
論文 参考訳(メタデータ) (2023-06-02T15:49:45Z) - MUDiff: Unified Diffusion for Complete Molecule Generation [104.7021929437504]
本稿では,原子の特徴,2次元離散分子構造,および3次元連続分子座標を含む分子の包括的表現を生成する新しいモデルを提案する。
拡散過程を認知するための新しいグラフトランスフォーマーアーキテクチャを提案する。
我々のモデルは、安定で多様な分子を設計するための有望なアプローチであり、分子モデリングの幅広いタスクに適用できる。
論文 参考訳(メタデータ) (2023-04-28T04:25:57Z) - An Equivariant Generative Framework for Molecular Graph-Structure
Co-Design [54.92529253182004]
分子グラフ構造アンダーラインCo設計のための機械学習ベースの生成フレームワークであるMollCodeを提案する。
MolCodeでは、3D幾何情報によって分子2Dグラフの生成が促進され、それによって分子3D構造の予測が導かれる。
分子設計における2次元トポロジーと3次元幾何は本質的に相補的な情報を含んでいることが明らかとなった。
論文 参考訳(メタデータ) (2023-04-12T13:34:22Z) - Domain-Agnostic Molecular Generation with Chemical Feedback [44.063584808910896]
MolGenは、分子生成に特化した事前訓練された分子言語モデルである。
1億以上の分子SELFIESを再構成することで構造的および文法的な洞察を内部化する。
我々の化学フィードバックパラダイムは、モデルを分子幻覚から遠ざけ、モデルの推定確率と実世界の化学的嗜好との整合性を確保する。
論文 参考訳(メタデータ) (2023-01-26T17:52:56Z) - A Molecular Multimodal Foundation Model Associating Molecule Graphs with
Natural Language [63.60376252491507]
本稿では,分子グラフとその意味的関連テキストデータから事前学習した分子マルチモーダル基礎モデルを提案する。
我々のモデルは、生物学、化学、材料、環境、医学などの分野において、AIを動力とする分野に幅広い影響を与えるだろうと考えています。
論文 参考訳(メタデータ) (2022-09-12T00:56:57Z) - Scalable Fragment-Based 3D Molecular Design with Reinforcement Learning [68.8204255655161]
分子構築に階層的エージェントを用いるスケーラブルな3D設計のための新しいフレームワークを提案する。
様々な実験において、エネルギーのみを考慮に入れたエージェントが、100以上の原子を持つ分子を効率よく生成できることが示されている。
論文 参考訳(メタデータ) (2022-02-01T18:54:24Z) - Knowledge-aware Contrastive Molecular Graph Learning [5.08771973600915]
自己監督型分子表現学習のためのコントラシブナレッジアウェアGNN(CKGNN)を提案する。
私たちは、コントラスト学習フレームワークの下で知識認識分子エンコーダを介してドメイン知識を明示的にエンコードします。
8つの公開データセットの実験は、平均で6%の絶対的な改善と私たちのモデルの有効性を示しています。
論文 参考訳(メタデータ) (2021-03-24T08:55:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。