論文の概要: Atomas: Hierarchical Alignment on Molecule-Text for Unified Molecule Understanding and Generation
- arxiv url: http://arxiv.org/abs/2404.16880v1
- Date: Tue, 23 Apr 2024 12:35:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-29 15:13:44.223849
- Title: Atomas: Hierarchical Alignment on Molecule-Text for Unified Molecule Understanding and Generation
- Title（参考訳）: Atomas: 分子の統一理解と生成のための分子テキストの階層的アライメント
- Authors: Yikun Zhang, Geyan Ye, Chaohao Yuan, Bo Han, Long-Kai Huang, Jianhua Yao, Wei Liu, Yu Rong,
- Abstract要約: SMILES文字列とテキストから表現を共同学習するマルチモーダルな分子表現学習フレームワークAtomasを提案する。
検索タスクでは、Atomasは堅牢な一般化能力を示し、ベースラインを平均30.8%上回っている。
生成タスクでは、Atomasは分子キャプションタスクと分子生成タスクの両方で最先端の結果を達成する。
- 参考スコア（独自算出の注目度）: 42.08917809689811
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Molecule-and-text cross-modal representation learning has emerged as a promising direction for enhancing the quality of molecular representation, thereby improving performance in various scientific fields, including drug discovery and materials science. Existing studies adopt a global alignment approach to learn the knowledge from different modalities. These global alignment approaches fail to capture fine-grained information, such as molecular fragments and their corresponding textual description, which is crucial for downstream tasks. Furthermore, it is incapable to model such information using a similar global alignment strategy due to data scarcity of paired local part annotated data from existing datasets. In this paper, we propose Atomas, a multi-modal molecular representation learning framework to jointly learn representations from SMILES string and text. We design a Hierarchical Adaptive Alignment model to concurrently learn the fine-grained fragment correspondence between two modalities and align these representations of fragments in three levels. Additionally, Atomas's end-to-end training framework incorporates the tasks of understanding and generating molecule, thereby supporting a wider range of downstream tasks. In the retrieval task, Atomas exhibits robust generalization ability and outperforms the baseline by 30.8% of recall@1 on average. In the generation task, Atomas achieves state-of-the-art results in both molecule captioning task and molecule generation task. Moreover, the visualization of the Hierarchical Adaptive Alignment model further confirms the chemical significance of our approach. Our codes can be found at https://anonymous.4open.science/r/Atomas-03C3.
- Abstract（参考訳）: 分子とテキストの相互表現学習は、分子表現の質を高めるための有望な方向として現れ、薬物発見や材料科学を含む様々な科学分野のパフォーマンスを向上させる。
既存の研究では、異なるモダリティから知識を学ぶために、グローバルアライメントアプローチを採用している。
これらのグローバルアライメントアプローチは、下流のタスクに不可欠である分子断片やそれに対応するテキスト記述など、きめ細かい情報をキャプチャできない。
さらに、類似のグローバルアライメント戦略を用いて、既存のデータセットからアノテートされたペアのローカル部分のデータ不足により、そのような情報をモデル化することができない。
本稿では,SMILES文字列とテキストから表現を共同学習するマルチモーダル分子表現学習フレームワークAtomasを提案する。
階層型適応アライメントモデルを設計し、2つのモード間の細粒度フラグメント対応を同時に学習し、これらのフラグメントの表現を3つのレベルに調整する。
さらに、Atomasのエンドツーエンドのトレーニングフレームワークは、分子の理解と生成のタスクを取り入れ、より幅広い下流タスクをサポートする。
検索タスクでは、Atomasは堅牢な一般化能力を示し、ベースラインを平均30.8%上回っている。
生成タスクでは、Atomasは分子キャプションタスクと分子生成タスクの両方で最先端の結果を達成する。
さらに,階層型適応アライメントモデルの可視化により,我々のアプローチの化学的意義をさらに確認する。
私たちのコードはhttps://anonymous.4open.science/r/Atomas-03C3で確認できます。
関連論文リスト
- GeomCLIP: Contrastive Geometry-Text Pre-training for Molecules [16.98169256565552]
我々は,200万対の基底状態の幾何学的構造とバイオメディカルテキストのためのデータ収集作業を構築した。
分子構造とバイオメディカルテキストからのマルチモーダル表現学習のためのGeomCLIPフレームワークを提案する。
論文 参考訳（メタデータ） (2024-11-16T15:15:24Z) - Exploring Optimal Transport-Based Multi-Grained Alignments for Text-Molecule Retrieval [24.061535843472427]
最適TRansportに基づく多粒度アライメントモデル(ORMA)を導入する。
ORMAは、テキスト記述と分子間の多義的なアライメントを促進する新しいアプローチである。
ChEBI-20データセットとPCdesデータセットの実験結果から、ORMAが既存のSOTA(State-of-the-art)モデルを大幅に上回っていることが示されている。
論文 参考訳（メタデータ） (2024-11-04T06:30:52Z) - UniIF: Unified Molecule Inverse Folding [67.60267592514381]
全分子の逆折り畳みのための統一モデルUniIFを提案する。
提案手法は,全タスクにおける最先端手法を超越した手法である。
論文 参考訳（メタデータ） (2024-05-29T10:26:16Z) - Learning Over Molecular Conformer Ensembles: Datasets and Benchmarks [44.934084652800976]
コンフォーマーアンサンブルを用いた学習の可能性を徹底的に評価するための,最初のMoleculAR Conformer Ensemble Learningベンチマークを導入する。
その結果,コンバータ空間からの直接学習は,様々なタスクやモデルの性能を向上させることができることがわかった。
論文 参考訳（メタデータ） (2023-09-29T20:06:46Z) - Unified Molecular Modeling via Modality Blending [35.16755562674055]
我々は,新しい「Blund-then-predict」自己教師型学習法(MoleBLEND)を導入する。
MoleBLENDは、異なるモジュラリティからの原子関係をマトリックス符号化のための1つの統一された関係にブレンドし、2D構造と3D構造の両方のモダリティ固有情報を復元する。
実験によると、MoleBLENDは主要な2D/3Dベンチマークで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2023-07-12T15:27:06Z) - Bi-level Contrastive Learning for Knowledge-Enhanced Molecule
Representations [55.42602325017405]
本稿では,分子の2レベル構造を考慮した新しいGODE法を提案する。
異なるグラフ構造上で2つのグラフニューラルネットワーク(GNN)を事前訓練し、対照的な学習と組み合わせることで、GODEは分子構造を対応する知識グラフサブ構造と融合させる。
11の化学特性タスクを微調整した場合、我々のモデルは既存のベンチマークよりも優れており、分類タスクの平均ROC-AUCアップリフトは13.8%、回帰タスクの平均RMSE/MAEエンハンスメントは35.1%である。
論文 参考訳（メタデータ） (2023-06-02T15:49:45Z) - Generation of 3D Molecules in Pockets via Language Model [0.0]
逐次線記法(SMILES)やグラフ表現に基づく分子の生成モデルは、構造に基づく薬物設計の分野への関心が高まっている。
本稿では,言語モデルと幾何学的深層学習技術を組み合わせたポケットベースの3次元分子生成手法であるLingo3DMolを紹介する。
論文 参考訳（メタデータ） (2023-05-17T11:31:06Z) - A Molecular Multimodal Foundation Model Associating Molecule Graphs with
Natural Language [63.60376252491507]
本稿では,分子グラフとその意味的関連テキストデータから事前学習した分子マルチモーダル基礎モデルを提案する。
我々のモデルは、生物学、化学、材料、環境、医学などの分野において、AIを動力とする分野に幅広い影響を与えるだろうと考えています。
論文 参考訳（メタデータ） (2022-09-12T00:56:57Z) - ASGN: An Active Semi-supervised Graph Neural Network for Molecular
Property Prediction [61.33144688400446]
本稿では,ラベル付き分子とラベルなし分子の両方を組み込んだ,アクティブ半教師付きグラフニューラルネットワーク(ASGN)を提案する。
教師モデルでは,分子構造や分子分布から情報を共同で活用する汎用表現を学習するための,新しい半教師付き学習手法を提案する。
最後に,分子多様性の観点から,フレームワーク学習全体を通して情報的データを選択するための新しい能動的学習戦略を提案する。
論文 参考訳（メタデータ） (2020-07-07T04:22:39Z) - Self-Supervised Graph Transformer on Large-Scale Molecular Data [73.3448373618865]
分子表現学習のための新しいフレームワークGROVERを提案する。
GROVERは、分子の豊富な構造的および意味的な情報を、巨大な未標識分子データから学習することができる。
分子表現学習において、最大のGNNであり、最大のトレーニングデータセットである、1000万個の未標識分子に1億のパラメータを持つGROVERを事前訓練します。
論文 参考訳（メタデータ） (2020-06-18T08:37:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。