論文の概要: GraphT5: Unified Molecular Graph-Language Modeling via Multi-Modal Cross-Token Attention

• arxiv url: http://arxiv.org/abs/2503.07655v1
• Date: Fri, 07 Mar 2025 07:57:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-12 15:45:28.933653
• Title: GraphT5: Unified Molecular Graph-Language Modeling via Multi-Modal Cross-Token Attention
• Title（参考訳）: GraphT5: マルチモーダルクロストークンアテンションによる統一的な分子グラフ言語モデリング
• Authors: Sangyeup Kim, Nayeon Kim, Yinhua Piao, Sun Kim,
• Abstract要約: 分子言語モデリングのための1次元SMILESテキストと2次元グラフ表現を統合したフレームワークを提案する。 クロストークンの注意は、SMILESと分子のグラフの間の暗黙の情報を利用する。
• 参考スコア（独自算出の注目度）: 5.949779668853557
• License:
• Abstract: Molecular language modeling tasks such as molecule captioning have been recognized for their potential to further understand molecular properties that can aid drug discovery or material synthesis based on chemical reactions. Unlike the common use of molecule graphs in predicting molecular properties, most methods in molecular language modeling rely heavily on SMILES sequences. This preference is because the task involves generating a sequence of multiple tokens using transformer-based models. Therefore, a main challenge is determining how to integrate graph data, which contains structural and spatial information about molecules, with text data. In addition, simply using both 1D SMILES text and 2D graph as inputs without addressing how they align and represent the molecule structure in different modalities makes it challenging to fully utilize structural knowledge about molecules. To this end, we propose GraphT5, a multi-modal framework that integrates 1D SMILES text and 2D graph representations of molecules for molecular language modeling. Specifically, we introduce a novel cross-token attention module in GraphT5 to bridge the gap arising from the fundamental differences between the two modalities of molecule representations. Cross-token attention exploits implicit information between SMILES and graphs of molecules, resulting from their interactions at a fine-grained token level that benefits molecular language modeling. Extensive experiments including molecule captioning, IUPAC name prediction tasks, and case studies show that our GraphT5 outperforms the latest baseline approaches, which validates the effectiveness of our GraphT5 in sufficiently utilizing 1D SMILES text and 2D graph representations.
• Abstract（参考訳）: 分子キャプションのような分子言語モデリングタスクは、薬物の発見や化学反応に基づく物質合成に役立つ分子の性質をさらに理解する可能性があることが認識されている。 分子特性予測における分子グラフの一般的な使用とは異なり、分子言語モデリングのほとんどの手法はSMILES配列に大きく依存している。 この好みは、タスクがトランスフォーマーベースのモデルを使用して複数のトークンのシーケンスを生成するためである。 したがって、主要な課題は、分子の構造的および空間的情報を含むグラフデータと、テキストデータを統合する方法を決定することである。 さらに、1D SMILESテキストと2Dグラフの両方を入力として使うだけで、異なるモードで分子構造をどのように整列し、どのように表現するかを問わないため、分子の構造的知識を完全に活用することは困難である。 この目的のために,分子言語モデリングのための1次元SMILESテキストと2次元グラフ表現を統合したマルチモーダルフレームワークGraphT5を提案する。 具体的には、分子表現の2つのモードの基本的な違いから生じるギャップを埋めるために、GraphT5に新しい関心モジュールを導入する。 相互注意は、SMILESと分子グラフの間の暗黙の情報を利用しており、分子言語モデリングの恩恵を受ける微細なトークンレベルでの相互作用から生じる。 分子キャプション, IUPAC 名予測タスク, ケーススタディなどの広範囲な実験により, GraphT5 は最新のベースラインアプローチよりも優れており, 1D SMILES テキストと 2D グラフ表現を十分に活用する上での GraphT5 の有効性が検証されている。

関連論文リスト

• MolCA: Molecular Graph-Language Modeling with Cross-Modal Projector and Uni-Modal Adapter [91.77292826067465]
  言語モデル(LM)は、様々な1Dテキスト関連タスクにおいて、印象的な分子理解能力を示す。 しかし、それらは本質的に2次元グラフの認識を欠いている。 クロスモーダルプロジェクタとユニモーダルアダプタを用いた分子グラフ言語モデリング(MolCA: Molecular Graph-Language Modeling)を提案する。
  論文  参考訳（メタデータ） (2023-10-19T14:52:58Z)
• MolGrapher: Graph-based Visual Recognition of Chemical Structures [50.13749978547401]
  化学構造を視覚的に認識するためにMolGrapherを導入する。 すべての候補原子と結合をノードとして扱い、それらをグラフ化する。 グラフニューラルネットワークを用いてグラフ内の原子と結合ノードを分類する。
  論文  参考訳（メタデータ） (2023-08-23T16:16:11Z)
• GIT-Mol: A Multi-modal Large Language Model for Molecular Science with Graph, Image, and Text [25.979382232281786]
  グラフ,画像,テキスト情報を統合したマルチモーダルな大規模言語モデルであるGIT-Molを紹介する。 特性予測の精度は5%-10%向上し、分子生成の妥当性は20.2%向上した。
  論文  参考訳（メタデータ） (2023-08-14T03:12:29Z)
• GIMLET: A Unified Graph-Text Model for Instruction-Based Molecule Zero-Shot Learning [71.89623260998934]
  本研究は,ゼロショット環境下での分子関連タスクの実現に自然言語命令を用いることの実現可能性について検討する。 既存の分子テキストモデルは、命令の不十分な処理とグラフの限られた容量のために、この設定では性能が良くない。 グラフデータとテキストデータの両方の言語モデルを統合するGIMLETを提案する。
  論文  参考訳（メタデータ） (2023-05-28T18:27:59Z)
• Conditional Graph Information Bottleneck for Molecular Relational Learning [9.56625683182106]
  本稿では,コア部分グラフを検出してグラフ間の相互作用を予測できる新しい関係学習フレームワークCGIBを提案する。 提案手法は化学反応の性質,すなわち分子の核部分構造がどの分子と相互作用するかによって異なることを模倣する。
  論文  参考訳（メタデータ） (2023-04-29T01:17:43Z)
• A Molecular Multimodal Foundation Model Associating Molecule Graphs with Natural Language [63.60376252491507]
  本稿では,分子グラフとその意味的関連テキストデータから事前学習した分子マルチモーダル基礎モデルを提案する。 我々のモデルは、生物学、化学、材料、環境、医学などの分野において、AIを動力とする分野に幅広い影響を与えるだろうと考えています。
  論文  参考訳（メタデータ） (2022-09-12T00:56:57Z)
• Molecular Contrastive Learning with Chemical Element Knowledge Graph [16.136921143416927]
  分子表現学習は、分子特性予測や薬物設計など、下流の複数のタスクに寄与する。 我々は,元素間の微視的関連を要約するケミカル要素知識グラフ(KG)を構築した。 最初のモジュールである知識誘導グラフ拡張は、ケミカル要素KGに基づいて元の分子グラフを増強する。 第2のモジュールである知識対応グラフ表現は、元の分子グラフの共通グラフエンコーダと知識対応メッセージパッシングニューラルネットワーク(KMPNN)を用いて分子表現を抽出し、拡張された分子グラフの複雑な情報をエンコードする。
  論文  参考訳（メタデータ） (2021-12-01T15:04:39Z)
• Learning Attributed Graph Representations with Communicative Message Passing Transformer [3.812358821429274]
  分子グラフ表現を改善するために,コミュニケーティブメッセージパッシングトランス (CoMPT) ニューラルネットワークを提案する。 分子を完全連結グラフとして扱う従来のトランスフォーマースタイルのGNNとは異なり、グラフ接続帰納バイアスを利用するメッセージ拡散機構を導入する。
  論文  参考訳（メタデータ） (2021-07-19T11:58:32Z)
• MolCLR: Molecular Contrastive Learning of Representations via Graph Neural Networks [11.994553575596228]
  MolCLRは、大規模なラベルなしの分子データセットのための自己監視学習フレームワークです。 原子マスキング、結合除去、サブグラフ除去の3つの新しい分子グラフ増強法を提案する。 提案手法は,多くの挑戦的データセットに対して最先端の性能を実現する。
  論文  参考訳（メタデータ） (2021-02-19T17:35:18Z)
• Advanced Graph and Sequence Neural Networks for Molecular Property Prediction and Drug Discovery [53.00288162642151]
  計算モデルや分子表現にまたがる包括的な機械学習ツール群であるMoleculeKitを開発した。 これらの表現に基づいて構築されたMoeculeKitには、ディープラーニングと、グラフとシーケンスデータのための従来の機械学習方法の両方が含まれている。 オンラインおよびオフラインの抗生物質発見と分子特性予測のタスクの結果から、MoneculeKitは以前の方法よりも一貫した改善を実現していることがわかる。
  論文  参考訳（メタデータ） (2020-12-02T02:09:31Z)
• Self-Supervised Graph Transformer on Large-Scale Molecular Data [73.3448373618865]
  分子表現学習のための新しいフレームワークGROVERを提案する。 GROVERは、分子の豊富な構造的および意味的な情報を、巨大な未標識分子データから学習することができる。 分子表現学習において、最大のGNNであり、最大のトレーニングデータセットである、1000万個の未標識分子に1億のパラメータを持つGROVERを事前訓練します。
  論文  参考訳（メタデータ） (2020-06-18T08:37:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。