論文の概要: Cross-Modal Learning for Chemistry Property Prediction: Large Language Models Meet Graph Machine Learning
- arxiv url: http://arxiv.org/abs/2408.14964v1
- Date: Tue, 27 Aug 2024 11:10:39 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-28 14:03:31.963644
- Title: Cross-Modal Learning for Chemistry Property Prediction: Large Language Models Meet Graph Machine Learning
- Title（参考訳）: 化学特性予測のためのクロスモーダル学習:大規模言語モデルとグラフ機械学習
- Authors: Sakhinana Sagar Srinivas, Venkataramana Runkana,
- Abstract要約: グラフニューラルネットワーク(GNN)の分析能力と大規模言語モデル(LLM)の言語生成・予測能力を利用する多モード融合(MMF)フレームワークを提案する。
本フレームワークは,グラフ構造化データのモデリングにおけるGNNの有効性とLLMのゼロショットおよび少数ショット学習能力を組み合わせることにより,オーバーフィッティングのリスクを低減し,予測の改善を実現する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: In the field of chemistry, the objective is to create novel molecules with desired properties, facilitating accurate property predictions for applications such as material design and drug screening. However, existing graph deep learning methods face limitations that curb their expressive power. To address this, we explore the integration of vast molecular domain knowledge from Large Language Models (LLMs) with the complementary strengths of Graph Neural Networks (GNNs) to enhance performance in property prediction tasks. We introduce a Multi-Modal Fusion (MMF) framework that synergistically harnesses the analytical prowess of GNNs and the linguistic generative and predictive abilities of LLMs, thereby improving accuracy and robustness in predicting molecular properties. Our framework combines the effectiveness of GNNs in modeling graph-structured data with the zero-shot and few-shot learning capabilities of LLMs, enabling improved predictions while reducing the risk of overfitting. Furthermore, our approach effectively addresses distributional shifts, a common challenge in real-world applications, and showcases the efficacy of learning cross-modal representations, surpassing state-of-the-art baselines on benchmark datasets for property prediction tasks.
- Abstract（参考訳）: 化学の分野では、材料設計や薬物スクリーニングといった応用における正確な特性予測を容易にし、望ましい性質を持つ新規分子を作ることが目的である。
しかし、既存のグラフ深層学習手法は、表現力を制限する限界に直面している。
そこで本稿では,大規模言語モデル(LLMs)とグラフニューラルネットワーク(GNNs)の相補的長所を統合し,特性予測タスクの性能向上を図る。
我々は,GNNの分析能力とLLMの言語生成・予測能力を相乗的に活用し,分子特性の予測における精度と堅牢性を向上する多モード融合(MMF)フレームワークを提案する。
本フレームワークは,グラフ構造化データのモデリングにおけるGNNの有効性とLLMのゼロショットおよび少数ショット学習能力を組み合わせることにより,オーバーフィッティングのリスクを低減し,予測の改善を実現する。
さらに,本手法は,実世界のアプリケーションにおいて共通の課題である分散シフトを効果的に処理し,プロパティ予測タスクのベンチマークデータセット上で,最先端のベースラインを超越したクロスモーダル表現の学習の有効性を示す。
関連論文リスト
- All Against Some: Efficient Integration of Large Language Models for Message Passing in Graph Neural Networks [51.19110891434727]
事前訓練された知識と強力なセマンティック理解能力を持つ大規模言語モデル(LLM)は、最近、視覚とテキストデータを使用してアプリケーションに恩恵をもたらす顕著な能力を示している。
E-LLaGNNは、グラフから限られたノード数を増やして、グラフ学習のメッセージパッシング手順を強化するオンデマンドLLMサービスを備えたフレームワークである。
論文 参考訳（メタデータ） (2024-07-20T22:09:42Z) - LLM and GNN are Complementary: Distilling LLM for Multimodal Graph Learning [26.980622926162933]
マルチモーダル分子データを用いた大規模言語モデル(LLM)からの洞察を抽出する革新的なフレームワークを提案する。
マルチモーダル知識をMLP(Multilayer Perceptron)に蒸留することにより,LLMとグラフニューラルネットワーク(GNN)の機能を相乗化するフレームワークであるGALLONを紹介する。
論文 参考訳（メタデータ） (2024-06-03T06:33:51Z) - Could Chemical LLMs benefit from Message Passing [0.0]
コントラスト学習と融合という,情報統合が性能を向上させるかどうかを評価するための2つの戦略を提案する。
実験により,より小さな分子グラフに適用した場合のベースラインに比べて,積分法は優れた性能を示すことが示された。
論文 参考訳（メタデータ） (2024-05-14T06:09:08Z) - Contrastive Dual-Interaction Graph Neural Network for Molecular Property Prediction [0.0]
本稿では,分子特性予測のための自己教師付きグラフニューラルネットワークフレームワークであるDIG-Molを紹介する。
DIG-Molは2つの相互接続ネットワークと運動量蒸留ネットワークを統合し、分子特性を効率的に改善する。
我々は,様々な分子特性予測タスクにおける広範囲な実験的評価により,DIG-Molの最先端性能を確立した。
論文 参考訳（メタデータ） (2024-05-04T10:09:27Z) - A Generative Self-Supervised Framework using Functional Connectivity in
fMRI Data [15.211387244155725]
機能的磁気共鳴イメージング(fMRI)データから抽出した機能的接続性(FC)ネットワークを訓練したディープニューラルネットワークが人気を博している。
グラフニューラルネットワーク(GNN)のFCへの適用に関する最近の研究は、FCの時間変化特性を活用することにより、モデル予測の精度と解釈可能性を大幅に向上させることができることを示唆している。
高品質なfMRIデータとそれに対応するラベルを取得するための高コストは、実環境において彼らのアプリケーションにハードルをもたらす。
本研究では,動的FC内の時間情報を効果的に活用するためのSSL生成手法を提案する。
論文 参考訳（メタデータ） (2023-12-04T16:14:43Z) - Disentangled Representation Learning with Large Language Models for
Text-Attributed Graphs [57.052160123387104]
本稿では,TAGに対するLLMの推論と予測能力を向上させることができるDGTLモデルを提案する。
提案するDGTLモデルでは, グラフ構造情報をGNN層に組み込む。
実験により,提案したDGTLモデルにより,最先端のベースラインよりも優れた性能,あるいは同等の性能が得られることを示した。
論文 参考訳（メタデータ） (2023-10-27T14:00:04Z) - In-Context Learning for Few-Shot Molecular Property Prediction [56.67309268480843]
本稿では,文脈内学習の基盤となる概念に適応し,数発の分子特性予測のための新しいアルゴリズムを開発する。
提案手法は分子特性を(分子, 特性測定)ペアの文脈から予測することを学び, 微調整をせずに新しい性質に迅速に適応する。
論文 参考訳（メタデータ） (2023-10-13T05:12:48Z) - Graph neural networks for the prediction of molecular structure-property
relationships [59.11160990637615]
グラフニューラルネットワーク(GNN)は、分子グラフ上で直接動作する新しい機械学習手法である。
GNNは、エンドツーエンドでプロパティを学習できるため、情報記述子の必要性を回避することができる。
本稿では、分子特性予測のための2つの例を通して、GNNの基礎を説明し、GNNの応用を実証する。
論文 参考訳（メタデータ） (2022-07-25T11:30:44Z) - Few-Shot Graph Learning for Molecular Property Prediction [46.60746023179724]
分子特性予測の新しいモデルであるMeta-MGNNを提案する。
ラベルのない分子情報を利用するため、Meta-MGNNはさらに分子構造、属性ベースの自己監視モジュール、および自己注意のタスクウェイトを組み込む。
2つの公開マルチプロパティデータセットに関する広範な実験は、Meta-MGNNがさまざまな最先端のメソッドを上回っていることを示しています。
論文 参考訳（メタデータ） (2021-02-16T01:55:34Z) - Multi-View Graph Neural Networks for Molecular Property Prediction [67.54644592806876]
マルチビューグラフニューラルネットワーク(MV-GNN)を提案する。
MV-GNNでは,学習過程を安定させるために,自己注意型読み出しコンポーネントと不一致損失を導入する。
我々は、相互依存型メッセージパッシング方式を提案することにより、MV-GNNの表現力をさらに強化する。
論文 参考訳（メタデータ） (2020-05-17T04:46:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。