論文の概要: LLM and GNN are Complementary: Distilling LLM for Multimodal Graph Learning

• arxiv url: http://arxiv.org/abs/2406.01032v1
• Date: Mon, 3 Jun 2024 06:33:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 02:17:50.685352
• Title: LLM and GNN are Complementary: Distilling LLM for Multimodal Graph Learning
• Title（参考訳）: LLMとGNNは補完的:マルチモーダルグラフ学習のためのLLMを蒸留する
• Authors: Junjie Xu, Zongyu Wu, Minhua Lin, Xiang Zhang, Suhang Wang,
• Abstract要約: マルチモーダル分子データを用いた大規模言語モデル(LLM)からの洞察を抽出する革新的なフレームワークを提案する。 マルチモーダル知識をMLP(Multilayer Perceptron)に蒸留することにより,LLMとグラフニューラルネットワーク(GNN)の機能を相乗化するフレームワークであるGALLONを紹介する。
• 参考スコア（独自算出の注目度）: 26.980622926162933
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Recent progress in Graph Neural Networks (GNNs) has greatly enhanced the ability to model complex molecular structures for predicting properties. Nevertheless, molecular data encompasses more than just graph structures, including textual and visual information that GNNs do not handle well. To bridge this gap, we present an innovative framework that utilizes multimodal molecular data to extract insights from Large Language Models (LLMs). We introduce GALLON (Graph Learning from Large Language Model Distillation), a framework that synergizes the capabilities of LLMs and GNNs by distilling multimodal knowledge into a unified Multilayer Perceptron (MLP). This method integrates the rich textual and visual data of molecules with the structural analysis power of GNNs. Extensive experiments reveal that our distilled MLP model notably improves the accuracy and efficiency of molecular property predictions.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)の最近の進歩は、複雑な分子構造をモデル化して特性を予測する能力を大幅に強化している。 それでも、分子データは、GNNがうまく扱えないテキスト情報や視覚情報を含む、単なるグラフ構造以上のものを含んでいる。 このギャップを埋めるために,マルチモーダルな分子データを用いてLarge Language Models (LLMs) から洞察を抽出する,革新的なフレームワークを提案する。 GALLON(Graph Learning from Large Language Model Distillation)は,マルチモーダル知識をMLP(Multilayer Perceptron)に統合することにより,LLMとGNNの能力を相乗化するフレームワークである。 本手法は、分子のリッチテキストデータと視覚データと、GNNの構造解析能力を統合する。 大規模実験により, 蒸留MLPモデルにより, 分子特性予測の精度と効率が著しく向上することが明らかとなった。

関連論文リスト

• Molecular Graph Representation Learning via Structural Similarity Information [11.38130169319915]
  我々は新しい分子グラフ表現学習法である textbf Structure similarity Motif GNN (MSSM-GNN) を紹介する。 特に,分子間の類似性を定量的に表現するために,グラフカーネルアルゴリズムを利用した特殊設計グラフを提案する。 我々はGNNを用いて分子グラフから特徴表現を学習し、追加の分子表現情報を組み込むことで特性予測の精度を高めることを目的としている。
  論文  参考訳（メタデータ） (2024-09-13T06:59:10Z)
• Cross-Modal Learning for Chemistry Property Prediction: Large Language Models Meet Graph Machine Learning [0.0]
  グラフニューラルネットワーク(GNN)の分析能力と大規模言語モデル(LLM)の言語生成・予測能力を利用する多モード融合(MMF)フレームワークを提案する。 本フレームワークは,グラフ構造化データのモデリングにおけるGNNの有効性とLLMのゼロショットおよび少数ショット学習能力を組み合わせることにより,オーバーフィッティングのリスクを低減し,予測の改善を実現する。
  論文  参考訳（メタデータ） (2024-08-27T11:10:39Z)
• All Against Some: Efficient Integration of Large Language Models for Message Passing in Graph Neural Networks [51.19110891434727]
  事前訓練された知識と強力なセマンティック理解能力を持つ大規模言語モデル(LLM)は、最近、視覚とテキストデータを使用してアプリケーションに恩恵をもたらす顕著な能力を示している。 E-LLaGNNは、グラフから限られたノード数を増やして、グラフ学習のメッセージパッシング手順を強化するオンデマンドLLMサービスを備えたフレームワークである。
  論文  参考訳（メタデータ） (2024-07-20T22:09:42Z)
• MolTC: Towards Molecular Relational Modeling In Language Models [28.960416816491392]
  分子間相互作用予測のための新しい枠組みとして,分子間相互作用予測法(分子間相互作用予測法)を提案する。 我々の実験は4000,000以上の分子対を含む様々なデータセットで実施され、現在のGNNおよびLLMベースラインよりも優れていることを示した。
  論文  参考訳（メタデータ） (2024-02-06T07:51:56Z)
• Implicit Geometry and Interaction Embeddings Improve Few-Shot Molecular Property Prediction [53.06671763877109]
  我々は, 複雑な分子特性を符号化した分子埋め込みを開発し, 数発の分子特性予測の性能を向上させる。 我々の手法は大量の合成データ、すなわち分子ドッキング計算の結果を利用する。 複数の分子特性予測ベンチマークでは、埋め込み空間からのトレーニングにより、マルチタスク、MAML、プロトタイプラーニング性能が大幅に向上する。
  論文  参考訳（メタデータ） (2023-02-04T01:32:40Z)
• Graph neural networks for the prediction of molecular structure-property relationships [59.11160990637615]
  グラフニューラルネットワーク(GNN)は、分子グラフ上で直接動作する新しい機械学習手法である。 GNNは、エンドツーエンドでプロパティを学習できるため、情報記述子の必要性を回避することができる。 本稿では、分子特性予測のための2つの例を通して、GNNの基礎を説明し、GNNの応用を実証する。
  論文  参考訳（メタデータ） (2022-07-25T11:30:44Z)
• Do Large Scale Molecular Language Representations Capture Important Structural Information? [31.76876206167457]
  本稿では,MoLFormerと呼ばれる効率的なトランスフォーマーエンコーダモデルのトレーニングにより得られた分子埋め込みについて述べる。 実験の結果,グラフベースおよび指紋ベースによる教師付き学習ベースラインと比較して,学習された分子表現が競合的に機能することが確認された。
  論文  参考訳（メタデータ） (2021-06-17T14:33:55Z)
• Few-Shot Graph Learning for Molecular Property Prediction [46.60746023179724]
  分子特性予測の新しいモデルであるMeta-MGNNを提案する。 ラベルのない分子情報を利用するため、Meta-MGNNはさらに分子構造、属性ベースの自己監視モジュール、および自己注意のタスクウェイトを組み込む。 2つの公開マルチプロパティデータセットに関する広範な実験は、Meta-MGNNがさまざまな最先端のメソッドを上回っていることを示しています。
  論文  参考訳（メタデータ） (2021-02-16T01:55:34Z)
• Self-Supervised Graph Transformer on Large-Scale Molecular Data [73.3448373618865]
  分子表現学習のための新しいフレームワークGROVERを提案する。 GROVERは、分子の豊富な構造的および意味的な情報を、巨大な未標識分子データから学習することができる。 分子表現学習において、最大のGNNであり、最大のトレーニングデータセットである、1000万個の未標識分子に1億のパラメータを持つGROVERを事前訓練します。
  論文  参考訳（メタデータ） (2020-06-18T08:37:04Z)
• Multi-View Graph Neural Networks for Molecular Property Prediction [67.54644592806876]
  マルチビューグラフニューラルネットワーク(MV-GNN)を提案する。 MV-GNNでは,学習過程を安定させるために,自己注意型読み出しコンポーネントと不一致損失を導入する。 我々は、相互依存型メッセージパッシング方式を提案することにより、MV-GNNの表現力をさらに強化する。
  論文  参考訳（メタデータ） (2020-05-17T04:46:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。