論文の概要: Could Chemical LLMs benefit from Message Passing

• arxiv url: http://arxiv.org/abs/2405.08334v1
• Date: Tue, 14 May 2024 06:09:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-15 14:58:01.196110
• Title: Could Chemical LLMs benefit from Message Passing
• Title（参考訳）: ケミカルLLMはメッセージパッシングの恩恵を受けるか?
• Authors: Jiaqing Xie, Ziheng Chi,
• Abstract要約: コントラスト学習と融合という,情報統合が性能を向上させるかどうかを評価するための2つの戦略を提案する。 実験により,より小さな分子グラフに適用した場合のベースラインに比べて,積分法は優れた性能を示すことが示された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pretrained language models (LMs) showcase significant capabilities in processing molecular text, while concurrently, message passing neural networks (MPNNs) demonstrate resilience and versatility in the domain of molecular science. Despite these advancements, we find there are limited studies investigating the bidirectional interactions between molecular structures and their corresponding textual representations. Therefore, in this paper, we propose two strategies to evaluate whether an information integration can enhance the performance: contrast learning, which involves utilizing an MPNN to supervise the training of the LM, and fusion, which exploits information from both models. Our empirical analysis reveals that the integration approaches exhibit superior performance compared to baselines when applied to smaller molecular graphs, while these integration approaches do not yield performance enhancements on large scale graphs.
• Abstract（参考訳）: 事前訓練言語モデル(LM)は、分子テキストを処理する上で重要な機能を示し、同時に、メッセージパッシングニューラルネットワーク(MPNN)は、分子科学の領域におけるレジリエンスと汎用性を示している。 これらの進歩にもかかわらず、分子構造とそれに対応するテクスチャ表現の間の双方向相互作用を研究する研究は限られている。 そこで本稿では,MPNNを用いてLMのトレーニングを監督するコントラスト学習と,両モデルからの情報を活用する融合という2つの手法を提案する。 我々の経験的分析により、これらの積分法は、より小さな分子グラフに適用した場合のベースラインよりも優れた性能を示し、一方、これらの積分法は大規模グラフ上での性能向上を得られないことが明らかとなった。

関連論文リスト

• LLM and GNN are Complementary: Distilling LLM for Multimodal Graph Learning [26.980622926162933]
  マルチモーダル分子データを用いた大規模言語モデル(LLM)からの洞察を抽出する革新的なフレームワークを提案する。 マルチモーダル知識をMLP(Multilayer Perceptron)に蒸留することにより,LLMとグラフニューラルネットワーク(GNN)の機能を相乗化するフレームワークであるGALLONを紹介する。
  論文  参考訳（メタデータ） (2024-06-03T06:33:51Z)
• Data-Efficient Molecular Generation with Hierarchical Textual Inversion [48.816943690420224]
  分子生成のための階層型テキスト変換法 (HI-Mol) を提案する。 HI-Molは分子分布を理解する上での階層的情報、例えば粗い特徴ときめ細かい特徴の重要性にインスパイアされている。 単一レベルトークン埋め込みを用いた画像領域の従来のテキストインバージョン法と比較して, マルチレベルトークン埋め込みにより, 基礎となる低ショット分子分布を効果的に学習することができる。
  論文  参考訳（メタデータ） (2024-05-05T08:35:23Z)
• Contrastive Dual-Interaction Graph Neural Network for Molecular Property Prediction [0.0]
  本稿では,分子特性予測のための自己教師付きグラフニューラルネットワークフレームワークであるDIG-Molを紹介する。 DIG-Molは2つの相互接続ネットワークと運動量蒸留ネットワークを統合し、分子特性を効率的に改善する。 我々は,様々な分子特性予測タスクにおける広範囲な実験的評価により,DIG-Molの最先端性能を確立した。
  論文  参考訳（メタデータ） (2024-05-04T10:09:27Z)
• MolTC: Towards Molecular Relational Modeling In Language Models [28.960416816491392]
  分子間相互作用予測のための新しい枠組みとして,分子間相互作用予測法(分子間相互作用予測法)を提案する。 我々の実験は4000,000以上の分子対を含む様々なデータセットで実施され、現在のGNNおよびLLMベースラインよりも優れていることを示した。
  論文  参考訳（メタデータ） (2024-02-06T07:51:56Z)
• Improving Molecular Properties Prediction Through Latent Space Fusion [9.912768918657354]
  本稿では,最先端の化学モデルから導出した潜在空間を組み合わせた多視点手法を提案する。 分子構造をグラフとして表現するMHG-GNNの埋め込みと、化学言語に根ざしたMoLFormerの埋め込みである。 本稿では,既存の最先端手法と比較して,提案手法の優れた性能を示す。
  論文  参考訳（メタデータ） (2023-10-20T20:29:32Z)
• Learning Over Molecular Conformer Ensembles: Datasets and Benchmarks [45.9401235464876]
  コンフォーマーアンサンブルを用いた学習の可能性を徹底的に評価するための,最初のMoleculAR Conformer Ensemble Learningベンチマークを導入する。 その結果,コンバータ空間からの直接学習は,様々なタスクやモデルの性能を向上させることができることがわかった。
  論文  参考訳（メタデータ） (2023-09-29T20:06:46Z)
• MA2CL:Masked Attentive Contrastive Learning for Multi-Agent Reinforcement Learning [128.19212716007794]
  我々はtextbfMulti-textbfAgent textbfMasked textbfAttentive textbfContrastive textbfLearning (MA2CL) という効果的なフレームワークを提案する。 MA2CLは、潜伏空間におけるマスクされたエージェント観察を再構築することにより、時間的およびエージェントレベルの予測の両方の学習表現を奨励する。 提案手法は,様々なMARLアルゴリズムの性能とサンプル効率を大幅に向上させ,様々な視覚的,状態的シナリオにおいて,他の手法よりも優れる。
  論文  参考訳（メタデータ） (2023-06-03T05:32:19Z)
• A Molecular Multimodal Foundation Model Associating Molecule Graphs with Natural Language [63.60376252491507]
  本稿では,分子グラフとその意味的関連テキストデータから事前学習した分子マルチモーダル基礎モデルを提案する。 我々のモデルは、生物学、化学、材料、環境、医学などの分野において、AIを動力とする分野に幅広い影響を与えるだろうと考えています。
  論文  参考訳（メタデータ） (2022-09-12T00:56:57Z)
• Self-Supervised Graph Transformer on Large-Scale Molecular Data [73.3448373618865]
  分子表現学習のための新しいフレームワークGROVERを提案する。 GROVERは、分子の豊富な構造的および意味的な情報を、巨大な未標識分子データから学習することができる。 分子表現学習において、最大のGNNであり、最大のトレーニングデータセットである、1000万個の未標識分子に1億のパラメータを持つGROVERを事前訓練します。
  論文  参考訳（メタデータ） (2020-06-18T08:37:04Z)
• Multi-View Graph Neural Networks for Molecular Property Prediction [67.54644592806876]
  マルチビューグラフニューラルネットワーク(MV-GNN)を提案する。 MV-GNNでは,学習過程を安定させるために,自己注意型読み出しコンポーネントと不一致損失を導入する。 我々は、相互依存型メッセージパッシング方式を提案することにより、MV-GNNの表現力をさらに強化する。
  論文  参考訳（メタデータ） (2020-05-17T04:46:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。