論文の概要: MolecularGPT: Open Large Language Model (LLM) for Few-Shot Molecular Property Prediction
- arxiv url: http://arxiv.org/abs/2406.12950v2
- Date: Fri, 18 Oct 2024 12:19:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-21 14:23:31.886230
- Title: MolecularGPT: Open Large Language Model (LLM) for Few-Shot Molecular Property Prediction
- Title（参考訳）: MolecularGPT:Few-Shot分子特性予測のためのオープン大言語モデル(LLM)
- Authors: Yuyan Liu, Sirui Ding, Sheng Zhou, Wenqi Fan, Qiaoyu Tan,
- Abstract要約: 数発の分子特性予測のための分子GPTを提案する。
10のダウンストリーム評価データセットで競合するコンテキスト内推論機能を示す。
また、最先端のLCMベースラインを最大15.7%増加させ、ゼロショット下の回帰指標(例えばRMSE)で17.9減少させる。
- 参考スコア（独自算出の注目度）: 20.92779223471019
- License:
- Abstract: Molecular property prediction (MPP) is a fundamental and crucial task in drug discovery. However, prior methods are limited by the requirement for a large number of labeled molecules and their restricted ability to generalize for unseen and new tasks, both of which are essential for real-world applications. To address these challenges, we present MolecularGPT for few-shot MPP. From a perspective on instruction tuning, we fine-tune large language models (LLMs) based on curated molecular instructions spanning over 1000 property prediction tasks. This enables building a versatile and specialized LLM that can be adapted to novel MPP tasks without any fine-tuning through zero- and few-shot in-context learning (ICL). MolecularGPT exhibits competitive in-context reasoning capabilities across 10 downstream evaluation datasets, setting new benchmarks for few-shot molecular prediction tasks. More importantly, with just two-shot examples, MolecularGPT can outperform standard supervised graph neural network methods on 4 out of 7 datasets. It also excels state-of-the-art LLM baselines by up to 15.7% increase on classification accuracy and decrease of 17.9 on regression metrics (e.g., RMSE) under zero-shot. This study demonstrates the potential of LLMs as effective few-shot molecular property predictors. The code is available at https://github.com/NYUSHCS/MolecularGPT.
- Abstract（参考訳）: 分子特性予測(MPP)は、薬物発見の根本的で重要な課題である。
しかし、先行手法は、多数のラベル付き分子の要求と、それらが目に見えない新しいタスクを一般化する能力によって制限されている。
これらの課題に対処するために,数ショットMPPの分子GPTを提案する。
命令チューニングの観点からは,1000以上の特性予測タスクにまたがる分子インストラクションに基づいて,大規模言語モデル(LLM)を微調整する。
これにより、ゼロショットと少数ショットのインコンテキスト学習(ICL)を介さずに、新しいMPPタスクに適応できる汎用的で専門的なLSMを構築することができる。
MolecularGPTは、10の下流評価データセットで競合するコンテキスト内推論機能を示し、数ショットの分子予測タスクのための新しいベンチマークを設定している。
さらに重要なのは、たった2ショットの例では、7つのデータセットのうち4つで、標準的な教師付きグラフニューラルネットワークの手法より優れていることだ。
また、最先端のLCMベースラインを最大15.7%向上させ、ゼロショット下の回帰指標(例えばRMSE)で17.9の減少を達成している。
本研究は、LLMが効果的な数発の分子特性予測因子としての可能性を示す。
コードはhttps://github.com/NYUSHCS/MolecularGPTで公開されている。
関連論文リスト
- Two-Stage Pretraining for Molecular Property Prediction in the Wild [38.31911435361748]
野生の様々な分子特性予測のために設計された多目的事前学習モデルであるMoleVersを紹介する。
MoleVersは、マスクされた原子予測と動的復調を通じて、大きなラベルのないデータセットから表現を学習する。
第2段階では、MoleVersはさらに安価な計算手法で得られた補助ラベルを用いて事前訓練される。
論文 参考訳（メタデータ） (2024-11-05T22:36:17Z) - Pre-trained Molecular Language Models with Random Functional Group Masking [54.900360309677794]
SMILESをベースとしたアンダーリネム分子アンダーリネム言語アンダーリネムモデルを提案し,特定の分子原子に対応するSMILESサブシーケンスをランダムにマスキングする。
この技術は、モデルに分子構造や特性をよりよく推測させ、予測能力を高めることを目的としている。
論文 参考訳（メタデータ） (2024-11-03T01:56:15Z) - Can Large Language Models Empower Molecular Property Prediction? [16.5246941211725]
分子特性の予測は、科学分野における形質転換の可能性によって大きな注目を集めている。
近年,Large Language Models (LLMs) が急速に発展し,NLPの分野に革命をもたらした。
本研究では、ゼロ/フェーショットの分子分類と、LLMによって生成された新しい説明を分子の表現として用いるという2つの視点を通して、この目的に向けて前進する。
論文 参考訳（メタデータ） (2023-07-14T16:06:42Z) - Empowering Molecule Discovery for Molecule-Caption Translation with Large Language Models: A ChatGPT Perspective [53.300288393173204]
大規模言語モデル(LLM)は、様々なクロスモーダルタスクにおいて顕著なパフォーマンスを示している。
本研究では,分子カプセル翻訳のためのインコンテキストFew-Shot Molecule Learningパラダイムを提案する。
分子理解とテキストベースの分子生成を含む分子キャプション翻訳におけるMollReGPTの有効性を評価する。
論文 参考訳（メタデータ） (2023-06-11T08:16:25Z) - Implicit Geometry and Interaction Embeddings Improve Few-Shot Molecular
Property Prediction [53.06671763877109]
我々は, 複雑な分子特性を符号化した分子埋め込みを開発し, 数発の分子特性予測の性能を向上させる。
我々の手法は大量の合成データ、すなわち分子ドッキング計算の結果を利用する。
複数の分子特性予測ベンチマークでは、埋め込み空間からのトレーニングにより、マルチタスク、MAML、プロトタイプラーニング性能が大幅に向上する。
論文 参考訳（メタデータ） (2023-02-04T01:32:40Z) - MolCPT: Molecule Continuous Prompt Tuning to Generalize Molecular
Representation Learning [77.31492888819935]
分子表現学習のための「プリトレイン,プロンプト,ファインチューン」という新しいパラダイム,分子連続プロンプトチューニング(MolCPT)を提案する。
MolCPTは、事前訓練されたモデルを使用して、スタンドアロンの入力を表現的なプロンプトに投影するモチーフプロンプト関数を定義する。
いくつかのベンチマークデータセットの実験により、MollCPTは分子特性予測のために学習済みのGNNを効率的に一般化することが示された。
論文 参考訳（メタデータ） (2022-12-20T19:32:30Z) - Do Large Scale Molecular Language Representations Capture Important
Structural Information? [31.76876206167457]
本稿では,MoLFormerと呼ばれる効率的なトランスフォーマーエンコーダモデルのトレーニングにより得られた分子埋め込みについて述べる。
実験の結果,グラフベースおよび指紋ベースによる教師付き学習ベースラインと比較して,学習された分子表現が競合的に機能することが確認された。
論文 参考訳（メタデータ） (2021-06-17T14:33:55Z) - Few-Shot Graph Learning for Molecular Property Prediction [46.60746023179724]
分子特性予測の新しいモデルであるMeta-MGNNを提案する。
ラベルのない分子情報を利用するため、Meta-MGNNはさらに分子構造、属性ベースの自己監視モジュール、および自己注意のタスクウェイトを組み込む。
2つの公開マルチプロパティデータセットに関する広範な実験は、Meta-MGNNがさまざまな最先端のメソッドを上回っていることを示しています。
論文 参考訳（メタデータ） (2021-02-16T01:55:34Z) - Learn molecular representations from large-scale unlabeled molecules for
drug discovery [19.222413268610808]
分子プレトレーニンググラフベースのディープラーニングフレームワークmpgは、大規模なラベルなし分子から分子表現を頼りにする。
molgnetは、解釈可能な表現を生み出すために貴重な化学的洞察を捉えることができる。
MPGは、薬物発見パイプラインにおける新しいアプローチになることを約束している。
論文 参考訳（メタデータ） (2020-12-21T08:21:49Z) - MIMOSA: Multi-constraint Molecule Sampling for Molecule Optimization [51.00815310242277]
生成モデルと強化学習アプローチは、最初の成功をおさめたが、複数の薬物特性を同時に最適化する上で、依然として困難に直面している。
本稿では,MultI-Constraint MOlecule SAmpling (MIMOSA)アプローチ,初期推定として入力分子を用いるサンプリングフレームワーク,ターゲット分布からのサンプル分子を提案する。
論文 参考訳（メタデータ） (2020-10-05T20:18:42Z) - Self-Supervised Graph Transformer on Large-Scale Molecular Data [73.3448373618865]
分子表現学習のための新しいフレームワークGROVERを提案する。
GROVERは、分子の豊富な構造的および意味的な情報を、巨大な未標識分子データから学習することができる。
分子表現学習において、最大のGNNであり、最大のトレーニングデータセットである、1000万個の未標識分子に1億のパラメータを持つGROVERを事前訓練します。
論文 参考訳（メタデータ） (2020-06-18T08:37:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。