Fugu-MT 論文翻訳(概要): MolX: Enhancing Large Language Models for Molecular Learning with A Multi-Modal Extension

論文の概要: MolX: Enhancing Large Language Models for Molecular Learning with A Multi-Modal Extension

arxiv url: http://arxiv.org/abs/2406.06777v4
Date: Thu, 22 Aug 2024 02:06:31 GMT
ステータス: 処理完了
システム内更新日: 2024-08-23 19:05:52.030491
Title: MolX: Enhancing Large Language Models for Molecular Learning with A Multi-Modal Extension
Title（参考訳）: MolX: マルチモーダル拡張による分子学習のための大規模言語モデルの実現
Authors: Khiem Le, Zhichun Guo, Kaiwen Dong, Xiaobao Huang, Bozhao Nan, Roshni Iyer, Xiangliang Zhang, Olaf Wiest, Wei Wang, Nitesh V. Chawla,
Abstract要約: タスクハンドリング能力の強い大規模言語モデル(LLM)は、様々な分野において顕著な進歩を見せている。本研究は、分子をマルチモーダルな外部モジュール、すなわちMollXに装備することで、分子の理解能力を高めることを目的とする。特に,分子の表現にSMILES文字列を直接使用する代わりに,特定のエンコーダを用いて,SMILES文字列と2次元分子グラフ表現の両方から微細な特徴を抽出する。
参考スコア（独自算出の注目度）: 34.586861881519134
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Large Language Models (LLMs) with their strong task-handling capabilities have shown remarkable advancements across a spectrum of fields, moving beyond natural language understanding. However, their proficiency within the chemistry domain remains restricted, especially in solving professional molecule-related tasks. This challenge is attributed to their inherent limitations in comprehending molecules using only common textual representations, i.e., SMILES strings. In this study, we seek to enhance the ability of LLMs to comprehend molecules by equipping them with a multi-modal external module, namely MolX. In particular, instead of directly using a SMILES string to represent a molecule, we utilize specific encoders to extract fine-grained features from both SMILES string and 2D molecular graph representations for feeding into an LLM. Moreover, a handcrafted molecular fingerprint is incorporated to leverage its embedded domain knowledge. Then, to establish an alignment between MolX and the LLM's textual input space, the whole model in which the LLM is frozen, is pre-trained with a versatile strategy including a diverse set of tasks. Experimental evaluations show that our proposed method outperforms baselines across 4 downstream molecule-related tasks ranging from molecule-to-text translation to retrosynthesis, with and without fine-tuning the LLM, while only introducing a small number of trainable parameters 0.53% and 0.82%, respectively.
Abstract（参考訳）: タスクハンドリング能力の強い大規模言語モデル(LLM)は、自然言語理解を超えて、さまざまな分野に顕著な進歩を見せている。しかしながら、化学領域におけるそれらの能力は、特にプロの分子関連タスクの解決において制限されている。この課題は、共通テキスト表現(SMILES文字列)のみを用いた分子の解釈における固有の制限に起因する。本研究では,マルチモーダルな外部モジュール,すなわちMollXを組み込むことにより,分子の理解能力を高めることを目的とする。特に,分子の表現にSMILES文字列を直接使用する代わりに,特定のエンコーダを用いてSMILES文字列と2次元分子グラフ表現の両方から微細な特徴を抽出し,LLMに入力する。さらに、その埋め込みドメイン知識を活用するために、手作りの分子指紋が組み込まれている。次に、LLMが凍結されたモールXとLLMのテキスト入力空間のアライメントを確立するために、多種多様なタスクを含む多目的戦略を用いて、LLM全体を事前訓練する。実験により, 本手法は, LLMを微調整することなく, 分子間翻訳からレトロシンセシスまでの4つの下流分子関連タスクにおいて, それぞれ0.53%, 0.82%のトレーニングパラメータしか導入せず, ベースラインよりも優れた性能を示した。

関連論文リスト

MolCap-Arena: A Comprehensive Captioning Benchmark on Language-Enhanced Molecular Property Prediction [44.27112553103388]
分子特性予測を拡張した大規模言語モデル(LLM)の最初の包括的なベンチマークである分子キャプションアリーナを提示する。汎用分子キャプタとドメイン特異的分子キャプタを含む20以上のLDMを,様々な予測タスクで評価した。以上の結果から,LLM抽出した知識が最先端の分子表現を向上する可能性が示唆された。
論文参考訳（メタデータ） (2024-11-01T17:03:16Z)
FARM: Functional Group-Aware Representations for Small Molecules [55.281754551202326]
小型分子のための機能的グループ認識表現(FARM)について紹介する。 FARMはSMILES、自然言語、分子グラフのギャップを埋めるために設計された基礎モデルである。 MoleculeNetデータセット上でFARMを厳格に評価し、12タスク中10タスクで最先端のパフォーマンスを実現しています。
論文参考訳（メタデータ） (2024-10-02T23:04:58Z)
UniMoT: Unified Molecule-Text Language Model with Discrete Token Representation [35.51027934845928]
トークン化アーキテクチャを採用した統一分子テキストLLMであるUniMoTを紹介する。ベクトル量子化駆動型トークン化器は、分子を因果依存性を持つ分子トークンの配列に変換する。 UniMoTは、分子間テキストとテキスト間タスクの両方を実行するマルチモーダル・ジェネラリストとして登場した。
論文参考訳（メタデータ） (2024-08-01T18:31:31Z)
Many-Shot In-Context Learning for Molecular Inverse Design [56.65345962071059]
大規模言語モデル(LLM)は、数ショットのインコンテキスト学習(ICL)において、優れたパフォーマンスを示している。マルチショットICLで利用可能な実験データの不足を克服する,新しい半教師付き学習手法を開発した。示すように、この新しい手法は、既存の分子設計のためのICL法を大幅に改善し、科学者にとってアクセスしやすく、使いやすくする。
論文参考訳（メタデータ） (2024-07-26T21:10:50Z)
LDMol: Text-to-Molecule Diffusion Model with Structurally Informative Latent Space [55.5427001668863]
テキスト条件付き分子生成のための遅延拡散モデル LDMol を提案する。 LDMolは、学習可能で構造的に有意な特徴空間を生成する分子オートエンコーダを含む。我々は,LDMolを分子間検索やテキスト誘導分子編集などの下流タスクに適用できることを示す。
論文参考訳（メタデータ） (2024-05-28T04:59:13Z)
Instruction Multi-Constraint Molecular Generation Using a Teacher-Student Large Language Model [49.64512917330373]
本稿では,学生に類似した多制約分子生成大言語モデルTSMMGを紹介する。 TSMMGを訓練するために、これらの「教師」から分子知識を抽出し、大量のテキスト-分子対を構築する。我々は,TSMMGが複雑で自然言語で記述された特性を満たす分子を生成できることを実験的に明らかにした。
論文参考訳（メタデータ） (2024-03-20T02:15:55Z)
Large Language Models are In-Context Molecule Learners [22.06735237464927]
我々は,LLMが文脈例から分子文アライメントを学習できる新しいパラダイムとして,In-Context Molecule Adaptation (ICMA)を提案する。 ICMAは、Hybrid Context Retrieval、Post-Retrieval Re- rank、In-context Molecule Tuningの3つのステージを組み込んでいる。 ICMTは、余分な訓練コーパスや複雑な構造を伴わずに、LLMに最先端または同等のパフォーマンスを実現することができることを示す。
論文参考訳（メタデータ） (2024-03-07T03:58:28Z)
Can Large Language Models Empower Molecular Property Prediction? [16.5246941211725]
分子特性の予測は、科学分野における形質転換の可能性によって大きな注目を集めている。近年,Large Language Models (LLMs) が急速に発展し,NLPの分野に革命をもたらした。本研究では、ゼロ/フェーショットの分子分類と、LLMによって生成された新しい説明を分子の表現として用いるという2つの視点を通して、この目的に向けて前進する。
論文参考訳（メタデータ） (2023-07-14T16:06:42Z)
Empowering Molecule Discovery for Molecule-Caption Translation with Large Language Models: A ChatGPT Perspective [53.300288393173204]
大規模言語モデル(LLM)は、様々なクロスモーダルタスクにおいて顕著なパフォーマンスを示している。本研究では,分子カプセル翻訳のためのインコンテキストFew-Shot Molecule Learningパラダイムを提案する。分子理解とテキストベースの分子生成を含む分子キャプション翻訳におけるMollReGPTの有効性を評価する。
論文参考訳（メタデータ） (2023-06-11T08:16:25Z)
A Molecular Multimodal Foundation Model Associating Molecule Graphs with Natural Language [63.60376252491507]
本稿では,分子グラフとその意味的関連テキストデータから事前学習した分子マルチモーダル基礎モデルを提案する。我々のモデルは、生物学、化学、材料、環境、医学などの分野において、AIを動力とする分野に幅広い影響を与えるだろうと考えています。
論文参考訳（メタデータ） (2022-09-12T00:56:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。