論文の概要: Mol-LLM: Generalist Molecular LLM with Improved Graph Utilization

• arxiv url: http://arxiv.org/abs/2502.02810v1
• Date: Wed, 05 Feb 2025 01:14:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-06 14:28:01.330519
• Title: Mol-LLM: Generalist Molecular LLM with Improved Graph Utilization
• Title（参考訳）: Mol-LLM: グラフ利用を改良した一般分子LCM
• Authors: Chanhui Lee, Yuheon Song, YongJun Jeong, Hanbum Ko, Rodrigo Hormazabal, Sehui Han, Kyunghoon Bae, Sungbin Lim, Sungwoong Kim,
• Abstract要約: LLM(Large Language Models)は、分子タスクのための一般的なLLMの開発を動機付けている。 ナイーブな次世代予測トレーニングで訓練されたLSMは、元の分子と崩壊した分子の両方に同様の確率スコアを割り当てる。 本稿では, 徹底的なマルチモーダル命令チューニングと分子構造選好最適化に基づく新しいマルチモーダルトレーニング手法を提案する。
• 参考スコア（独自算出の注目度）: 8.846705148987652
• License:
• Abstract: Recent advances in Large Language Models (LLMs) have motivated the development of general LLMs for molecular tasks. While several studies have demonstrated that fine-tuned LLMs can achieve impressive benchmark performances, they are far from genuine generalist molecular LLMs due to a lack of fundamental understanding of molecular structure. Specifically, when given molecular task instructions, LLMs trained with naive next-token prediction training assign similar likelihood scores to both original and negatively corrupted molecules, revealing their lack of molecular structure understanding that is crucial for reliable and general molecular LLMs. To overcome this limitation and obtain a true generalist molecular LLM, we introduce a novel multi-modal training method based on a thorough multi-modal instruction tuning as well as a molecular structure preference optimization between chosen and rejected graphs. On various molecular benchmarks, the proposed generalist molecular LLM, called Mol-LLM, achieves state-of-the-art performances among generalist LLMs on most tasks, at the same time, surpassing or comparable to state-of-the-art specialist LLMs. Moreover, Mol-LLM also shows superior generalization performances in reaction prediction tasks, demonstrating the effect of the molecular structure understanding for generalization perspective.
• Abstract（参考訳）: LLM(Large Language Models)の最近の進歩は、分子タスクのための一般的なLLMの開発を動機付けている。 いくつかの研究は、微調整LDMが優れたベンチマーク性能を達成できることを示したが、分子構造に関する根本的な理解が欠如していることから、真のジェネラリスト分子LSMとは程遠い。 特に、分子タスクの指示が与えられた場合、Next-token予測トレーニングで訓練されたLLMは、元の分子と負の分子の両方に類似の確率スコアを割り当て、信頼性と一般的な分子のLLMに不可欠な分子構造理解の欠如を明らかにした。 この制限を克服し、真のジェネラリスト分子LLMを得るため、選択されたグラフと拒否されたグラフ間の分子構造優先最適化と同様に、徹底的なマルチモーダル命令チューニングに基づく新しいマルチモーダルトレーニング手法を導入する。 様々な分子ベンチマークにおいて、提案された一般分子LLM(Moll-LLM)は、ほとんどのタスクにおいて、最先端の専門家LLMに匹敵する、あるいは匹敵する、最先端のLLMのパフォーマンスを達成している。 さらに,Moll-LLMは反応予測タスクにおいて優れた一般化性能を示し,分子構造理解が一般化パースペクティブに与える影響を実証した。

関連論文リスト

• MolCap-Arena: A Comprehensive Captioning Benchmark on Language-Enhanced Molecular Property Prediction [44.27112553103388]
  分子特性予測を拡張した大規模言語モデル(LLM)の最初の包括的なベンチマークである分子キャプションアリーナを提示する。 汎用分子キャプタとドメイン特異的分子キャプタを含む20以上のLDMを,様々な予測タスクで評価した。 以上の結果から,LLM抽出した知識が最先端の分子表現を向上する可能性が示唆された。
  論文  参考訳（メタデータ） (2024-11-01T17:03:16Z)
• FARM: Functional Group-Aware Representations for Small Molecules [55.281754551202326]
  小型分子のための機能的グループ認識表現(FARM)について紹介する。 FARMはSMILES、自然言語、分子グラフのギャップを埋めるために設計された基礎モデルである。 MoleculeNetデータセット上でFARMを厳格に評価し、12タスク中10タスクで最先端のパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2024-10-02T23:04:58Z)
• Many-Shot In-Context Learning for Molecular Inverse Design [56.65345962071059]
  大規模言語モデル(LLM)は、数ショットのインコンテキスト学習(ICL)において、優れたパフォーマンスを示している。 マルチショットICLで利用可能な実験データの不足を克服する,新しい半教師付き学習手法を開発した。 示すように、この新しい手法は、既存の分子設計のためのICL法を大幅に改善し、科学者にとってアクセスしやすく、使いやすくする。
  論文  参考訳（メタデータ） (2024-07-26T21:10:50Z)
• MolX: Enhancing Large Language Models for Molecular Learning with A Multi-Modal Extension [34.586861881519134]
  タスクハンドリング能力の強い大規模言語モデル(LLM)は、様々な分野において顕著な進歩を見せている。 本研究は、分子をマルチモーダルな外部モジュール、すなわちMollXに装備することで、分子の理解能力を高めることを目的とする。 特に,分子の表現にSMILES文字列を直接使用する代わりに,特定のエンコーダを用いて,SMILES文字列と2次元分子グラフ表現の両方から微細な特徴を抽出する。
  論文  参考訳（メタデータ） (2024-06-10T20:25:18Z)
• Can Large Language Models Understand Molecules? [0.0699049312989311]
  下流タスクへのSMILES文字列の埋め込みにおけるSMILESの事前学習モデルと比較して,GPTとLLaMAの性能について検討した。 LLaMAを用いたSMILESの埋め込みは,分子特性およびDDI予測タスクにおいて,GPTの埋め込みよりも優れていた。
  論文  参考訳（メタデータ） (2024-01-05T18:31:34Z)
• Can Large Language Models Empower Molecular Property Prediction? [16.5246941211725]
  分子特性の予測は、科学分野における形質転換の可能性によって大きな注目を集めている。 近年,Large Language Models (LLMs) が急速に発展し,NLPの分野に革命をもたらした。 本研究では、ゼロ/フェーショットの分子分類と、LLMによって生成された新しい説明を分子の表現として用いるという2つの視点を通して、この目的に向けて前進する。
  論文  参考訳（メタデータ） (2023-07-14T16:06:42Z)
• Empowering Molecule Discovery for Molecule-Caption Translation with Large Language Models: A ChatGPT Perspective [53.300288393173204]
  大規模言語モデル(LLM)は、様々なクロスモーダルタスクにおいて顕著なパフォーマンスを示している。 本研究では,分子カプセル翻訳のためのインコンテキストFew-Shot Molecule Learningパラダイムを提案する。 分子理解とテキストベースの分子生成を含む分子キャプション翻訳におけるMollReGPTの有効性を評価する。
  論文  参考訳（メタデータ） (2023-06-11T08:16:25Z)
• MolCPT: Molecule Continuous Prompt Tuning to Generalize Molecular Representation Learning [77.31492888819935]
  分子表現学習のための「プリトレイン,プロンプト,ファインチューン」という新しいパラダイム,分子連続プロンプトチューニング(MolCPT)を提案する。 MolCPTは、事前訓練されたモデルを使用して、スタンドアロンの入力を表現的なプロンプトに投影するモチーフプロンプト関数を定義する。 いくつかのベンチマークデータセットの実験により、MollCPTは分子特性予測のために学習済みのGNNを効率的に一般化することが示された。
  論文  参考訳（メタデータ） (2022-12-20T19:32:30Z)
• A Molecular Multimodal Foundation Model Associating Molecule Graphs with Natural Language [63.60376252491507]
  本稿では,分子グラフとその意味的関連テキストデータから事前学習した分子マルチモーダル基礎モデルを提案する。 我々のモデルは、生物学、化学、材料、環境、医学などの分野において、AIを動力とする分野に幅広い影響を与えるだろうと考えています。
  論文  参考訳（メタデータ） (2022-09-12T00:56:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。