論文の概要: Mol-LLM: Multimodal Generalist Molecular LLM with Improved Graph Utilization

• arxiv url: http://arxiv.org/abs/2502.02810v2
• Date: Mon, 26 May 2025 10:07:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 19:27:26.626264
• Title: Mol-LLM: Multimodal Generalist Molecular LLM with Improved Graph Utilization
• Title（参考訳）: Mol-LLM:グラフ利用を改良した多モード一般分子LLM
• Authors: Chanhui Lee, Hanbum Ko, Yuheon Song, YongJun Jeong, Rodrigo Hormazabal, Sehui Han, Kyunghoon Bae, Sungbin Lim, Sungwoong Kim,
• Abstract要約: 分子タスクの幅広い範囲を扱う最初のマルチモーダル・ジェネラリストモデルである Mol-LLM を紹介する。 Mol-LLMは最も包括的な分子LLMベンチマークで最先端または同等の結果が得られる。
• 参考スコア（独自算出の注目度）: 8.846705148987652
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in large language models (LLMs) have led to models that tackle diverse molecular tasks, such as chemical reaction prediction and molecular property prediction. Large-scale molecular instruction-tuning datasets have enabled sequence-only (e.g., SMILES or SELFIES) generalist molecular LLMs, and researchers are now exploring multimodal approaches that incorporate molecular structural information for further gains. However, a genuinely multimodal, generalist LLM that covers a broad spectrum of molecular tasks has yet to be fully investigated. We observe that naive next token prediction training ignores graph-structural information, limiting an LLM's ability to exploit molecular graphs. To address this, we propose (i) Molecular structure Preference Optimization (MolPO), which facilitates graph usage by optimizing preferences between pairs of correct and perturbed molecular structures, and (ii) an advanced graph encoder with a tailored pre-training strategy to improve the effect of graph utilization by MolPO. Building on these contributions, we introduce Mol-LLM, the first multimodal generalist model that (a) handles a broad spectrum of molecular tasks among molecular LLMs, (b) explicitly leverages molecular-structure information, and (c) takes advantage of extensive instruction tuning. Mol-LLM attains state-of-the-art or comparable results across the most comprehensive molecular-LLM benchmark-even on out-of-distribution datasets for reaction and property prediction, where it surpasses prior generalist molecular LLMs by a large margin.
• Abstract（参考訳）: 大規模言語モデル(LLM)の最近の進歩は、化学反応の予測や分子特性の予測といった様々な分子課題に取り組むモデルにつながっている。 大規模な分子インストラクションチューニングデータセットはシーケンスオンリー(SMILESやSELFIESなど)の分子LLMを可能にしており、研究者たちは分子構造情報を組み込んだマルチモーダルなアプローチを模索している。 しかし、分子タスクの幅広い範囲をカバーする真のマルチモーダルな一般LLMは、まだ完全には研究されていない。 我々は,次のトークン予測訓練でグラフ構造情報を無視し,LLMが分子グラフを利用する能力を制限することを観察する。 これを解決するために,我々は提案する (i)分子構造選好最適化(MolPO)は、正しい分子構造と摂動された分子構造のペア間の選好を最適化し、グラフの使用を容易にする。 (II)モルポットによるグラフ利用の効果を改善するための事前学習戦略を調整した高度なグラフエンコーダ。 これらの貢献に基づいて、最初のマルチモーダル・ジェネラリストモデルであるMoll-LLMを導入する。 a)分子LLM間の幅広い分子的タスクを扱う。 (b)分子構造情報を明示的に活用し、 (c) 広範囲な命令チューニングを利用する。 Mol-LLMは、反応と特性予測のための分布外のデータセットにおいて、最も包括的な分子-LLMベンチマークにおいて、最先端または同等の結果を得ることができ、それ以前のジェネラリスト分子LLMを大きなマージンで上回っている。

関連論文リスト

• Improving Chemical Understanding of LLMs via SMILES Parsing [18.532188836688928]
  CLEANMOLは、SMILES解析をクリーンで決定論的タスクのスイートに定式化する新しいフレームワークである。 適応的難易度スコアリングを伴う分子事前学習データセットを構築し,これらの課題に対してオープンソースのLCMを事前学習する。 以上の結果から,CLEANMOLは構造的理解を高めるだけでなく,Moll-Instructionsベンチマークのベースラインと競合する。
  論文  参考訳（メタデータ） (2025-05-22T07:54:39Z)
• Mol-LLaMA: Towards General Understanding of Molecules in Large Molecular Language Model [55.87790704067848]
  Mol-LLaMAは、分子を中心とした一般的な知識を把握した大きな分子言語モデルである。 異なる分子エンコーダの相補的な情報を統合するモジュールを導入する。 実験の結果,Moll-LLaMAは分子の一般的な特徴を理解することができることがわかった。
  論文  参考訳（メタデータ） (2025-02-19T05:49:10Z)
• Knowledge-aware contrastive heterogeneous molecular graph learning [77.94721384862699]
  分子グラフを不均一な分子グラフ学習(KCHML)に符号化するパラダイムシフトを提案する。 KCHMLは、不均一な分子グラフと二重メッセージパッシング機構によって強化された3つの異なるグラフビュー-分子、元素、薬理学-を通して分子を概念化する。 この設計は、プロパティ予測やドラッグ・ドラッグ・インタラクション(DDI)予測などの下流タスクに対する包括的な表現を提供する。
  論文  参考訳（メタデータ） (2025-02-17T11:53:58Z)
• MolCap-Arena: A Comprehensive Captioning Benchmark on Language-Enhanced Molecular Property Prediction [44.27112553103388]
  分子特性予測を拡張した大規模言語モデル(LLM)の最初の包括的なベンチマークである分子キャプションアリーナを提示する。 汎用分子キャプタとドメイン特異的分子キャプタを含む20以上のLDMを,様々な予測タスクで評価した。 以上の結果から,LLM抽出した知識が最先端の分子表現を向上する可能性が示唆された。
  論文  参考訳（メタデータ） (2024-11-01T17:03:16Z)
• FARM: Functional Group-Aware Representations for Small Molecules [55.281754551202326]
  小型分子のための機能的グループ認識表現(FARM)について紹介する。 FARMはSMILES、自然言語、分子グラフのギャップを埋めるために設計された基礎モデルである。 MoleculeNetデータセット上でFARMを厳格に評価し、12タスク中10タスクで最先端のパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2024-10-02T23:04:58Z)
• Many-Shot In-Context Learning for Molecular Inverse Design [56.65345962071059]
  大規模言語モデル(LLM)は、数ショットのインコンテキスト学習(ICL)において、優れたパフォーマンスを示している。 マルチショットICLで利用可能な実験データの不足を克服する,新しい半教師付き学習手法を開発した。 示すように、この新しい手法は、既存の分子設計のためのICL法を大幅に改善し、科学者にとってアクセスしやすく、使いやすくする。
  論文  参考訳（メタデータ） (2024-07-26T21:10:50Z)
• MolX: Enhancing Large Language Models for Molecular Learning with A Multi-Modal Extension [34.586861881519134]
  タスクハンドリング能力の強い大規模言語モデル(LLM)は、様々な分野において顕著な進歩を見せている。 本研究は、分子をマルチモーダルな外部モジュール、すなわちMollXに装備することで、分子の理解能力を高めることを目的とする。 特に,分子の表現にSMILES文字列を直接使用する代わりに,特定のエンコーダを用いて,SMILES文字列と2次元分子グラフ表現の両方から微細な特徴を抽出する。
  論文  参考訳（メタデータ） (2024-06-10T20:25:18Z)
• Data-Efficient Molecular Generation with Hierarchical Textual Inversion [48.816943690420224]
  分子生成のための階層型テキスト変換法 (HI-Mol) を提案する。 HI-Molは分子分布を理解する上での階層的情報、例えば粗い特徴ときめ細かい特徴の重要性にインスパイアされている。 単一レベルトークン埋め込みを用いた画像領域の従来のテキストインバージョン法と比較して, マルチレベルトークン埋め込みにより, 基礎となる低ショット分子分布を効果的に学習することができる。
  論文  参考訳（メタデータ） (2024-05-05T08:35:23Z)
• MolTC: Towards Molecular Relational Modeling In Language Models [28.960416816491392]
  分子間相互作用予測のための新しい枠組みとして,分子間相互作用予測法(分子間相互作用予測法)を提案する。 我々の実験は4000,000以上の分子対を含む様々なデータセットで実施され、現在のGNNおよびLLMベースラインよりも優れていることを示した。
  論文  参考訳（メタデータ） (2024-02-06T07:51:56Z)
• Can Large Language Models Understand Molecules? [0.0699049312989311]
  下流タスクへのSMILES文字列の埋め込みにおけるSMILESの事前学習モデルと比較して,GPTとLLaMAの性能について検討した。 LLaMAを用いたSMILESの埋め込みは,分子特性およびDDI予測タスクにおいて,GPTの埋め込みよりも優れていた。
  論文  参考訳（メタデータ） (2024-01-05T18:31:34Z)
• MultiModal-Learning for Predicting Molecular Properties: A Framework Based on Image and Graph Structures [2.5563339057415218]
  MolIGは、画像とグラフ構造に基づいて分子特性を予測するための、新しいMultiModaL分子事前学習フレームワークである。 両者の分子表現の強さを融合させる。 ベンチマークグループ内の分子特性予測に関連する下流タスクでは、パフォーマンスが向上する。
  論文  参考訳（メタデータ） (2023-11-28T10:28:35Z)
• Can Large Language Models Empower Molecular Property Prediction? [16.5246941211725]
  分子特性の予測は、科学分野における形質転換の可能性によって大きな注目を集めている。 近年,Large Language Models (LLMs) が急速に発展し,NLPの分野に革命をもたらした。 本研究では、ゼロ/フェーショットの分子分類と、LLMによって生成された新しい説明を分子の表現として用いるという2つの視点を通して、この目的に向けて前進する。
  論文  参考訳（メタデータ） (2023-07-14T16:06:42Z)
• Empowering Molecule Discovery for Molecule-Caption Translation with Large Language Models: A ChatGPT Perspective [53.300288393173204]
  大規模言語モデル(LLM)は、様々なクロスモーダルタスクにおいて顕著なパフォーマンスを示している。 本研究では,分子カプセル翻訳のためのインコンテキストFew-Shot Molecule Learningパラダイムを提案する。 分子理解とテキストベースの分子生成を含む分子キャプション翻訳におけるMollReGPTの有効性を評価する。
  論文  参考訳（メタデータ） (2023-06-11T08:16:25Z)
• MolCPT: Molecule Continuous Prompt Tuning to Generalize Molecular Representation Learning [77.31492888819935]
  分子表現学習のための「プリトレイン,プロンプト,ファインチューン」という新しいパラダイム,分子連続プロンプトチューニング(MolCPT)を提案する。 MolCPTは、事前訓練されたモデルを使用して、スタンドアロンの入力を表現的なプロンプトに投影するモチーフプロンプト関数を定義する。 いくつかのベンチマークデータセットの実験により、MollCPTは分子特性予測のために学習済みのGNNを効率的に一般化することが示された。
  論文  参考訳（メタデータ） (2022-12-20T19:32:30Z)
• A Molecular Multimodal Foundation Model Associating Molecule Graphs with Natural Language [63.60376252491507]
  本稿では,分子グラフとその意味的関連テキストデータから事前学習した分子マルチモーダル基礎モデルを提案する。 我々のモデルは、生物学、化学、材料、環境、医学などの分野において、AIを動力とする分野に幅広い影響を与えるだろうと考えています。
  論文  参考訳（メタデータ） (2022-09-12T00:56:57Z)
• Do Large Scale Molecular Language Representations Capture Important Structural Information? [31.76876206167457]
  本稿では,MoLFormerと呼ばれる効率的なトランスフォーマーエンコーダモデルのトレーニングにより得られた分子埋め込みについて述べる。 実験の結果,グラフベースおよび指紋ベースによる教師付き学習ベースラインと比較して,学習された分子表現が競合的に機能することが確認された。
  論文  参考訳（メタデータ） (2021-06-17T14:33:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。