論文の概要: Chemical Language Model Linker: blending text and molecules with modular adapters

• arxiv url: http://arxiv.org/abs/2410.20182v1
• Date: Sat, 26 Oct 2024 13:40:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-29 12:15:32.401757
• Title: Chemical Language Model Linker: blending text and molecules with modular adapters
• Title（参考訳）: 化学言語モデルリンカー: テキストと分子をモジュラーアダプターでブレンドする
• Authors: Yifan Deng, Spencer S. Ericksen, Anthony Gitter,
• Abstract要約: 我々は、ChemLML(ChemLML)という、軽量なアダプタベースの戦略を提案する。 ChemLMLは2つの単一ドメインモデルをブレンドし、テキスト記述から条件付き分子生成を得る。 SMILESとSELFIESのChemLMLにおける分子表現の選択は,条件付き分子生成性能に強い影響を及ぼすことがわかった。
• 参考スコア（独自算出の注目度）: 2.2667044928324747
• License:
• Abstract: The development of large language models and multi-modal models has enabled the appealing idea of generating novel molecules from text descriptions. Generative modeling would shift the paradigm from relying on large-scale chemical screening to find molecules with desired properties to directly generating those molecules. However, multi-modal models combining text and molecules are often trained from scratch, without leveraging existing high-quality pretrained models. That approach consumes more computational resources and prohibits model scaling. In contrast, we propose a lightweight adapter-based strategy named Chemical Language Model Linker (ChemLML). ChemLML blends the two single domain models and obtains conditional molecular generation from text descriptions while still operating in the specialized embedding spaces of the molecular domain. ChemLML can tailor diverse pretrained text models for molecule generation by training relatively few adapter parameters. We find that the choice of molecular representation used within ChemLML, SMILES versus SELFIES, has a strong influence on conditional molecular generation performance. SMILES is often preferable despite not guaranteeing valid molecules. We raise issues in using the large PubChem dataset of molecules and their associated descriptions for evaluating molecule generation and provide a filtered version of the dataset as a generation test set. To demonstrate how ChemLML could be used in practice, we generate candidate protein inhibitors and use docking to assess their quality.
• Abstract（参考訳）: 大規模言語モデルとマルチモーダルモデルの開発は、テキスト記述から新しい分子を生成するという魅力的なアイデアを可能にした。 生成的モデリングは、パラダイムを大規模化学スクリーニングに依存するものから望ましい性質を持つ分子を見つけるものへとシフトさせ、それらの分子を直接生成する。 しかし、テキストと分子を組み合わせたマルチモーダルモデルは、既存の高品質事前訓練モデルを活用することなく、しばしばゼロから訓練される。 このアプローチは、より多くの計算リソースを消費し、モデルのスケーリングを禁止します。 対照的に、我々はChemLML(ChemLML)と呼ばれる軽量なアダプタベースの戦略を提案する。 ChemLMLは2つの単一ドメインモデルをブレンドし、テキスト記述から条件付き分子生成を得る。 ChemLMLは、比較的少数のアダプタパラメータをトレーニングすることで、分子生成のための様々な事前訓練されたテキストモデルを調整できる。 SMILESとSELFIESのChemLMLにおける分子表現の選択は,条件付き分子生成性能に強い影響を与えることがわかった。 SMILESは有効な分子を保証していないにもかかわらず、しばしば好ましい。 本稿では,分子のPubChemデータセットとそれに関連する記述を用いて分子生成を評価し,そのデータセットのフィルタバージョンを生成テストセットとして提供する際の課題を提起する。 実際にどのようにChemLMLを使用できるかを示すために、候補タンパク質阻害剤を生成し、ドッキングを用いてその品質を評価する。

関連論文リスト

• UniMoT: Unified Molecule-Text Language Model with Discrete Token Representation [35.51027934845928]
  トークン化アーキテクチャを採用した統一分子テキストLLMであるUniMoTを紹介する。 ベクトル量子化駆動型トークン化器は、分子を因果依存性を持つ分子トークンの配列に変換する。 UniMoTは、分子間テキストとテキスト間タスクの両方を実行するマルチモーダル・ジェネラリストとして登場した。
  論文  参考訳（メタデータ） (2024-08-01T18:31:31Z)
• MolX: Enhancing Large Language Models for Molecular Learning with A Multi-Modal Extension [34.586861881519134]
  タスクハンドリング能力の強い大規模言語モデル(LLM)は、様々な分野において顕著な進歩を見せている。 本研究は、分子をマルチモーダルな外部モジュール、すなわちMollXに装備することで、分子の理解能力を高めることを目的とする。 特に,分子の表現にSMILES文字列を直接使用する代わりに,特定のエンコーダを用いて,SMILES文字列と2次元分子グラフ表現の両方から微細な特徴を抽出する。
  論文  参考訳（メタデータ） (2024-06-10T20:25:18Z)
• LDMol: Text-to-Molecule Diffusion Model with Structurally Informative Latent Space [55.5427001668863]
  テキスト条件付き分子生成のための遅延拡散モデル LDMol を提案する。 LDMolは、学習可能で構造的に有意な特徴空間を生成する分子オートエンコーダを含む。 我々は,LDMolを分子間検索やテキスト誘導分子編集などの下流タスクに適用できることを示す。
  論文  参考訳（メタデータ） (2024-05-28T04:59:13Z)
• DrugLLM: Open Large Language Model for Few-shot Molecule Generation [20.680942401843772]
  DrugLLMは、過去の修飾に基づいて次の分子を予測することで、薬物発見における分子の修飾方法を学ぶ。 計算実験では、限られた例に基づいて期待された特性を持つ新しい分子を生成することができる。
  論文  参考訳（メタデータ） (2024-05-07T09:18:13Z)
• MolCA: Molecular Graph-Language Modeling with Cross-Modal Projector and Uni-Modal Adapter [91.77292826067465]
  言語モデル(LM)は、様々な1Dテキスト関連タスクにおいて、印象的な分子理解能力を示す。 しかし、それらは本質的に2次元グラフの認識を欠いている。 クロスモーダルプロジェクタとユニモーダルアダプタを用いた分子グラフ言語モデリング(MolCA: Molecular Graph-Language Modeling)を提案する。
  論文  参考訳（メタデータ） (2023-10-19T14:52:58Z)
• Empowering Molecule Discovery for Molecule-Caption Translation with Large Language Models: A ChatGPT Perspective [53.300288393173204]
  大規模言語モデル(LLM)は、様々なクロスモーダルタスクにおいて顕著なパフォーマンスを示している。 本研究では,分子カプセル翻訳のためのインコンテキストFew-Shot Molecule Learningパラダイムを提案する。 分子理解とテキストベースの分子生成を含む分子キャプション翻訳におけるMollReGPTの有効性を評価する。
  論文  参考訳（メタデータ） (2023-06-11T08:16:25Z)
• MolXPT: Wrapping Molecules with Text for Generative Pre-training [141.0924452870112]
  MolXPTは、テキストでラップされたSMILESで事前訓練されたテキストと分子の統一言語モデルである。 MolXPT は MoleculeNet 上での分子特性予測の強いベースラインを上回ります。
  論文  参考訳（メタデータ） (2023-05-18T03:58:19Z)
• Domain-Agnostic Molecular Generation with Chemical Feedback [44.063584808910896]
  MolGenは、分子生成に特化した事前訓練された分子言語モデルである。 1億以上の分子SELFIESを再構成することで構造的および文法的な洞察を内部化する。 我々の化学フィードバックパラダイムは、モデルを分子幻覚から遠ざけ、モデルの推定確率と実世界の化学的嗜好との整合性を確保する。
  論文  参考訳（メタデータ） (2023-01-26T17:52:56Z)
• A Molecular Multimodal Foundation Model Associating Molecule Graphs with Natural Language [63.60376252491507]
  本稿では,分子グラフとその意味的関連テキストデータから事前学習した分子マルチモーダル基礎モデルを提案する。 我々のモデルは、生物学、化学、材料、環境、医学などの分野において、AIを動力とする分野に幅広い影響を与えるだろうと考えています。
  論文  参考訳（メタデータ） (2022-09-12T00:56:57Z)
• Learning Latent Space Energy-Based Prior Model for Molecule Generation [59.875533935578375]
  分子モデリングのためのSMILES表現を用いた潜時空間エネルギーに基づく先行モデルについて学習する。 本手法は,最先端モデルと競合する妥当性と特異性を持つ分子を生成することができる。
  論文  参考訳（メタデータ） (2020-10-19T09:34:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。