論文の概要: Property Enhanced Instruction Tuning for Multi-task Molecule Generation with Large Language Models

• arxiv url: http://arxiv.org/abs/2412.18084v1
• Date: Tue, 24 Dec 2024 01:48:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-25 15:55:22.069035
• Title: Property Enhanced Instruction Tuning for Multi-task Molecule Generation with Large Language Models
• Title（参考訳）: 大規模言語モデルを用いたマルチタスク分子生成のための特性向上型インストラクションチューニング
• Authors: Xuan Lin, Long Chen, Yile Wang, Xiangxiang Zeng, Philip S. Yu,
• Abstract要約: 分子関連タスクのための大規模言語モデルを改善するための2段階のフレームワークPEITを提案する。 最初のステップでは、PEIT-GENと呼ばれるモデルを事前訓練するために、テキスト記述、SMILES、生化学的特性をマルチモーダル入力として使用します。 2番目のステップでは、既存のオープンソースLCMを合成データで微調整し、PEIT-LLMは分子キャプション、テキストベースの分子生成、分子特性予測、新たに提案したマルチ制約分子生成タスクを処理できる。
• 参考スコア（独自算出の注目度）: 43.37148291436855
• License:
• Abstract: Large language models (LLMs) are widely applied in various natural language processing tasks such as question answering and machine translation. However, due to the lack of labeled data and the difficulty of manual annotation for biochemical properties, the performance for molecule generation tasks is still limited, especially for tasks involving multi-properties constraints. In this work, we present a two-step framework PEIT (Property Enhanced Instruction Tuning) to improve LLMs for molecular-related tasks. In the first step, we use textual descriptions, SMILES, and biochemical properties as multimodal inputs to pre-train a model called PEIT-GEN, by aligning multi-modal representations to synthesize instruction data. In the second step, we fine-tune existing open-source LLMs with the synthesized data, the resulting PEIT-LLM can handle molecule captioning, text-based molecule generation, molecular property prediction, and our newly proposed multi-constraint molecule generation tasks. Experimental results show that our pre-trained PEIT-GEN outperforms MolT5 and BioT5 in molecule captioning, demonstrating modalities align well between textual descriptions, structures, and biochemical properties. Furthermore, PEIT-LLM shows promising improvements in multi-task molecule generation, proving the scalability of the PEIT framework for various molecular tasks. We release the code, constructed instruction data, and model checkpoints in https://github.com/chenlong164/PEIT.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、質問応答や機械翻訳といった様々な自然言語処理タスクに広く適用されている。 しかし, ラベル付きデータの欠如, 生化学的特性に対する手動アノテーションの欠如などにより, 分子生成タスクの性能は依然として限られている。 本研究では,分子関連タスクのためのLLMを改善するための2段階のPEIT(Property Enhanced Instruction Tuning)を提案する。 まず, テキスト記述, SMILES, 生化学的特性をマルチモーダル入力として用いて, PEIT-GENと呼ばれるモデルの事前学習を行い, マルチモーダル表現を整列させて命令データを合成する。 2番目のステップでは、既存のオープンソースLCMを合成データで微調整し、PEIT-LLMは分子キャプション、テキストベースの分子生成、分子特性予測、新たに提案したマルチ制約分子生成タスクを処理できる。 実験の結果, PEIT-GENは分子キャプションにおいてMolt5およびBioT5より優れており, テキスト記述, 構造, 生化学的特性の相違が良好であった。 さらに、PEIT-LLMはマルチタスク分子生成の有望な改善を示し、様々な分子タスクのためのPEITフレームワークのスケーラビリティを示す。 我々は https://github.com/chenlong164/PEIT でコードをリリースし、命令データを構築し、モデルチェックポイントを作成します。

関連論文リスト

• Crossing New Frontiers: Knowledge-Augmented Large Language Model Prompting for Zero-Shot Text-Based De Novo Molecule Design [0.0]
  本研究は,ゼロショットテキスト条件デノボ分子生成タスクにおいて,大規模言語モデル(LLM)の知識増進プロンプトの利用について検討する。 本フレームワークは,ベンチマークデータセット上でのSOTA(State-of-the-art)ベースラインモデルの有効性を実証する。
  論文  参考訳（メタデータ） (2024-08-18T11:37:19Z)
• MolX: Enhancing Large Language Models for Molecular Learning with A Multi-Modal Extension [34.586861881519134]
  タスクハンドリング能力の強い大規模言語モデル(LLM)は、様々な分野において顕著な進歩を見せている。 本研究は、分子をマルチモーダルな外部モジュール、すなわちMollXに装備することで、分子の理解能力を高めることを目的とする。 特に,分子の表現にSMILES文字列を直接使用する代わりに,特定のエンコーダを用いて,SMILES文字列と2次元分子グラフ表現の両方から微細な特徴を抽出する。
  論文  参考訳（メタデータ） (2024-06-10T20:25:18Z)
• Instruction Multi-Constraint Molecular Generation Using a Teacher-Student Large Language Model [49.64512917330373]
  本稿では,学生に類似した多制約分子生成大言語モデルTSMMGを紹介する。 TSMMGを訓練するために、これらの「教師」から分子知識を抽出し、大量のテキスト-分子対を構築する。 我々は,TSMMGが複雑で自然言語で記述された特性を満たす分子を生成できることを実験的に明らかにした。
  論文  参考訳（メタデータ） (2024-03-20T02:15:55Z)
• nach0: Multimodal Natural and Chemical Languages Foundation Model [7.815497069231599]
  本稿では, 様々な化学的・生物学的課題を解決できる新しい基礎モデルであるnach0を紹介する。 nach0は、科学文献、特許、分子文字列の未ラベルテキストで事前訓練されたマルチドメインおよびマルチタスクエンコーダLLMである。
  論文  参考訳（メタデータ） (2023-11-21T07:56:30Z)
• Empowering Molecule Discovery for Molecule-Caption Translation with Large Language Models: A ChatGPT Perspective [53.300288393173204]
  大規模言語モデル(LLM)は、様々なクロスモーダルタスクにおいて顕著なパフォーマンスを示している。 本研究では,分子カプセル翻訳のためのインコンテキストFew-Shot Molecule Learningパラダイムを提案する。 分子理解とテキストベースの分子生成を含む分子キャプション翻訳におけるMollReGPTの有効性を評価する。
  論文  参考訳（メタデータ） (2023-06-11T08:16:25Z)
• GIMLET: A Unified Graph-Text Model for Instruction-Based Molecule Zero-Shot Learning [71.89623260998934]
  本研究は,ゼロショット環境下での分子関連タスクの実現に自然言語命令を用いることの実現可能性について検討する。 既存の分子テキストモデルは、命令の不十分な処理とグラフの限られた容量のために、この設定では性能が良くない。 グラフデータとテキストデータの両方の言語モデルを統合するGIMLETを提案する。
  論文  参考訳（メタデータ） (2023-05-28T18:27:59Z)
• MolXPT: Wrapping Molecules with Text for Generative Pre-training [141.0924452870112]
  MolXPTは、テキストでラップされたSMILESで事前訓練されたテキストと分子の統一言語モデルである。 MolXPT は MoleculeNet 上での分子特性予測の強いベースラインを上回ります。
  論文  参考訳（メタデータ） (2023-05-18T03:58:19Z)
• Implicit Geometry and Interaction Embeddings Improve Few-Shot Molecular Property Prediction [53.06671763877109]
  我々は, 複雑な分子特性を符号化した分子埋め込みを開発し, 数発の分子特性予測の性能を向上させる。 我々の手法は大量の合成データ、すなわち分子ドッキング計算の結果を利用する。 複数の分子特性予測ベンチマークでは、埋め込み空間からのトレーニングにより、マルチタスク、MAML、プロトタイプラーニング性能が大幅に向上する。
  論文  参考訳（メタデータ） (2023-02-04T01:32:40Z)
• Do Large Scale Molecular Language Representations Capture Important Structural Information? [31.76876206167457]
  本稿では,MoLFormerと呼ばれる効率的なトランスフォーマーエンコーダモデルのトレーニングにより得られた分子埋め込みについて述べる。 実験の結果,グラフベースおよび指紋ベースによる教師付き学習ベースラインと比較して,学習された分子表現が競合的に機能することが確認された。
  論文  参考訳（メタデータ） (2021-06-17T14:33:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。