論文の概要: ChemLLM: A Chemical Large Language Model
- arxiv url: http://arxiv.org/abs/2402.06852v1
- Date: Sat, 10 Feb 2024 01:11:59 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-13 18:54:33.604916
- Title: ChemLLM: A Chemical Large Language Model
- Title(参考訳): ChemLLM: 化学大言語モデル
- Authors: Di Zhang, Wei Liu, Qian Tan, Jingdan Chen, Hang Yan, Yuliang Yan,
Jiatong Li, Weiran Huang, Xiangyu Yue, Dongzhan Zhou, Shufei Zhang, Mao Su,
Hansen Zhong, Yuqiang Li, Wanli Ouyang
- Abstract要約: 大規模言語モデル(LLM)は化学応用において顕著な進歩を遂げた。
ChemLLMは化学に特化した最初の大規模言語モデルである。
ChemLLMは化学の3つの主要なタスク全てでGPT-3.5を破る。
- 参考スコア(独自算出の注目度): 50.32558290635367
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) have made impressive progress in chemistry
applications, including molecular property prediction, molecular generation,
experimental protocol design, etc. However, the community lacks a
dialogue-based model specifically designed for chemistry. The challenge arises
from the fact that most chemical data and scientific knowledge are primarily
stored in structured databases, and the direct use of these structured data
compromises the model's ability to maintain coherent dialogue. To tackle this
issue, we develop a novel template-based instruction construction method that
transforms structured knowledge into plain dialogue, making it suitable for
language model training. By leveraging this approach, we develop ChemLLM, the
first large language model dedicated to chemistry, capable of performing
various tasks across chemical disciplines with smooth dialogue interaction.
ChemLLM beats GPT-3.5 on all three principal tasks in chemistry, i.e., name
conversion, molecular caption, and reaction prediction, and surpasses GPT-4 on
two of them. Remarkably, ChemLLM also shows exceptional adaptability to related
mathematical and physical tasks despite being trained mainly on
chemical-centric corpora. Furthermore, ChemLLM demonstrates proficiency in
specialized NLP tasks within chemistry, such as literature translation and
cheminformatic programming. ChemLLM opens up a new avenue for exploration
within chemical studies, while our method of integrating structured chemical
knowledge into dialogue systems sets a new frontier for developing LLMs across
various scientific fields. Codes, Datasets, and Model weights are publicly
accessible at hf.co/AI4Chem/ChemLLM-7B-Chat.
- Abstract(参考訳): 大規模言語モデル(LLM)は、分子特性予測、分子生成、実験的プロトコル設計など、化学応用において顕著な進歩を遂げている。
しかし、コミュニティには化学に特化した対話ベースのモデルがない。
この課題は、ほとんどの化学データと科学知識が主に構造化データベースに格納されているという事実から生じ、これらの構造化データの直接利用は、一貫性のある対話を維持するモデルの能力を損なう。
この問題に対処するために,構造化知識を平易な対話に変換し,言語モデル学習に適したテンプレートベースの命令構築手法を開発した。
このアプローチを活用することで、化学に特化した最初の大規模言語モデルであるChemLLMを開発し、スムーズな対話相互作用を持つ化学分野にまたがる様々なタスクを実行できる。
ChemLLMは化学における3つの主要なタスク、すなわち名前変換、分子キャプション、反応予測においてGPT-3.5を破り、2つでGPT-4を上回っている。
興味深いことに、ChemLLMは、主に化学中心のコーパスで訓練されているにもかかわらず、関連する数学的および物理的タスクに例外的な適応性を示す。
さらに、ChemLLMは、文学翻訳やケミノフォマティックプログラミングのような化学における特殊なNLPタスクの習熟度を示す。
ChemLLMは、化学研究の新たな道を開く一方、構造化化学知識を対話システムに統合する手法は、様々な科学分野にまたがるLSMを開発するための新たなフロンティアとなる。
コード、データセット、モデルウェイトはhf.co/AI4Chem/ChemLLM-7B-Chatで公開されている。
関連論文リスト
- An Autonomous Large Language Model Agent for Chemical Literature Data
Mining [60.85177362167166]
本稿では,幅広い化学文献から高忠実度抽出が可能なエンドツーエンドAIエージェントフレームワークを提案する。
本フレームワークの有効性は,反応条件データの精度,リコール,F1スコアを用いて評価する。
論文 参考訳(メタデータ) (2024-02-20T13:21:46Z) - From Words to Molecules: A Survey of Large Language Models in Chemistry [8.129759559674968]
本稿では,Large Language Models (LLM) を化学分野に組み込む際に用いられるニュアンスド方法論について考察する。
化学LLMを,その入力データのドメインとモダリティに基づいて3つの異なるグループに分類し,これらをLCMに組み込むアプローチについて議論する。
最後に,化学知識のさらなる統合,継続学習の進歩,モデル解釈可能性の向上など,有望な研究方向性を明らかにした。
論文 参考訳(メタデータ) (2024-02-02T14:30:48Z) - ChemDFM: Dialogue Foundation Model for Chemistry [27.804229420333137]
ChemDFM-13Bは、化学文献、教科書、命令から34Bトークンと、一般領域からの様々なデータに基づいて訓練されている。
高度な自由形式の言語理解能力を持ちながら、化学知識や言語を保存し、理解し、推論することができる。
ChemDFMは、大きな大きさの違いにもかかわらず、化学タスクの大部分でGPT-4を超えることができる。
論文 参考訳(メタデータ) (2024-01-26T12:45:55Z) - Structured Chemistry Reasoning with Large Language Models [70.13959639460015]
大規模言語モデル(LLMs)は様々な分野において優れているが、特に化学において複雑な科学的推論に苦慮している。
所望のガイダンスを提供し,LSMの化学的推論能力を大幅に向上させる,シンプルで効果的なプロンプト戦略であるStructChemを紹介した。
量子化学、力学、物理化学、運動学の4分野にわたる試験では、StructChemはGPT-4の性能を大幅に向上させ、最大30%のピーク改善を実現している。
論文 参考訳(メタデータ) (2023-11-16T08:20:36Z) - Chemist-X: Large Language Model-empowered Agent for Reaction Condition
Recommendation in Chemical Synthesis [59.11837224347467]
Chemist-Xは、検索増強生成(RAG)技術を用いた化学合成において、反応条件レコメンデーション(RCR)タスクを自動化する。
Chemist-Xはオンラインの分子データベースを尋問し、最新の文献データベースから重要なデータを蒸留する。
Chemist-Xは化学者の作業量を大幅に減らし、より根本的で創造的な問題に集中できるようにする。
論文 参考訳(メタデータ) (2023-11-16T01:21:33Z) - Interactive Molecular Discovery with Natural Language [69.89287960545903]
対象分子を記述・編集するための自然言語を用いた対話型分子設計を提案する。
この課題をより良くするために、実験プロパティ情報を注入することによって強化された知識的で汎用的な生成事前学習モデルChatMolを設計する。
論文 参考訳(メタデータ) (2023-06-21T02:05:48Z) - ChemCrow: Augmenting large-language models with chemistry tools [0.9195187117013247]
大規模言語モデル(LLM)は、領域全体にわたるタスクにおいて高いパフォーマンスを示してきたが、化学に関連した問題に悩まされている。
本研究では, 有機合成, 創薬, 材料設計における課題を遂行するLLM化学剤であるChemCrowを紹介する。
我々のエージェントは、昆虫の忌避剤である3種の有機触媒の合成を自律的に計画し、実行し、新しいクロモフォアの発見を導いた。
論文 参考訳(メタデータ) (2023-04-11T17:41:13Z) - Multi-modal Molecule Structure-text Model for Text-based Retrieval and
Editing [107.49804059269212]
分子の化学構造とテキスト記述を共同で学習し, マルチモーダルな分子構造テキストモデル, MoleculeSTMを提案する。
実験において、分子STMは、新しい生化学的概念を創出するための最先端の一般化能力を得る。
論文 参考訳(メタデータ) (2022-12-21T06:18:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。