論文の概要: ChemDFM: A Large Language Foundation Model for Chemistry

• arxiv url: http://arxiv.org/abs/2401.14818v5
• Date: Sun, 10 Nov 2024 02:57:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-12 14:04:11.544332
• Title: ChemDFM: A Large Language Foundation Model for Chemistry
• Title（参考訳）: ChemDFM: 化学のための大規模言語基盤モデル
• Authors: Zihan Zhao, Da Ma, Lu Chen, Liangtai Sun, Zihao Li, Yi Xia, Bo Chen, Hongshen Xu, Zichen Zhu, Su Zhu, Shuai Fan, Guodong Shen, Kai Yu, Xin Chen,
• Abstract要約: より汎用的で効率的なソリューションは、多くのタスクに対処し、幅広い化学分野における自由形式の対話をサポートするAIモデルである。 我々は化学文献や教科書から34Bトークンを学習し、2.7Mインストラクションを用いて微調整した化学用LLMのパイオニアであるChemDFMを開発した。 我々はHuggingface上のChemDFMの推論コード、評価データセット、モデルウェイトをオープンソース化した。
• 参考スコア（独自算出の注目度）: 27.864255196445324
• License:
• Abstract: Artificial intelligence (AI) has played an increasingly important role in chemical research. However, most models currently used in chemistry are specialist models that require training and tuning for specific tasks. A more generic and efficient solution would be an AI model that could address many tasks and support free-form dialogue in the broad field of chemistry. In its utmost form, such a generalist AI chemist could be referred to as Chemical General Intelligence. Large language models (LLMs) have recently logged tremendous success in the general domain of natural language processing, showing emerging task generalization and free-form dialogue capabilities. However, domain knowledge of chemistry is largely missing when training general-domain LLMs. The lack of such knowledge greatly hinders the performance of generalist LLMs in the field of chemistry. To this end, we develop ChemDFM, a pioneering LLM for chemistry trained on 34B tokens from chemical literature and textbooks, and fine-tuned using 2.7M instructions. As a result, it can understand and reason with chemical knowledge in free-form dialogue. Quantitative evaluations show that ChemDFM significantly surpasses most representative open-source LLMs. It outperforms GPT-4 on a great portion of chemical tasks, despite the substantial size difference. We have open-sourced the inference codes, evaluation datasets, and model weights of ChemDFM on Huggingface (https://huggingface.co/OpenDFM/ChemDFM-v1.0-13B).
• Abstract（参考訳）: 人工知能(AI)は、化学研究においてますます重要な役割を担っている。 しかしながら、化学で現在使われているほとんどのモデルは、特定のタスクのトレーニングとチューニングを必要とする専門的なモデルである。 より汎用的で効率的なソリューションは、多くのタスクに対処し、幅広い化学分野における自由形式の対話をサポートするAIモデルである。 最上級の形式では、そのような一般のAI化学者をケミカル・ジェネラル・インテリジェンス(Chemical General Intelligence)と呼ぶことができる。 大規模言語モデル(LLM)は、最近、自然言語処理の一般的な領域において、タスクの一般化と自由形式の対話能力の出現を示す大きな成功を収めたことを記録している。 しかし、一般ドメインLSMを訓練する際、化学のドメイン知識はほとんど失われている。 このような知識の欠如は、化学の分野での一般LLMのパフォーマンスを著しく妨げている。 この目的のために,化学文献や教科書から34Bトークンを学習し,2.7M命令を用いて微調整した化学用LLMのパイオニアであるChemDFMを開発した。 その結果,自由形態対話における化学知識の理解と推論が可能となった。 定量的評価の結果,ChemDFMはオープンソースLLMをはるかに上回っていることがわかった。 GPT-4は、かなりの大きさの違いにもかかわらず、多くの化学的なタスクで性能を上回っている。 我々はHuggingface(https://huggingface.co/OpenDFM/ChemDFM-v1.0-13B)上のChemDFMの推論コード、評価データセット、モデルウェイトをオープンソース化した。

関連論文リスト

• ChemEval: A Comprehensive Multi-Level Chemical Evaluation for Large Language Models [62.37850540570268]
  この領域の既存のベンチマークは、化学研究専門家の特定の要求を適切に満たさない。 ChemEvalは化学の4つの重要な進歩レベルを特定し、42の異なる化学タスクで12次元のLCMを評価する。 その結果, LLMは文献の理解と指導に優れる一方で, 高度な化学知識を必要とするタスクでは不足していることがわかった。
  論文  参考訳（メタデータ） (2024-09-21T02:50:43Z)
• ChemDFM-X: Towards Large Multimodal Model for Chemistry [16.811223849365483]
  化学用クロスモーダル対話基盤モデル(ChemDFM-X)について紹介する。 近似計算とタスク固有モデル予測により、初期モダリティから、多様なマルチモーダルデータを生成する。 ChemDFM-Xは、様々なデータモダリティを持つ様々な化学タスクの広範な実験で評価される。
  論文  参考訳（メタデータ） (2024-09-20T03:55:34Z)
• ChemVLM: Exploring the Power of Multimodal Large Language Models in Chemistry Area [50.15254966969718]
  textbfChemVLMは、化学応用のためのオープンソースの化学マルチモーダル大規模言語モデルである。 ChemVLMは、テキストと視覚の化学情報の両方を理解する能力を高めるために、慎重にキュレートされたバイリンガルデータセットで訓練されている。 我々はChemVLMを、様々なタスクにおいて、オープンソースおよびプロプライエタリな多モーダルな大規模言語モデルに対してベンチマークする。
  論文  参考訳（メタデータ） (2024-08-14T01:16:40Z)
• Are large language models superhuman chemists? [4.87961182129702]
  大規模言語モデル(LLM)は、人間の言語を処理し、明示的に訓練されていないタスクを実行する能力によって、広く関心を集めている。 本稿では,最新のLCMの化学知識と推論能力を評価する自動化フレームワークであるChemBenchを紹介する。 我々は2700以上の質問応答ペアをキュレートし、主要なオープンソースとクローズドソースのLCMを評価し、最良のモデルが最高の化学者より優れていることを発見した。
  論文  参考訳（メタデータ） (2024-04-01T20:56:25Z)
• ChemLLM: A Chemical Large Language Model [49.308528569982805]
  大規模言語モデル(LLM)は化学応用において顕著な進歩を遂げた。 しかし、コミュニティには化学に特化したLLMが欠落している。 本稿では,化学に特化した最初のLLMを特徴とする包括的フレームワークであるChemLLMを紹介する。
  論文  参考訳（メタデータ） (2024-02-10T01:11:59Z)
• Structured Chemistry Reasoning with Large Language Models [70.13959639460015]
  大規模言語モデル(LLMs)は様々な分野において優れているが、特に化学において複雑な科学的推論に苦慮している。 所望のガイダンスを提供し,LSMの化学的推論能力を大幅に向上させる,シンプルで効果的なプロンプト戦略であるStructChemを紹介した。 量子化学、力学、物理化学、運動学の4分野にわたる試験では、StructChemはGPT-4の性能を大幅に向上させ、最大30%のピーク改善を実現している。
  論文  参考訳（メタデータ） (2023-11-16T08:20:36Z)
• Chemist-X: Large Language Model-empowered Agent for Reaction Condition Recommendation in Chemical Synthesis [57.70772230913099]
  Chemist-Xは、検索増強生成(RAG)技術を用いた化学合成において、反応条件レコメンデーション(RCR)タスクを自動化する。 Chemist-Xはオンラインの分子データベースを尋問し、最新の文献データベースから重要なデータを蒸留する。 Chemist-Xは化学者の作業量を大幅に減らし、より根本的で創造的な問題に集中できるようにする。
  論文  参考訳（メタデータ） (2023-11-16T01:21:33Z)
• Empowering Molecule Discovery for Molecule-Caption Translation with Large Language Models: A ChatGPT Perspective [53.300288393173204]
  大規模言語モデル(LLM)は、様々なクロスモーダルタスクにおいて顕著なパフォーマンスを示している。 本研究では,分子カプセル翻訳のためのインコンテキストFew-Shot Molecule Learningパラダイムを提案する。 分子理解とテキストベースの分子生成を含む分子キャプション翻訳におけるMollReGPTの有効性を評価する。
  論文  参考訳（メタデータ） (2023-06-11T08:16:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。