論文の概要: LlaSMol: Advancing Large Language Models for Chemistry with a Large-Scale, Comprehensive, High-Quality Instruction Tuning Dataset
- arxiv url: http://arxiv.org/abs/2402.09391v3
- Date: Mon, 1 Apr 2024 17:28:16 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-04 08:49:39.994187
- Title: LlaSMol: Advancing Large Language Models for Chemistry with a Large-Scale, Comprehensive, High-Quality Instruction Tuning Dataset
- Title(参考訳): LlaSMol: 大規模で包括的で高品質なインストラクションチューニングデータセットによる化学用大規模言語モデルの改善
- Authors: Botao Yu, Frazier N. Baker, Ziqi Chen, Xia Ning, Huan Sun,
- Abstract要約: 大規模言語モデル (LLMs) は, 包括的な化学タスクにおいて, 非常に強力な結果が得られることを示す。
命令チューニングのための大規模で包括的で高品質なデータセットであるSMolInstructを提案する。
SMolInstructを使ってオープンソースのLCMの集合を微調整し、その中のMistralが化学タスクの最良のベースモデルであることを示す。
- 参考スコア(独自算出の注目度): 13.063678216852473
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Chemistry plays a crucial role in many domains, such as drug discovery and material science. While large language models (LLMs) such as GPT-4 exhibit remarkable capabilities on natural language processing tasks, existing research indicates that their performance on chemistry tasks is discouragingly low. In this paper, however, we demonstrate that our developed LLMs can achieve very strong results on a comprehensive set of chemistry tasks, outperforming the most advanced GPT-4 and Claude 3 Opus by a substantial margin. To accomplish this, we propose SMolInstruct, a large-scale, comprehensive, and high-quality dataset for instruction tuning. It contains 14 selected chemistry tasks and over three million samples, laying a solid foundation for training and evaluating LLMs for chemistry. Using SMolInstruct, we fine-tune a set of open-source LLMs, among which, we find that Mistral serves as the best base model for chemistry tasks. Our analysis further demonstrates the critical role of the proposed dataset in driving the performance improvements.
- Abstract(参考訳): 化学は、薬物発見や物質科学など、多くの領域において重要な役割を担っている。
GPT-4のような大規模言語モデル(LLM)は、自然言語処理タスクにおいて顕著な能力を示すが、既存の研究では、それらの化学タスクにおける性能が著しく低いことが示されている。
しかし,本研究で開発したLCMは,より高度なGPT-4およびClaude 3 Opusよりもかなり優れた性能を発揮できることを示す。
そこで我々はSMolInstructを提案する。SMolInstructは大規模で包括的で高品質な命令チューニングデータセットである。
14の選抜された化学タスクと300万以上のサンプルが含まれており、化学のためのLCMの訓練と評価のためのしっかりとした基礎を築いている。
SMolInstructを使ってオープンソースのLCMの集合を微調整し、その中のMistralが化学タスクの最良のベースモデルであることを示す。
我々の分析は、提案したデータセットが性能改善を促進する上で重要な役割を担っていることをさらに示している。
関連論文リスト
- Benchmarking Large Language Models for Molecule Prediction Tasks [7.067145619709089]
大規模言語モデル(LLM)は多くの自然言語処理(NLP)タスクの最前線にある。
LLMは分子予測タスクを効果的に扱えるのか?
6つの標準分子データセットの分類および回帰予測タスクを同定する。
テキストベースのモデルと、分子の幾何学的構造を分析するために特別に設計されたモデルを含む、既存の機械学習(ML)モデルと比較する。
論文 参考訳(メタデータ) (2024-03-08T05:59:56Z) - ChemLLM: A Chemical Large Language Model [49.308528569982805]
大規模言語モデル(LLM)は化学応用において顕著な進歩を遂げた。
しかし、コミュニティには化学に特化したLLMが欠落している。
本稿では,化学に特化した最初のLLMを特徴とする包括的フレームワークであるChemLLMを紹介する。
論文 参考訳(メタデータ) (2024-02-10T01:11:59Z) - Large Language Model Distilling Medication Recommendation Model [61.89754499292561]
大規模言語モデル(LLM)の強力な意味理解と入力非依存特性を利用する。
本研究は, LLMを用いて既存の薬剤推奨手法を変換することを目的としている。
これを軽減するため,LLMの習熟度をよりコンパクトなモデルに伝達する機能レベルの知識蒸留技術を開発した。
論文 参考訳(メタデータ) (2024-02-05T08:25:22Z) - ChemDFM: Dialogue Foundation Model for Chemistry [27.804229420333137]
ChemDFM-13Bは、化学文献、教科書、命令から34Bトークンと、一般領域からの様々なデータに基づいて訓練されている。
高度な自由形式の言語理解能力を持ちながら、化学知識や言語を保存し、理解し、推論することができる。
ChemDFMは、大きな大きさの違いにもかかわらず、化学タスクの大部分でGPT-4を超えることができる。
論文 参考訳(メタデータ) (2024-01-26T12:45:55Z) - Structured Chemistry Reasoning with Large Language Models [70.13959639460015]
大規模言語モデル(LLMs)は様々な分野において優れているが、特に化学において複雑な科学的推論に苦慮している。
所望のガイダンスを提供し,LSMの化学的推論能力を大幅に向上させる,シンプルで効果的なプロンプト戦略であるStructChemを紹介した。
量子化学、力学、物理化学、運動学の4分野にわたる試験では、StructChemはGPT-4の性能を大幅に向上させ、最大30%のピーク改善を実現している。
論文 参考訳(メタデータ) (2023-11-16T08:20:36Z) - What can Large Language Models do in chemistry? A comprehensive
benchmark on eight tasks [41.9830989458936]
自然言語処理タスクに強力な能力を持つ大規模言語モデル(LLM)が出現している。
化学領域全体にわたる幅広いタスクにおいてLLMの能力を評価することを目的としている。
論文 参考訳(メタデータ) (2023-05-27T14:17:33Z) - Multi-Task Instruction Tuning of LLaMa for Specific Scenarios: A
Preliminary Study on Writing Assistance [60.40541387785977]
小さな基礎モデルは、命令駆動データを用いて微調整された場合、多様なタスクに対処する際、顕著な習熟度を示すことができる。
本研究は, 汎用的な指導よりも, 1つないし数つの特定のタスクに主眼を置いている, 実践的な問題設定について検討する。
実験結果から,命令データに対する微調整LLaMAは,タスクの記述能力を大幅に向上することが示された。
論文 参考訳(メタデータ) (2023-05-22T16:56:44Z) - LLMs for Knowledge Graph Construction and Reasoning: Recent Capabilities
and Future Opportunities [68.86209486449924]
知識グラフ(KG)の構築と推論のための大規模言語モデル(LLM)の評価。
我々は,LLMと外部ソースを用いたマルチエージェントベースのアプローチであるAutoKGを提案し,KGの構築と推論を行う。
論文 参考訳(メタデータ) (2023-05-22T15:56:44Z) - ChemCrow: Augmenting large-language models with chemistry tools [0.9195187117013247]
大規模言語モデル(LLM)は、領域全体にわたるタスクにおいて高いパフォーマンスを示してきたが、化学に関連した問題に悩まされている。
本研究では, 有機合成, 創薬, 材料設計における課題を遂行するLLM化学剤であるChemCrowを紹介する。
我々のエージェントは、昆虫の忌避剤である3種の有機触媒の合成を自律的に計画し、実行し、新しいクロモフォアの発見を導いた。
論文 参考訳(メタデータ) (2023-04-11T17:41:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。