論文の概要: LlaSMol: Advancing Large Language Models for Chemistry with a
Large-Scale, Comprehensive, High-Quality Instruction Tuning Dataset
- arxiv url: http://arxiv.org/abs/2402.09391v2
- Date: Sat, 17 Feb 2024 18:50:37 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-21 00:42:32.483552
- Title: LlaSMol: Advancing Large Language Models for Chemistry with a
Large-Scale, Comprehensive, High-Quality Instruction Tuning Dataset
- Title(参考訳): LlaSMol: 大規模で包括的で高品質なインストラクションチューニングデータセットによる化学用大規模言語モデルの改善
- Authors: Botao Yu, Frazier N. Baker, Ziqi Chen, Xia Ning, Huan Sun
- Abstract要約: 大規模言語モデル (LLMs) は, 包括的な化学タスクにおいて, 非常に強力な結果が得られることを示す。
私たちの成功の鍵は、SMolInstructという名前の命令チューニングのための大規模で包括的で高品質なデータセットです。
- 参考スコア(独自算出の注目度): 14.015314320791031
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Chemistry plays a crucial role in many domains, such as drug discovery and
material science. While large language models (LLMs) such as GPT-4 exhibit
remarkable capabilities on natural language processing tasks, existing work
shows their performance on chemistry tasks is discouragingly low. In this
paper, however, we demonstrate that our developed LLMs can achieve very strong
results on a comprehensive set of chemistry tasks, outperforming the most
advanced GPT-4 across all the tasks by a substantial margin and approaching the
SoTA task-specific models. The key to our success is a large-scale,
comprehensive, high-quality dataset for instruction tuning named SMolInstruct.
It contains 14 meticulously selected chemistry tasks and over three million
high-quality samples, laying a solid foundation for training and evaluating
LLMs for chemistry. Based on SMolInstruct, we fine-tune a set of open-source
LLMs, among which, we find that Mistral serves as the best base model for
chemistry tasks. We further conduct analysis on the impact of trainable
parameters, providing insights for future research.
- Abstract(参考訳): 化学は創薬や物質科学など多くの分野において重要な役割を担っている。
gpt-4のような大規模言語モデル(llm)は自然言語処理タスクにおいて顕著な能力を示すが、既存の研究は化学処理における性能が著しく低いことを示している。
しかし,本論文では,本研究で開発したLCMが,全タスクにおいて最上級の GPT-4 をかなり上回り,SoTA タスク固有モデルに近づき,包括的な化学タスクの集合において非常に強力な結果が得られることを実証する。
私たちの成功の鍵はSMolInstructという名前の命令チューニングのための大規模で包括的で高品質なデータセットです。
14の精巧に選択された化学タスクと300万以上の高品質なサンプルが含まれており、化学のためのLCMの訓練と評価のためのしっかりとした基礎を築いている。
SMolInstructに基づいて、オープンソースのLCMの集合を微調整し、ミストラールが化学タスクの最良のベースモデルであることを示す。
さらに,学習可能なパラメータの影響に関する分析を行い,今後の研究への洞察を提供する。
関連論文リスト
- Benchmarking Large Language Models for Molecule Prediction Tasks [7.067145619709089]
大規模言語モデル(LLM)は多くの自然言語処理(NLP)タスクの最前線にある。
LLMは分子予測タスクを効果的に扱えるのか?
6つの標準分子データセットの分類および回帰予測タスクを同定する。
テキストベースのモデルと、分子の幾何学的構造を分析するために特別に設計されたモデルを含む、既存の機械学習(ML)モデルと比較する。
論文 参考訳(メタデータ) (2024-03-08T05:59:56Z) - ChemLLM: A Chemical Large Language Model [49.308528569982805]
大規模言語モデル(LLM)は化学応用において顕著な進歩を遂げた。
しかし、コミュニティには化学に特化したLLMが欠落している。
本稿では,化学に特化した最初のLLMを特徴とする包括的フレームワークであるChemLLMを紹介する。
論文 参考訳(メタデータ) (2024-02-10T01:11:59Z) - Large Language Model Distilling Medication Recommendation Model [61.89754499292561]
大規模言語モデル(LLM)の強力な意味理解と入力非依存特性を利用する。
本研究は, LLMを用いて既存の薬剤推奨手法を変換することを目的としている。
これを軽減するため,LLMの習熟度をよりコンパクトなモデルに伝達する機能レベルの知識蒸留技術を開発した。
論文 参考訳(メタデータ) (2024-02-05T08:25:22Z) - ChemDFM: Dialogue Foundation Model for Chemistry [27.804229420333137]
ChemDFM-13Bは、化学文献、教科書、命令から34Bトークンと、一般領域からの様々なデータに基づいて訓練されている。
高度な自由形式の言語理解能力を持ちながら、化学知識や言語を保存し、理解し、推論することができる。
ChemDFMは、大きな大きさの違いにもかかわらず、化学タスクの大部分でGPT-4を超えることができる。
論文 参考訳(メタデータ) (2024-01-26T12:45:55Z) - Structured Chemistry Reasoning with Large Language Models [70.13959639460015]
大規模言語モデル(LLMs)は様々な分野において優れているが、特に化学において複雑な科学的推論に苦慮している。
所望のガイダンスを提供し,LSMの化学的推論能力を大幅に向上させる,シンプルで効果的なプロンプト戦略であるStructChemを紹介した。
量子化学、力学、物理化学、運動学の4分野にわたる試験では、StructChemはGPT-4の性能を大幅に向上させ、最大30%のピーク改善を実現している。
論文 参考訳(メタデータ) (2023-11-16T08:20:36Z) - What can Large Language Models do in chemistry? A comprehensive
benchmark on eight tasks [41.9830989458936]
自然言語処理タスクに強力な能力を持つ大規模言語モデル(LLM)が出現している。
化学領域全体にわたる幅広いタスクにおいてLLMの能力を評価することを目的としている。
論文 参考訳(メタデータ) (2023-05-27T14:17:33Z) - Multi-Task Instruction Tuning of LLaMa for Specific Scenarios: A
Preliminary Study on Writing Assistance [60.40541387785977]
小さな基礎モデルは、命令駆動データを用いて微調整された場合、多様なタスクに対処する際、顕著な習熟度を示すことができる。
本研究は, 汎用的な指導よりも, 1つないし数つの特定のタスクに主眼を置いている, 実践的な問題設定について検討する。
実験結果から,命令データに対する微調整LLaMAは,タスクの記述能力を大幅に向上することが示された。
論文 参考訳(メタデータ) (2023-05-22T16:56:44Z) - LLMs for Knowledge Graph Construction and Reasoning: Recent Capabilities
and Future Opportunities [68.86209486449924]
知識グラフ(KG)の構築と推論のための大規模言語モデル(LLM)の評価。
我々は,LLMと外部ソースを用いたマルチエージェントベースのアプローチであるAutoKGを提案し,KGの構築と推論を行う。
論文 参考訳(メタデータ) (2023-05-22T15:56:44Z) - ChemCrow: Augmenting large-language models with chemistry tools [0.9195187117013247]
大規模言語モデル(LLM)は、領域全体にわたるタスクにおいて高いパフォーマンスを示してきたが、化学に関連した問題に悩まされている。
本研究では, 有機合成, 創薬, 材料設計における課題を遂行するLLM化学剤であるChemCrowを紹介する。
我々のエージェントは、昆虫の忌避剤である3種の有機触媒の合成を自律的に計画し、実行し、新しいクロモフォアの発見を導いた。
論文 参考訳(メタデータ) (2023-04-11T17:41:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。