論文の概要: LlaSMol: Advancing Large Language Models for Chemistry with a Large-Scale, Comprehensive, High-Quality Instruction Tuning Dataset

• arxiv url: http://arxiv.org/abs/2402.09391v2
• Date: Sat, 17 Feb 2024 18:50:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-21 00:42:32.483552
• Title: LlaSMol: Advancing Large Language Models for Chemistry with a Large-Scale, Comprehensive, High-Quality Instruction Tuning Dataset
• Title（参考訳）: LlaSMol: 大規模で包括的で高品質なインストラクションチューニングデータセットによる化学用大規模言語モデルの改善
• Authors: Botao Yu, Frazier N. Baker, Ziqi Chen, Xia Ning, Huan Sun
• Abstract要約: 大規模言語モデル (LLMs) は, 包括的な化学タスクにおいて, 非常に強力な結果が得られることを示す。 私たちの成功の鍵は、SMolInstructという名前の命令チューニングのための大規模で包括的で高品質なデータセットです。
• 参考スコア（独自算出の注目度）: 14.015314320791031
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Chemistry plays a crucial role in many domains, such as drug discovery and material science. While large language models (LLMs) such as GPT-4 exhibit remarkable capabilities on natural language processing tasks, existing work shows their performance on chemistry tasks is discouragingly low. In this paper, however, we demonstrate that our developed LLMs can achieve very strong results on a comprehensive set of chemistry tasks, outperforming the most advanced GPT-4 across all the tasks by a substantial margin and approaching the SoTA task-specific models. The key to our success is a large-scale, comprehensive, high-quality dataset for instruction tuning named SMolInstruct. It contains 14 meticulously selected chemistry tasks and over three million high-quality samples, laying a solid foundation for training and evaluating LLMs for chemistry. Based on SMolInstruct, we fine-tune a set of open-source LLMs, among which, we find that Mistral serves as the best base model for chemistry tasks. We further conduct analysis on the impact of trainable parameters, providing insights for future research.
• Abstract（参考訳）: 化学は創薬や物質科学など多くの分野において重要な役割を担っている。 gpt-4のような大規模言語モデル(llm)は自然言語処理タスクにおいて顕著な能力を示すが、既存の研究は化学処理における性能が著しく低いことを示している。 しかし,本論文では,本研究で開発したLCMが,全タスクにおいて最上級の GPT-4 をかなり上回り,SoTA タスク固有モデルに近づき,包括的な化学タスクの集合において非常に強力な結果が得られることを実証する。 私たちの成功の鍵はSMolInstructという名前の命令チューニングのための大規模で包括的で高品質なデータセットです。 14の精巧に選択された化学タスクと300万以上の高品質なサンプルが含まれており、化学のためのLCMの訓練と評価のためのしっかりとした基礎を築いている。 SMolInstructに基づいて、オープンソースのLCMの集合を微調整し、ミストラールが化学タスクの最良のベースモデルであることを示す。 さらに,学習可能なパラメータの影響に関する分析を行い,今後の研究への洞察を提供する。

関連論文リスト

• ChemEval: A Comprehensive Multi-Level Chemical Evaluation for Large Language Models [62.37850540570268]
  この領域の既存のベンチマークは、化学研究専門家の特定の要求を適切に満たさない。 ChemEvalは化学の4つの重要な進歩レベルを特定し、42の異なる化学タスクで12次元のLCMを評価する。 その結果, LLMは文献の理解と指導に優れる一方で, 高度な化学知識を必要とするタスクでは不足していることがわかった。
  論文  参考訳（メタデータ） (2024-09-21T02:50:43Z)
• ChemVLM: Exploring the Power of Multimodal Large Language Models in Chemistry Area [50.15254966969718]
  textbfChemVLMは、化学応用のためのオープンソースの化学マルチモーダル大規模言語モデルである。 ChemVLMは、テキストと視覚の化学情報の両方を理解する能力を高めるために、慎重にキュレートされたバイリンガルデータセットで訓練されている。 我々はChemVLMを、様々なタスクにおいて、オープンソースおよびプロプライエタリな多モーダルな大規模言語モデルに対してベンチマークする。
  論文  参考訳（メタデータ） (2024-08-14T01:16:40Z)
• ChemLLM: A Chemical Large Language Model [49.308528569982805]
  大規模言語モデル(LLM)は化学応用において顕著な進歩を遂げた。 しかし、コミュニティには化学に特化したLLMが欠落している。 本稿では,化学に特化した最初のLLMを特徴とする包括的フレームワークであるChemLLMを紹介する。
  論文  参考訳（メタデータ） (2024-02-10T01:11:59Z)
• Large Language Model Distilling Medication Recommendation Model [61.89754499292561]
  大規模言語モデル(LLM)の強力な意味理解と入力非依存特性を利用する。 本研究は, LLMを用いて既存の薬剤推奨手法を変換することを目的としている。 これを軽減するため,LLMの習熟度をよりコンパクトなモデルに伝達する機能レベルの知識蒸留技術を開発した。
  論文  参考訳（メタデータ） (2024-02-05T08:25:22Z)
• ChemDFM: A Large Language Foundation Model for Chemistry [27.864255196445324]
  より汎用的で効率的なソリューションは、多くのタスクに対処し、幅広い化学分野における自由形式の対話をサポートするAIモデルである。 我々は化学文献や教科書から34Bトークンを学習し、2.7Mインストラクションを用いて微調整した化学用LLMのパイオニアであるChemDFMを開発した。 我々はHuggingface上のChemDFMの推論コード、評価データセット、モデルウェイトをオープンソース化した。
  論文  参考訳（メタデータ） (2024-01-26T12:45:55Z)
• Structured Chemistry Reasoning with Large Language Models [70.13959639460015]
  大規模言語モデル(LLMs)は様々な分野において優れているが、特に化学において複雑な科学的推論に苦慮している。 所望のガイダンスを提供し,LSMの化学的推論能力を大幅に向上させる,シンプルで効果的なプロンプト戦略であるStructChemを紹介した。 量子化学、力学、物理化学、運動学の4分野にわたる試験では、StructChemはGPT-4の性能を大幅に向上させ、最大30%のピーク改善を実現している。
  論文  参考訳（メタデータ） (2023-11-16T08:20:36Z)
• What can Large Language Models do in chemistry? A comprehensive benchmark on eight tasks [41.9830989458936]
  自然言語処理タスクに強力な能力を持つ大規模言語モデル(LLM)が出現している。 化学領域全体にわたる幅広いタスクにおいてLLMの能力を評価することを目的としている。
  論文  参考訳（メタデータ） (2023-05-27T14:17:33Z)
• ChemCrow: Augmenting large-language models with chemistry tools [0.9195187117013247]
  大規模言語モデル(LLM)は、領域全体にわたるタスクにおいて高いパフォーマンスを示してきたが、化学に関連した問題に悩まされている。 本研究では, 有機合成, 創薬, 材料設計における課題を遂行するLLM化学剤であるChemCrowを紹介する。 我々のエージェントは、昆虫の忌避剤である3種の有機触媒の合成を自律的に計画し、実行し、新しいクロモフォアの発見を導いた。
  論文  参考訳（メタデータ） (2023-04-11T17:41:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。