Fugu-MT 論文翻訳(概要): Regression with Large Language Models for Materials and Molecular Property Prediction

論文の概要: Regression with Large Language Models for Materials and Molecular Property Prediction

arxiv url: http://arxiv.org/abs/2409.06080v1
Date: Mon, 9 Sep 2024 21:26:32 GMT
ステータス: 処理完了
システム内更新日: 2024-09-11 19:40:45.193186
Title: Regression with Large Language Models for Materials and Molecular Property Prediction
Title（参考訳）: 材料と分子特性予測のための大規模言語モデルによる回帰
Authors: Ryan Jacobs, Maciej P. Polak, Lane E. Schultz, Hamed Mahdavi, Vasant Honavar, Dane Morgan,
Abstract要約: 本研究では,大規模言語モデル(LLM)が物質的および分子的特性の回帰処理を行う能力を示す。我々は,Large Language Model Meta AI (LLaMA) 3を,QM9データセットのいくつかの分子特性と24の材料特性についてベンチマークした。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We demonstrate the ability of large language models (LLMs) to perform material and molecular property regression tasks, a significant deviation from the conventional LLM use case. We benchmark the Large Language Model Meta AI (LLaMA) 3 on several molecular properties in the QM9 dataset and 24 materials properties. Only composition-based input strings are used as the model input and we fine tune on only the generative loss. We broadly find that LLaMA 3, when fine-tuned using the SMILES representation of molecules, provides useful regression results which can rival standard materials property prediction models like random forest or fully connected neural networks on the QM9 dataset. Not surprisingly, LLaMA 3 errors are 5-10x higher than those of the state-of-the-art models that were trained using far more granular representation of molecules (e.g., atom types and their coordinates) for the same task. Interestingly, LLaMA 3 provides improved predictions compared to GPT-3.5 and GPT-4o. This work highlights the versatility of LLMs, suggesting that LLM-like generative models can potentially transcend their traditional applications to tackle complex physical phenomena, thus paving the way for future research and applications in chemistry, materials science and other scientific domains.
Abstract（参考訳）: 大規模言語モデル(LLM)による物質的および分子的特性回帰タスクの実行能力は,従来のLLMの場合と大きく異なっていた。我々は,Large Language Model Meta AI (LLaMA) 3を,QM9データセットのいくつかの分子特性と24の材料特性についてベンチマークした。合成に基づく入力文字列のみをモデル入力とし、生成損失のみを微調整する。 SMILES表現を用いて微調整されたLLaMA3は、ランダムフォレストやQM9データセット上の完全連結ニューラルネットワークのような標準材料特性予測モデルに匹敵する有用な回帰結果を提供する。驚くべきことに、LLaMA 3の誤差は、同じタスクに対して分子(例えば原子の種類やそれらの座標)のより粒度の細かい表現を用いて訓練された最先端のモデルよりも5～10倍高い。興味深いことに、LLaMA 3 は GPT-3.5 や GPT-4o よりも優れた予測を提供する。この研究はLLMの汎用性を強調し、LCMに似た生成モデルは、複雑な物理現象に対処するために従来の応用を超越する可能性があり、化学、材料科学、その他の科学分野における将来の研究と応用の道を開くことを示唆している。

関連論文リスト

Locally-Deployed Chain-of-Thought (CoT) Reasoning Model in Chemical Engineering: Starting from 30 Experimental Data [0.0]
本稿では,化学工学におけるChain-of-Thought(CoT)推論モデルの適用について検討する。 2つのCoT構築手法、Large Language Model-Chain of Thought (LLM-CoT)とMachine Learning-Large Language Model-Chain of Thought (ML-LLM-CoT)について検討した。
論文参考訳（メタデータ） (2025-02-17T23:43:48Z)
Pre-trained Molecular Language Models with Random Functional Group Masking [54.900360309677794]
SMILESをベースとしたアンダーリネム分子アンダーリネム言語アンダーリネムモデルを提案し,特定の分子原子に対応するSMILESサブシーケンスをランダムにマスキングする。この技術は、モデルに分子構造や特性をよりよく推測させ、予測能力を高めることを目的としている。
論文参考訳（メタデータ） (2024-11-03T01:56:15Z)
An empirical study of LLaMA3 quantization: from LLMs to MLLMs [54.91212829143966]
LLaMAファミリーは、最も強力なオープンソースの大規模言語モデル(LLM)の1つである。 LLaMA3モデルは、15T以上のデータに対する超大規模事前トレーニングによって、様々な領域で優れたパフォーマンスを実現している。我々は,LLaMA3の1-8ビットおよび様々なデータセット上で,LLaMA3の学習後量子化とLoRA微調整(LoRA-FT)の10種類の既存手法を評価し,LLaMA3の低ビット量子化性能を明らかにする。
論文参考訳（メタデータ） (2024-04-22T10:03:03Z)
Benchmarking Large Language Models for Molecule Prediction Tasks [7.067145619709089]
大規模言語モデル(LLM)は多くの自然言語処理(NLP)タスクの最前線にある。 LLMは分子予測タスクを効果的に扱えるのか? 6つの標準分子データセットの分類および回帰予測タスクを同定する。テキストベースのモデルと、分子の幾何学的構造を分析するために特別に設計されたモデルを含む、既存の機械学習(ML)モデルと比較する。
論文参考訳（メタデータ） (2024-03-08T05:59:56Z)
Characterizing Truthfulness in Large Language Model Generations with Local Intrinsic Dimension [63.330262740414646]
大規模言語モデル(LLM)から生成されたテキストの真偽を特徴付ける方法と予測法について検討する。モデルアクティベーションの局所固有次元 (LID) を用いて, 内部アクティベーションを調査し, LLMの真偽を定量化する。
論文参考訳（メタデータ） (2024-02-28T04:56:21Z)
LLaMP: Large Language Model Made Powerful for High-fidelity Materials Knowledge Retrieval and Distillation [0.0]
大規模言語モデル(LLM)は本質的に長期記憶を欠いているため、ドメイン固有の文献やデータに基づいてそれらを微調整する非自明でアドホックで必然的にバイアスのあるタスクである。本稿では、階層的推論・実行(RAG)エージェントのフレームワークであるLLaMPを紹介し、計算および実験データと相互作用できる。微調整なしでは、LLaMPは材料科学の概念の様々なモダリティを理解し統合する強力なツール利用能力を示す。
論文参考訳（メタデータ） (2024-01-30T18:37:45Z)
Can Large Language Models Understand Molecules? [0.0699049312989311]
下流タスクへのSMILES文字列の埋め込みにおけるSMILESの事前学習モデルと比較して,GPTとLLaMAの性能について検討した。 LLaMAを用いたSMILESの埋め込みは,分子特性およびDDI予測タスクにおいて,GPTの埋め込みよりも優れていた。
論文参考訳（メタデータ） (2024-01-05T18:31:34Z)
Can Large Language Models Empower Molecular Property Prediction? [16.5246941211725]
分子特性の予測は、科学分野における形質転換の可能性によって大きな注目を集めている。近年,Large Language Models (LLMs) が急速に発展し,NLPの分野に革命をもたらした。本研究では、ゼロ/フェーショットの分子分類と、LLMによって生成された新しい説明を分子の表現として用いるという2つの視点を通して、この目的に向けて前進する。
論文参考訳（メタデータ） (2023-07-14T16:06:42Z)
Empowering Molecule Discovery for Molecule-Caption Translation with Large Language Models: A ChatGPT Perspective [53.300288393173204]
大規模言語モデル(LLM)は、様々なクロスモーダルタスクにおいて顕著なパフォーマンスを示している。本研究では,分子カプセル翻訳のためのインコンテキストFew-Shot Molecule Learningパラダイムを提案する。分子理解とテキストベースの分子生成を含む分子キャプション翻訳におけるMollReGPTの有効性を評価する。
論文参考訳（メタデータ） (2023-06-11T08:16:25Z)
Prediction of liquid fuel properties using machine learning models with Gaussian processes and probabilistic conditional generative learning [56.67751936864119]
本研究の目的は、代替燃料の物理的特性を予測するためのクロージャ方程式として機能する、安価で計算可能な機械学習モデルを構築することである。これらのモデルは、MDシミュレーションのデータベースや、データ融合-忠実性アプローチによる実験的な測定を用いて訓練することができる。その結果,MLモデルでは,広範囲の圧力および温度条件の燃料特性を正確に予測できることがわかった。
論文参考訳（メタデータ） (2021-10-18T14:43:50Z)
BIGDML: Towards Exact Machine Learning Force Fields for Materials [55.944221055171276]
機械学習力場(MLFF)は正確で、計算的で、データ効率が良く、分子、材料、およびそれらのインターフェースに適用できなければならない。ここでは、Bravais-Inspired Gradient-Domain Machine Learningアプローチを導入し、わずか10-200原子のトレーニングセットを用いて、信頼性の高い力場を構築する能力を実証する。
論文参考訳（メタデータ） (2021-06-08T10:14:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。