論文の概要: A Sober Look at LLMs for Material Discovery: Are They Actually Good for Bayesian Optimization Over Molecules?
- arxiv url: http://arxiv.org/abs/2402.05015v2
- Date: Tue, 28 May 2024 18:59:01 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-30 23:31:04.301528
- Title: A Sober Look at LLMs for Material Discovery: Are They Actually Good for Bayesian Optimization Over Molecules?
- Title（参考訳）: LLMs for Material Discovery:実際は分子のベイズ最適化に良いのか?
- Authors: Agustinus Kristiadi, Felix Strieth-Kalthoff, Marta Skreta, Pascal Poupart, Alán Aspuru-Guzik, Geoff Pleiss,
- Abstract要約: 分子空間におけるベイズ最適化を高速化するために,大規模言語モデル(LLM)が実際に有用かどうかを考察する。
実世界の化学問題に対する我々の実験は、LLMが分子上のBOに有用であることを示しているが、それらはドメイン固有のデータで事前訓練されたり微調整された場合に限られる。
- 参考スコア（独自算出の注目度）: 27.976789491185354
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Automation is one of the cornerstones of contemporary material discovery. Bayesian optimization (BO) is an essential part of such workflows, enabling scientists to leverage prior domain knowledge into efficient exploration of a large molecular space. While such prior knowledge can take many forms, there has been significant fanfare around the ancillary scientific knowledge encapsulated in large language models (LLMs). However, existing work thus far has only explored LLMs for heuristic materials searches. Indeed, recent work obtains the uncertainty estimate -- an integral part of BO -- from point-estimated, non-Bayesian LLMs. In this work, we study the question of whether LLMs are actually useful to accelerate principled Bayesian optimization in the molecular space. We take a sober, dispassionate stance in answering this question. This is done by carefully (i) viewing LLMs as fixed feature extractors for standard but principled BO surrogate models and by (ii) leveraging parameter-efficient finetuning methods and Bayesian neural networks to obtain the posterior of the LLM surrogate. Our extensive experiments with real-world chemistry problems show that LLMs can be useful for BO over molecules, but only if they have been pretrained or finetuned with domain-specific data.
- Abstract（参考訳）: 自動化は現代の物質発見の基盤の1つである。
ベイズ最適化(BO)はそのようなワークフローの不可欠な部分であり、科学者は事前のドメイン知識を利用して大きな分子空間を効率的に探索することができる。
このような事前の知識は多くの形態をとることができるが、大きな言語モデル(LLM)にカプセル化された補助的な科学的知識には、かなりのファンファーレがあった。
しかし、既存の研究は、ヒューリスティックな材料探索のためのLLMを探索しているだけである。
実際、最近の研究は、ポイント推定された非ベイズ的 LLM から不確実性推定(BO の積分部分)を得る。
本研究では, LLMが分子空間におけるベイズ最適化の原理を加速するのに実際に有用かどうかを考察する。
私たちはこの質問に答える際に冷静で思いやりのない姿勢を取る。
これは慎重に行われる
一 LLM を標準だが原則化された BO シュロゲートモデルの固定特徴抽出器として見ること。
二 パラメータ効率のよい微調整法とベイズニューラルネットワークを活用してLLMサロゲートの後部を得る。
実世界の化学問題に対する広範な実験により、LLMは分子上のBOに有用であるが、ドメイン固有のデータで事前訓練または微調整された場合に限り有用であることが示された。
関連論文リスト
- SmileyLlama: Modifying Large Language Models for Directed Chemical Space Exploration [2.6421122712076244]
我々は,Large Language Model (LLM) がケミカル言語モデル (CLM) の基礎モデルとして機能することを示す。
我々はLSMを訓練して、薬物開発に特有な分子の生成などのプロンプトに反応できることを実証した。
論文 参考訳（メタデータ） (2024-09-03T18:59:20Z) - Benchmarking Large Language Models for Molecule Prediction Tasks [7.067145619709089]
大規模言語モデル(LLM)は多くの自然言語処理(NLP)タスクの最前線にある。
LLMは分子予測タスクを効果的に扱えるのか?
6つの標準分子データセットの分類および回帰予測タスクを同定する。
テキストベースのモデルと、分子の幾何学的構造を分析するために特別に設計されたモデルを含む、既存の機械学習(ML)モデルと比較する。
論文 参考訳（メタデータ） (2024-03-08T05:59:56Z) - Characterizing Truthfulness in Large Language Model Generations with
Local Intrinsic Dimension [63.330262740414646]
大規模言語モデル(LLM)から生成されたテキストの真偽を特徴付ける方法と予測法について検討する。
モデルアクティベーションの局所固有次元 (LID) を用いて, 内部アクティベーションを調査し, LLMの真偽を定量化する。
論文 参考訳（メタデータ） (2024-02-28T04:56:21Z) - LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。
本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。
このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
論文 参考訳（メタデータ） (2024-02-26T07:33:05Z) - How Can LLM Guide RL? A Value-Based Approach [68.55316627400683]
強化学習(Reinforcement Learning, RL)は、将来の行動方針をフィードバックで改善することにより、シーケンシャルな意思決定問題の事実上の標準的実践となった。
大規模言語モデル(LLM)の最近の発展は、言語理解と生成において印象的な能力を示したが、探索と自己改善能力に欠けていた。
我々はLINVITというアルゴリズムを開発し、LLMガイダンスを値ベースRLの正規化因子として組み込んで学習に必要なデータ量を大幅に削減する。
論文 参考訳（メタデータ） (2024-02-25T20:07:13Z) - Small Models, Big Insights: Leveraging Slim Proxy Models To Decide When and What to Retrieve for LLMs [60.40396361115776]
本稿では,スリムプロキシモデルを用いた大規模言語モデル (LLM) における知識不足を検知する新しい協調手法であるSlimPLMを提案する。
パラメータがはるかに少ないプロキシモデルを採用し、回答を回答としています。
ヒューリスティックな回答は、LLM内の既知の未知の知識と同様に、ユーザの質問に答えるために必要な知識を予測するのに使用される。
論文 参考訳（メタデータ） (2024-02-19T11:11:08Z) - LLaMP: Large Language Model Made Powerful for High-fidelity Materials Knowledge Retrieval and Distillation [0.0]
大規模言語モデル(LLM)は本質的に長期記憶を欠いているため、ドメイン固有の文献やデータに基づいてそれらを微調整する非自明でアドホックで必然的にバイアスのあるタスクである。
本稿では、階層的推論・実行(RAG)エージェントのフレームワークであるLLaMPを紹介し、計算および実験データと相互作用できる。
微調整なしでは、LLaMPは材料科学の概念の様々なモダリティを理解し統合する強力なツール利用能力を示す。
論文 参考訳（メタデータ） (2024-01-30T18:37:45Z) - DrugAssist: A Large Language Model for Molecule Optimization [29.95488215594247]
DrugAssistは、人間と機械の対話を通じて最適化を行う対話型分子最適化モデルである。
DrugAssistは、単一および複数プロパティの最適化において、主要な結果を得た。
分子最適化タスクの微調整言語モデルのための,MomoOpt-Instructionsと呼ばれる大規模命令ベースデータセットを公開している。
論文 参考訳（メタデータ） (2023-12-28T10:46:56Z) - LaGR-SEQ: Language-Guided Reinforcement Learning with Sample-Efficient
Querying [71.86163159193327]
大規模言語モデル(LLM)は、最近、テキストを介してコンテキスト対応の応答を提供するという、印象的な能力を実証した。
この能力は、パターン補完に関連するシーケンシャルな意思決定タスクにおいて、妥当なソリューションを予測するために使われる可能性がある。
第一強化学習(RL)エージェントによって部分的に完了したタスクに対する解を提案するために,LLMのこの予測能力を利用するLaGRを紹介した。
論文 参考訳（メタデータ） (2023-08-21T02:07:35Z) - Empowering Molecule Discovery for Molecule-Caption Translation with Large Language Models: A ChatGPT Perspective [53.300288393173204]
大規模言語モデル(LLM)は、様々なクロスモーダルタスクにおいて顕著なパフォーマンスを示している。
本研究では,分子カプセル翻訳のためのインコンテキストFew-Shot Molecule Learningパラダイムを提案する。
分子理解とテキストベースの分子生成を含む分子キャプション翻訳におけるMollReGPTの有効性を評価する。
論文 参考訳（メタデータ） (2023-06-11T08:16:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。