論文の概要: LLaMP: Large Language Model Made Powerful for High-fidelity Materials
Knowledge Retrieval and Distillation
- arxiv url: http://arxiv.org/abs/2401.17244v1
- Date: Tue, 30 Jan 2024 18:37:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-31 13:41:08.722372
- Title: LLaMP: Large Language Model Made Powerful for High-fidelity Materials
Knowledge Retrieval and Distillation
- Title(参考訳): LLaMP:高忠実度材料知識検索と蒸留のための大規模言語モデル
- Authors: Yuan Chiang, Chia-Hong Chou, Janosh Riebesell
- Abstract要約: 材料プロジェクトにおけるデータと相互作用するデータ認識推論・アクション(RAG)エージェントのフレームワークであるLLaMPを紹介する。
微調整なしで、LLaMPは材料科学の概念の様々なモダリティを理解し、統合する能力を示す。
我々は,この枠組みが科学的仮説の貴重な構成要素であり,将来の自律実験施設の基礎となると想定している。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reducing hallucination of Large Language Models (LLMs) is imperative for use
in the sciences where reproducibility is crucial. However, LLMs inherently lack
long-term memory, making it a nontrivial, ad hoc, and inevitably biased task to
fine-tune them on domain-specific literature and data. Here we introduce LLaMP,
a multimodal retrieval-augmented generation (RAG) framework of multiple
data-aware reasoning-and-acting (ReAct) agents that dynamically interact with
computational and experimental data on Materials Project (MP). Without
fine-tuning, LLaMP demonstrates an ability to comprehend and integrate various
modalities of materials science concepts, fetch relevant data stores on the
fly, process higher-order data (such as crystal structures and elastic
tensors), and summarize multi-step procedures for solid-state synthesis. We
show that LLaMP effectively corrects errors in GPT-3.5's intrinsic knowledge,
reducing a 5.21% MAPE on frequently-documented bandgaps and a significant
1103.54% MAPE on formation energies -- errors that GPT-3.5 seems to derive from
mixed data sources. Additionally, LLaMP substantially reduces the hallucinated
volumetric strain in a diamond cubic silicon structure from 66.3% to 0. The
proposed framework offers an intuitive and nearly hallucination-free approach
to exploring materials informatics and establishes a pathway for knowledge
distillation and fine-tuning other language models. We envision the framework
as a valuable component for scientific hypotheses and a foundation for future
autonomous laboratories where multiple LLM agents communicate and cooperate
with robotics to drive material synthesis and chemical reactions without
hard-coded human logic and intervention.
- Abstract(参考訳): 大言語モデル(LLM)の幻覚の低減は再現性が不可欠である科学において必要不可欠である。
しかし、llmには本質的に長期記憶が欠如しており、ドメイン固有の文献やデータでそれらを微調整する非自明でアドホックで必然的に偏ったタスクとなっている。
本稿では,材料プロジェクト (mp) 上の計算および実験データと動的に相互作用する複数のデータ認識推論・実行 (react) エージェントのマルチモーダル検索型生成 (rag) フレームワークである llamp を紹介する。
微調整なしで、LLaMPは材料科学の概念の様々なモダリティを理解し統合し、関連するデータストアをフライで取得し、高次データ(結晶構造や弾性テンソルなど)を処理し、固体合成のための多段階の手順を要約する能力を示す。
LLaMPはGPT-3.5の内在的知識の誤りを効果的に補正し、頻繁に文書化されたバンドギャップでは5.21%のMAPEを減少させ、生成エネルギーでは1103.54%のMAPEを減少させる。
加えて、LLaMPはダイヤモンド立方体シリコン構造の幻覚体積ひずみを66.3%から0。
提案するフレームワークは,資料情報学を探求するための直感的かつほとんど幻覚のないアプローチを提供し,知識の蒸留と他の言語モデルの微調整のための経路を確立する。
我々は、このフレームワークを科学的仮説の貴重なコンポーネントとして想定し、複数のLLMエージェントがロボットと通信し協力し、人間の論理や介入をハードコードせずに物質合成と化学反応を駆動する未来の自律研究所の基盤となる。
関連論文リスト
- Can Large Language Models Learn the Physics of Metamaterials? An Empirical Study with ChatGPT [9.177651206337005]
ChatGPT、Gemini、LlaMa、Claudeといった大規模言語モデル(LLM)は、インターネットから解析された大量のテキストに基づいて訓練されている。
テキストプロンプトが与えられた範囲の周波数で電磁スペクトルを予測できる最大4万データに基づいて微調整されたLLMを提案する。
論文 参考訳(メタデータ) (2024-04-23T19:05:42Z) - Reliable, Adaptable, and Attributable Language Models with Retrieval [144.26890121729514]
パラメトリック言語モデル(LM)は大量のWebデータに基づいて訓練されている。
幻覚、新しいデータ分布への適応の困難、妥当性の欠如など、実践的な課題に直面している。
我々は、次世代のLMとしてパラメトリックLMを置き換えるための検索拡張LMを提唱する。
論文 参考訳(メタデータ) (2024-03-05T18:22:33Z) - Characterizing Truthfulness in Large Language Model Generations with
Local Intrinsic Dimension [63.330262740414646]
大規模言語モデル(LLM)から生成されたテキストの真偽を特徴付ける方法と予測法について検討する。
モデルアクティベーションの局所固有次元 (LID) を用いて, 内部アクティベーションを調査し, LLMの真偽を定量化する。
論文 参考訳(メタデータ) (2024-02-28T04:56:21Z) - Mining experimental data from Materials Science literature with Large Language Models: an evaluation study [1.9849264945671101]
本研究は,大規模言語モデル (LLM) の教材科学における科学的資料から構造化情報を抽出する能力を評価することを目的としている。
我々は,情報抽出における2つの重要な課題に焦点をあてる: (i) 研究材料と物性の名前を付けたエンティティ認識(NER) と, (ii) それらのエンティティ間の関係抽出(RE) である。
これらのタスクの実行におけるLCMの性能は、BERTアーキテクチャとルールベースのアプローチ(ベースライン)に基づいて従来のモデルと比較される。
論文 参考訳(メタデータ) (2024-01-19T23:00:31Z) - CulturaX: A Cleaned, Enormous, and Multilingual Dataset for Large
Language Models in 167 Languages [86.90220551111096]
大規模言語モデル(LLM)のトレーニングデータセットは、完全には公開されないことが多い。
我々は167言語で6.3兆のトークンを持つ相当な多言語データセットであるCulturaXを紹介する。
論文 参考訳(メタデータ) (2023-09-17T23:49:10Z) - Simultaneous Machine Translation with Large Language Models [51.470478122113356]
我々は,SimulMTタスクに大規模言語モデルを適用する可能性を検討する。
MUST-Cデータセットと異なる9言語でtextttLlama2-7b-chatモデルを用いて実験を行った。
その結果,LLM は BLEU と LAAL の指標で専用MT モデルよりも優れていた。
論文 参考訳(メタデータ) (2023-09-13T04:06:47Z) - Large Language Models, scientific knowledge and factuality: A systematic
analysis in antibiotic discovery [0.0]
本研究では,生物医学的背景知識と対話するための大規模言語モデルの可能性を検討する。
化学化合物定義生成と化学化合物・ファングス関係決定の2つのプロンプトベースタスクにおいて、最先端の10のモデルが試験される。
その結果、最近のモデルでは流布率が改善されているが、実際の精度は依然として低く、表現過剰な実体に偏っていることがわかった。
論文 参考訳(メタデータ) (2023-05-28T22:46:21Z) - Knowledge-Augmented Reasoning Distillation for Small Language Models in
Knowledge-Intensive Tasks [90.11273439036455]
大規模言語モデル(LLM)は知識集約推論タスクにおいて有望なパフォーマンスを示している。
外部知識ベースから得られた知識を付加したLPMから理性を生成するための,小型LMを微調整する新しい手法であるKARDを提案する。
我々は,KARDが知識集約型推論データセットにおいて,小さなT5モデルとGPTモデルの性能を著しく向上させることを示す。
論文 参考訳(メタデータ) (2023-05-28T13:00:00Z) - BIGDML: Towards Exact Machine Learning Force Fields for Materials [55.944221055171276]
機械学習力場(MLFF)は正確で、計算的で、データ効率が良く、分子、材料、およびそれらのインターフェースに適用できなければならない。
ここでは、Bravais-Inspired Gradient-Domain Machine Learningアプローチを導入し、わずか10-200原子のトレーニングセットを用いて、信頼性の高い力場を構築する能力を実証する。
論文 参考訳(メタデータ) (2021-06-08T10:14:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。