論文の概要: Foundational Large Language Models for Materials Research

• arxiv url: http://arxiv.org/abs/2412.09560v1
• Date: Thu, 12 Dec 2024 18:46:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-13 17:01:57.814986
• Title: Foundational Large Language Models for Materials Research
• Title（参考訳）: 材料研究のための基礎的大規模言語モデル
• Authors: Vaibhav Mishra, Somaditya Singh, Dhruv Ahlawat, Mohd Zaki, Vaibhav Bihani, Hargun Singh Grover, Biswajit Mishra, Santiago Miret, Mausam, N. M. Anoop Krishnan,
• Abstract要約: 大規模言語モデル(LLM)は、自動分析と予測を通じて材料研究を加速する機会を提供する。 本稿では,LLaMAモデルの継続事前学習を通じて発達した材料科学の基礎モデルであるLLaMatについて述べる。 LLaMatは、一般的な言語能力を維持しつつ、材料固有のNLPと構造化情報抽出に優れることを示した。
• 参考スコア（独自算出の注目度）: 22.77591279242839
• License:
• Abstract: Materials discovery and development are critical for addressing global challenges. Yet, the exponential growth in materials science literature comprising vast amounts of textual data has created significant bottlenecks in knowledge extraction, synthesis, and scientific reasoning. Large Language Models (LLMs) offer unprecedented opportunities to accelerate materials research through automated analysis and prediction. Still, their effective deployment requires domain-specific adaptation for understanding and solving domain-relevant tasks. Here, we present LLaMat, a family of foundational models for materials science developed through continued pretraining of LLaMA models on an extensive corpus of materials literature and crystallographic data. Through systematic evaluation, we demonstrate that LLaMat excels in materials-specific NLP and structured information extraction while maintaining general linguistic capabilities. The specialized LLaMat-CIF variant demonstrates unprecedented capabilities in crystal structure generation, predicting stable crystals with high coverage across the periodic table. Intriguingly, despite LLaMA-3's superior performance in comparison to LLaMA-2, we observe that LLaMat-2 demonstrates unexpectedly enhanced domain-specific performance across diverse materials science tasks, including structured information extraction from text and tables, more particularly in crystal structure generation, a potential adaptation rigidity in overtrained LLMs. Altogether, the present work demonstrates the effectiveness of domain adaptation towards developing practically deployable LLM copilots for materials research. Beyond materials science, our findings reveal important considerations for domain adaptation of LLMs, such as model selection, training methodology, and domain-specific performance, which may influence the development of specialized scientific AI systems.
• Abstract（参考訳）: 材料発見と開発は、世界的な課題に対処するために重要である。 しかし、大量のテキストデータからなる材料科学文献の指数的な成長は、知識抽出、合成、科学的推論において重大なボトルネックを生み出している。 大規模言語モデル(LLM)は、自動分析と予測を通じて材料研究を加速する前例のない機会を提供する。 それでも、ドメイン関連タスクの理解と解決には、ドメイン固有の適応が必要になります。 本稿では,LLaMAモデルの開発を継続して進めた材料科学の基礎モデルであるLLaMatについて述べる。 体系的な評価により,LLaMatは汎用言語能力を維持しつつ,材料固有のNLPや構造化情報抽出に優れることを示した。 特殊なLLaMat-CIF変異体は結晶構造の生成において前例のない能力を示し、周期表全体にわたって高いカバレッジを持つ安定な結晶を予測する。 興味深いことに,LLaMA-3の性能はLLaMA-2に比べて優れておりながら,LLaMat-2はテキストやテーブルからの構造化情報,特に結晶構造生成において,過剰に訓練されたLLMにおける潜在的な適応剛性を含む,様々な材料科学タスクにおいて予期せぬドメイン固有性能を示す。 また,本研究は,物質研究のための実用的展開可能なLCMコパイロットの開発に向けた領域適応の有効性を実証するものである。 材料科学以外にも,モデル選択やトレーニング手法,ドメイン固有のパフォーマンスなど,LLMのドメイン適応に関する重要な考察が,専門的な科学AIシステムの開発に影響を及ぼす可能性がある。

関連論文リスト

• MatterChat: A Multi-Modal LLM for Material Science [40.34536331137755]
  マルチモーダルな多モード言語モデルであるMatterChatを紹介する。 そこで,MatterChatは材料特性予測と人間-AIインタラクションの性能を大幅に向上させることを示す。 また、より高度な科学的推論やステップバイステップの物質合成などの応用においても有用性を示す。
  論文  参考訳（メタデータ） (2025-02-18T18:19:36Z)
• DARWIN 1.5: Large Language Models as Materials Science Adapted Learners [46.7259033847682]
  DARWIN 1.5は,材料科学に適したオープンソースの大規模言語モデルである。 DARWINはタスク固有の記述子の必要性を排除し、材料特性の予測と発見に対する柔軟な統一的なアプローチを可能にする。 提案手法は,6Mの物質ドメイン論文と49,256の物質から得られた21の実験データセットを統合し,タスク間の知識伝達を可能にする。
  論文  参考訳（メタデータ） (2024-12-16T16:51:27Z)
• Evaluating the Performance and Robustness of LLMs in Materials Science Q&A and Property Predictions [1.2696732407979383]
  大規模言語モデル(LLM)は科学的研究に革命をもたらす可能性があるが、ドメイン固有のアプリケーションにおける堅牢性と信頼性はいまだ不十分である。 本研究は材料科学分野におけるLCMの総合的評価とロバスト性解析を行う。
  論文  参考訳（メタデータ） (2024-09-22T19:31:16Z)
• Enhancing Large Language Models with Domain-Specific Knowledge: The Case in Topological Materials [4.654635844923322]
  大規模言語モデル (LLM) はテキスト生成タスクにおいて顕著な性能を示した。 TopoChatと呼ばれるトポロジカル材料のための対話システムを開発した。 TopoChatは、構造およびプロパティクエリ、マテリアルレコメンデーション、複雑なリレーショナル推論において優れたパフォーマンスを示す。
  論文  参考訳（メタデータ） (2024-09-10T06:01:16Z)
• From Text to Insight: Large Language Models for Materials Science Data Extraction [4.08853418443192]
  科学知識の大部分は、構造化されていない自然言語に存在する。 構造化データは革新的で体系的な材料設計に不可欠である。 大きな言語モデル(LLM)の出現は、大きな変化を示している。
  論文  参考訳（メタデータ） (2024-07-23T22:23:47Z)
• Retrieval-Enhanced Machine Learning: Synthesis and Opportunities [60.34182805429511]
  検索エンハンスメントは機械学習(ML)の幅広い範囲に拡張できる この研究は、MLの様々な領域の文献を、現在の文献から欠落している一貫した表記で合成することで、このパラダイムの正式なフレームワークであるRetrieval-Enhanced Machine Learning (REML)を導入する。 本研究の目的は、様々な分野の研究者に対して、検索強化モデルの包括的、正式に構造化された枠組みを付与し、学際的な将来の研究を促進することである。
  論文  参考訳（メタデータ） (2024-07-17T20:01:21Z)
• Characterizing Truthfulness in Large Language Model Generations with Local Intrinsic Dimension [63.330262740414646]
  大規模言語モデル(LLM)から生成されたテキストの真偽を特徴付ける方法と予測法について検討する。 モデルアクティベーションの局所固有次元 (LID) を用いて, 内部アクティベーションを調査し, LLMの真偽を定量化する。
  論文  参考訳（メタデータ） (2024-02-28T04:56:21Z)
• LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
  大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。 本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。 このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
  論文  参考訳（メタデータ） (2024-02-26T07:33:05Z)
• Materials Informatics Transformer: A Language Model for Interpretable Materials Properties Prediction [6.349503549199403]
  本稿では,材料特性予測のための材料情報変換器(MatInFormer)について紹介する。 具体的には、関連する空間群情報のトークン化を通じて結晶学の文法を学習する新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-08-30T18:34:55Z)
• SciBench: Evaluating College-Level Scientific Problem-Solving Abilities of Large Language Models [70.5763210869525]
  拡張ベンチマークスイートSciBench for Large Language Model (LLM)を導入する。 SciBenchには、数学、化学、物理学の分野から、さまざまな大学レベルの科学的問題を含むデータセットが含まれている。 その結果、現在のLLMは満足のいく性能を達成できないことが判明し、全体のスコアは43.22%に過ぎなかった。
  論文  参考訳（メタデータ） (2023-07-20T07:01:57Z)
• Sentiment Analysis in the Era of Large Language Models: A Reality Check [69.97942065617664]
  本稿では,大規模言語モデル(LLM)の様々な感情分析タスクの実行能力について検討する。 26のデータセット上の13のタスクのパフォーマンスを評価し、ドメイン固有のデータセットに基づいて訓練された小言語モデル(SLM)と比較した。
  論文  参考訳（メタデータ） (2023-05-24T10:45:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。