論文の概要: LLM-Prop: Predicting Physical And Electronic Properties Of Crystalline
Solids From Their Text Descriptions
- arxiv url: http://arxiv.org/abs/2310.14029v1
- Date: Sat, 21 Oct 2023 14:49:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-25 03:59:36.946023
- Title: LLM-Prop: Predicting Physical And Electronic Properties Of Crystalline
Solids From Their Text Descriptions
- Title(参考訳): LLM-Prop: テキスト記述から結晶の物性と電子特性を予測する
- Authors: Andre Niyongabo Rubungo, Craig Arnold, Barry P. Rand, Adji Bousso
Dieng
- Abstract要約: 結晶構造とその特性を記述したテキストを含むベンチマークデータセットを開発し,公開する。
本研究では,大規模言語モデルの汎用学習能力を活用したLLM-Propを提案する。
我々の経験的結果は、GNNが空間群対称性に関連する情報を捕捉できないことの現況を浮き彫りにするかもしれない。
- 参考スコア(独自算出の注目度): 4.377555282482224
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The prediction of crystal properties plays a crucial role in the crystal
design process. Current methods for predicting crystal properties focus on
modeling crystal structures using graph neural networks (GNNs). Although GNNs
are powerful, accurately modeling the complex interactions between atoms and
molecules within a crystal remains a challenge. Surprisingly, predicting
crystal properties from crystal text descriptions is understudied, despite the
rich information and expressiveness that text data offer. One of the main
reasons is the lack of publicly available data for this task. In this paper, we
develop and make public a benchmark dataset (called TextEdge) that contains
text descriptions of crystal structures with their properties. We then propose
LLM-Prop, a method that leverages the general-purpose learning capabilities of
large language models (LLMs) to predict the physical and electronic properties
of crystals from their text descriptions. LLM-Prop outperforms the current
state-of-the-art GNN-based crystal property predictor by about 4% in predicting
band gap, 3% in classifying whether the band gap is direct or indirect, and 66%
in predicting unit cell volume. LLM-Prop also outperforms a finetuned MatBERT,
a domain-specific pre-trained BERT model, despite having 3 times fewer
parameters. Our empirical results may highlight the current inability of GNNs
to capture information pertaining to space group symmetry and Wyckoff sites for
accurate crystal property prediction.
- Abstract(参考訳): 結晶特性の予測は、結晶設計プロセスにおいて重要な役割を果たす。
最近の結晶特性予測手法は、グラフニューラルネットワーク(gnns)を用いた結晶構造モデリングに焦点を当てている。
GNNは強力だが、結晶内の原子と分子の間の複雑な相互作用を正確にモデル化することは難しい。
驚くべきことに、結晶テキスト記述からの結晶特性の予測は、テキストデータが提供する豊富な情報と表現力にもかかわらず、未検討である。
主な理由の1つは、このタスクのための公開データがないことである。
本稿では,結晶構造とその特性を記述したテキストを含むベンチマークデータセット(TextEdge)を開発し,公開する。
次に,大規模言語モデル(llms)の汎用学習能力を活用して,テキスト記述から結晶の物理的および電子的特性を予測する手法であるllm-propを提案する。
llm-propは、現在のgnnベースの結晶特性予測装置よりもバンドギャップ予測で約4%、バンドギャップが直接的か間接的かの分類で3%、単位セル容積予測で66%上回る。
LLM-Propは3倍のパラメータを持つにもかかわらず、ドメイン固有の事前訓練されたBERTモデルであるMatBERTよりも優れている。
実験結果から,gnnが空間群対称性やワイクホフサイトに関する情報を取り込み,正確な結晶特性の予測ができないことがわかった。
関連論文リスト
- Complete and Efficient Graph Transformers for Crystal Material Property Prediction [53.32754046881189]
結晶構造は、3次元空間の正則格子に沿って繰り返される原始単位セル内の原子塩基によって特徴づけられる。
本稿では,各原子の格子に基づく表現を確立するために,単位細胞の周期パターンを利用する新しい手法を提案する。
結晶材料に特化して設計されたSE(3)トランスであるComFormerを提案する。
論文 参考訳(メタデータ) (2024-03-18T15:06:37Z) - Crystalformer: Infinitely Connected Attention for Periodic Structure Encoding [10.170537065646323]
結晶構造から材料の物性を予測することは、材料科学の基本的な問題である。
結晶構造が無限に繰り返し、原子の周期的な配列であり、完全に連結された注意が無限に連結された注意をもたらすことを示す。
本稿では, 結晶構造に対する簡単なトランスフォーマーベースエンコーダアーキテクチャを提案する。
論文 参考訳(メタデータ) (2024-03-18T11:37:42Z) - Fine-Tuned Language Models Generate Stable Inorganic Materials as Text [57.01994216693825]
テキストエンコードされた原子構造データに基づく微調整された大規模言語モデルは、実装が簡単で信頼性が高い。
我々の最強モデルは、CDVAEの約2倍の速度で準安定であると予測された物質を生成することができる。
テキストプロンプト固有の柔軟性のため、我々のモデルは安定物質を無条件に生成するために同時に使用することができる。
論文 参考訳(メタデータ) (2024-02-06T20:35:28Z) - Latent Conservative Objective Models for Data-Driven Crystal Structure
Prediction [62.36797874900395]
計算化学において、結晶構造予測は最適化問題である。
この問題に対処する1つのアプローチは、密度汎関数理論(DFT)に基づいてシミュレータを構築し、続いてシミュレーションで探索を実行することである。
我々は,LCOM(最近の保守的客観モデル)と呼ばれる我々の手法が,構造予測の成功率の観点から,最も優れたアプローチと同等に機能することを示す。
論文 参考訳(メタデータ) (2023-10-16T04:35:44Z) - Crystal-GFN: sampling crystals with desirable properties and constraints [103.79058968784163]
本稿では,結晶構造の生成モデルであるCrystal-GFNを紹介する。
本稿では,MatBenchで学習した新しいプロキシ機械学習モデルにより予測された結晶構造の原子1個あたりの生成エネルギーを目的として利用する。
その結果、Crystal-GFNは低(中間-3.1 eV/原子)で生成エネルギーが予測される非常に多様な結晶をサンプリングできることが示された。
論文 参考訳(メタデータ) (2023-10-07T21:36:55Z) - DeepCrysTet: A Deep Learning Approach Using Tetrahedral Mesh for
Predicting Properties of Crystalline Materials [0.0]
材料特性を予測するための新しい深層学習手法であるDeepCrysTetを提案する。
DeepCrysTetは、Delaunay四面体化によって生成される3次元四面体メッシュとして表される結晶構造を用いる。
実験により、DeepCrysTetは既存のGNNモデルよりも結晶構造の分類や弾性特性の予測における最先端性能に優れていた。
論文 参考訳(メタデータ) (2023-09-07T05:23:52Z) - CrysMMNet: Multimodal Representation for Crystal Property Prediction [22.576167897068956]
CrysMMNetは、構造的およびテキスト的表現を融合させ、結晶材料の共同マルチモーダル表現を生成する単純なマルチモーダルフレームワークである。
我々は、CrysMMNetが既存の最先端のベースラインメソッドよりも優れたマージンを持つことを示すために、10の異なるプロパティにわたる2つのベンチマークデータセットに関する広範な実験を行った。
論文 参考訳(メタデータ) (2023-06-09T11:16:01Z) - CrysGNN : Distilling pre-trained knowledge to enhance property
prediction for crystalline materials [25.622724168215097]
本稿では結晶材料のための新しいトレーニング済みGNNフレームワークであるCrysGNNについて述べる。
これは、未ラベルの材料データを用いて、結晶グラフのノードレベルとグラフレベルの構造情報をキャプチャする。
我々は、事前訓練されたモデルから知識を抽出することで、全てのSOTAアルゴリズムがベニラバージョンを良好なマージンで上回ることができることを示す広範囲な実験を行った。
論文 参考訳(メタデータ) (2023-01-14T08:12:01Z) - Graph neural networks for the prediction of molecular structure-property
relationships [59.11160990637615]
グラフニューラルネットワーク(GNN)は、分子グラフ上で直接動作する新しい機械学習手法である。
GNNは、エンドツーエンドでプロパティを学習できるため、情報記述子の必要性を回避することができる。
本稿では、分子特性予測のための2つの例を通して、GNNの基礎を説明し、GNNの応用を実証する。
論文 参考訳(メタデータ) (2022-07-25T11:30:44Z) - Graph Neural Network for Hamiltonian-Based Material Property Prediction [56.94118357003096]
無機材料のバンドギャップを予測できるいくつかの異なるグラフ畳み込みネットワークを提示し、比較する。
モデルは、それぞれの軌道自体の情報と相互の相互作用の2つの異なる特徴を組み込むように開発されている。
その結果,クロスバリデーションにより予測精度が期待できることがわかった。
論文 参考訳(メタデータ) (2020-05-27T13:32:10Z) - CRYSPNet: Crystal Structure Predictions via Neural Network [14.930208990741129]
結晶構造予測に機械学習を利用した代替手法を提案する。
我々は, 無機材料のブラベイス格子, 空間群, 格子パラメータを予測できる結晶構造予測ネットワーク(CRYSPNet)を開発した。
無機結晶構造データベース(Inorganic Crystal Structure Database)から10万以上のエントリでトレーニングされ、検証された。
論文 参考訳(メタデータ) (2020-03-31T16:05:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。