論文の概要: Materials Transformers Language Models for Generative Materials Design: a benchmark study

• arxiv url: http://arxiv.org/abs/2206.13578v1
• Date: Mon, 27 Jun 2022 18:50:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-29 14:39:50.664248
• Title: Materials Transformers Language Models for Generative Materials Design: a benchmark study
• Title（参考訳）: 生成材料設計のための材料トランスフォーマー言語モデル:ベンチマーク研究
• Authors: Nihang Fu, Lai Wei, Yuqi Song, Qinyang Li, Rui Xin, Sadman Sadeed Omee, Rongzhi Dong, Edirisuriya M. Dilanga Siriwardane, Jianjun Hu
• Abstract要約: 我々は、ICSD, OQMD, Materials Projectsデータベースに蓄積された材料から拡張された公式を用いて、7つの現代トランスフォーマー言語モデル(GPT, GPT-2, GPT-Neo, GPT-J, BLMM, BART, RoBERTa)を訓練する。 非電荷ニュートラルまたは平衡電子陰性率サンプルを持つ6つの異なるデータセットを使用して、性能をベンチマークする。 実験により、因果言語モデルに基づく材料変換器は、中性電荷97.54%、電子陰性度91.40%の化学的に有効な材料組成を生成できることがわかった。
• 参考スコア（独自算出の注目度）: 4.047301375093173
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Pre-trained transformer language models on large unlabeled corpus have produced state-of-the-art results in natural language processing, organic molecule design, and protein sequence generation. However, no such models have been applied to learn the composition patterns of inorganic materials. Here we train a series of seven modern transformer language models (GPT, GPT-2, GPT-Neo, GPT-J, BLMM, BART, and RoBERTa) using the expanded formulas from material deposited in the ICSD, OQMD, and Materials Projects databases. Six different datasets with/out non-charge-neutral or balanced electronegativity samples are used to benchmark the performances and uncover the generation biases of modern transformer models for the generative design of materials compositions. Our extensive experiments showed that the causal language models based materials transformers can generate chemically valid materials compositions with as high as 97.54\% to be charge neutral and 91.40\% to be electronegativity balanced, which has more than 6 times higher enrichment compared to a baseline pseudo-random sampling algorithm. These models also demonstrate high novelty and their potential in new materials discovery has been proved by their capability to recover the leave-out materials. We also find that the properties of the generated samples can be tailored by training the models with selected training sets such as high-bandgap materials. Our experiments also showed that different models each have their own preference in terms of the properties of the generated samples and their running time complexity varies a lot. We have applied our materials transformer models to discover a set of new materials as validated using DFT calculations.
• Abstract（参考訳）: 大きなラベルのないコーパス上の事前学習されたトランスフォーマー言語モデルは、自然言語処理、有機分子設計、タンパク質配列生成において最先端の結果を生み出している。 しかし, 無機材料の組成パターンの学習にはそのようなモデルが適用されていない。 ここでは,ICSD,OQMD,Material Projectsデータベースに蓄積された資料から拡張された公式を用いて,近代トランスフォーマー言語モデル(GPT, GPT-2, GPT-Neo, GPT-J, BLMM, BART, RoBERTa)を訓練する。 非電荷ニュートラルまたは平衡電子陰性率サンプルを持つ6つの異なるデータセットを用いて、材料組成の生成設計のための現代のトランスフォーマーモデルの生成バイアスを明らかにする。 本実験により, 因果言語モデルに基づく材料トランスフォーマーは, 電荷中立度の高い97.54\%, 電子陰性度平衡度の高い91.40\%の化学的に有効な材料組成を生成でき, ベースラインの擬ランダムサンプリングアルゴリズムの6倍以上の濃縮率を有することがわかった。 これらのモデルはまた、高い新規性を示し、新しい材料発見におけるそのポテンシャルは、離脱材料を回収する能力によって証明されている。 また, 生成したサンプルの特性は, 高バンドギャップ材料など選択したトレーニングセットを用いてモデルをトレーニングすることで調整できることがわかった。 実験の結果, それぞれのモデルがそれぞれ, 生成したサンプルの特性や実行時間の複雑さの相違から, それぞれ独自の好みを持つことがわかった。 我々は,DFT計算を用いて新しい材料群を発見するために,材料トランスフォーマーモデルを適用した。

関連論文リスト

• Instruction Multi-Constraint Molecular Generation Using a Teacher-Student Large Language Model [49.64512917330373]
  本稿では,学生に類似した多制約分子生成大言語モデルTSMMGを紹介する。 TSMMGを訓練するために、これらの「教師」から分子知識を抽出し、大量のテキスト-分子対を構築する。 我々は,TSMMGが複雑で自然言語で記述された特性を満たす分子を生成できることを実験的に明らかにした。
  論文  参考訳（メタデータ） (2024-03-20T02:15:55Z)
• Fine-Tuned Language Models Generate Stable Inorganic Materials as Text [57.01994216693825]
  テキストエンコードされた原子構造データに基づく微調整された大規模言語モデルは、実装が簡単で信頼性が高い。 我々の最強モデルは、CDVAEの約2倍の速度で準安定であると予測された物質を生成することができる。 テキストプロンプト固有の柔軟性のため、我々のモデルは安定物質を無条件に生成するために同時に使用することができる。
  論文  参考訳（メタデータ） (2024-02-06T20:35:28Z)
• Scalable Diffusion for Materials Generation [99.71001883652211]
  我々は任意の結晶構造(ユニマット)を表現できる統一された結晶表現を開発する。 UniMatはより大型で複雑な化学系から高忠実度結晶構造を生成することができる。 材料の生成モデルを評価するための追加指標を提案する。
  論文  参考訳（メタデータ） (2023-10-18T15:49:39Z)
• SIP: Injecting a Structural Inductive Bias into a Seq2Seq Model by Simulation [75.14793516745374]
  本稿では, 構造的帰納バイアスをセック2セックモデルに効率よく注入し, 合成データの構造的変換をシミュレートする方法について述べる。 実験の結果,本手法は所望の帰納バイアスを付与し,FSTのようなタスクに対してより優れた数発学習を実現することがわかった。
  論文  参考訳（メタデータ） (2023-10-01T21:19:12Z)
• Evaluating the diversity and utility of materials proposed by generative models [38.85523285991743]
  本稿では, 逆設計プロセスの一部として, 物理誘導結晶生成モデルという, 最先端の生成モデルを用いる方法を示す。 本研究は, 逆設計を改善するために, 生成モデルをどのように改善するかを示唆する。
  論文  参考訳（メタデータ） (2023-08-09T14:42:08Z)
• Crystal Transformer: Self-learning neural language model for Generative and Tinkering Design of Materials [4.813020904720316]
  BLMMクリスタルトランス (BLMM Crystal Transformer) は、無機材料の生成およびスティンカー設計のためのニューラルネットワークに基づく確率的生成モデルである。 89.7%の電荷中立度と84.8%の平衡電子陰性度を持つ化学的に有効な材料組成を生成することができる。 ユーザフレンドリーなWebアプリは、計算材料ドーピング用に開発され、urlwww. Materialssatlas.org/blmtinkerで自由にアクセスできる。
  論文  参考訳（メタデータ） (2022-04-25T20:20:26Z)
• Semi-supervised teacher-student deep neural network for materials discovery [6.333015476935593]
  本稿では,高速な生成エネルギーと合成可能性予測のための半教師付き深層ニューラルネットワーク(TSDNN)モデルを提案する。 生成エネルギーに基づく安定性スクリーニングでは,ベースラインCGCNN回帰モデルと比較して絶対精度が10.3%向上する。 合成可能性予測では,1/49モデルパラメータを用いて,ベースラインPU学習の正の確率を87.9%から97.9%に有意に向上させた。
  論文  参考訳（メタデータ） (2021-12-12T04:00:21Z)
• How to See Hidden Patterns in Metamaterials with Interpretable Machine Learning [82.67551367327634]
  我々は,材料単位セルのパターンを見つけるための,解釈可能な多分解能機械学習フレームワークを開発した。 具体的には、形状周波数特徴と単位セルテンプレートと呼ばれるメタマテリアルの2つの新しい解釈可能な表現を提案する。
  論文  参考訳（メタデータ） (2021-11-10T21:19:02Z)
• Prediction of liquid fuel properties using machine learning models with Gaussian processes and probabilistic conditional generative learning [56.67751936864119]
  本研究の目的は、代替燃料の物理的特性を予測するためのクロージャ方程式として機能する、安価で計算可能な機械学習モデルを構築することである。 これらのモデルは、MDシミュレーションのデータベースや、データ融合-忠実性アプローチによる実験的な測定を用いて訓練することができる。 その結果,MLモデルでは,広範囲の圧力および温度条件の燃料特性を正確に予測できることがわかった。
  論文  参考訳（メタデータ） (2021-10-18T14:43:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。