論文の概要: Crystal Transformer: Self-learning neural language model for Generative and Tinkering Design of Materials

• arxiv url: http://arxiv.org/abs/2204.11953v1
• Date: Mon, 25 Apr 2022 20:20:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-27 15:21:50.244107
• Title: Crystal Transformer: Self-learning neural language model for Generative and Tinkering Design of Materials
• Title（参考訳）: Crystal Transformer: 材料の創成・創成設計のための自己学習型ニューラルネットワークモデル
• Authors: Lai Wei, Qinyang Li, Yuqi Song, Stanislav Stefanov, Edirisuriya M. D. Siriwardane, Fanglin Chen, Jianjun Hu
• Abstract要約: BLMMクリスタルトランス (BLMM Crystal Transformer) は、無機材料の生成およびスティンカー設計のためのニューラルネットワークに基づく確率的生成モデルである。 89.7%の電荷中立度と84.8%の平衡電子陰性度を持つ化学的に有効な材料組成を生成することができる。 ユーザフレンドリーなWebアプリは、計算材料ドーピング用に開発され、urlwww. Materialssatlas.org/blmtinkerで自由にアクセスできる。
• 参考スコア（独自算出の注目度）: 4.813020904720316
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Self-supervised neural language models have recently achieved unprecedented success, from natural language processing to learning the languages of biological sequences and organic molecules. These models have demonstrated superior performance in the generation, structure classification, and functional predictions for proteins and molecules with learned representations. However, most of the masking-based pre-trained language models are not designed for generative design, and their black-box nature makes it difficult to interpret their design logic. Here we propose BLMM Crystal Transformer, a neural network based probabilistic generative model for generative and tinkering design of inorganic materials. Our model is built on the blank filling language model for text generation and has demonstrated unique advantages in learning the "materials grammars" together with high-quality generation, interpretability, and data efficiency. It can generate chemically valid materials compositions with as high as 89.7\% charge neutrality and 84.8\% balanced electronegativity, which are more than 4 and 8 times higher compared to a pseudo random sampling baseline. The probabilistic generation process of BLMM allows it to recommend tinkering operations based on learned materials chemistry and makes it useful for materials doping. Combined with the TCSP crysal structure prediction algorithm, We have applied our model to discover a set of new materials as validated using DFT calculations. Our work thus brings the unsupervised transformer language models based generative artificial intelligence to inorganic materials. A user-friendly web app has been developed for computational materials doping and can be accessed freely at \url{www.materialsatlas.org/blmtinker}.
• Abstract（参考訳）: 自己教師付きニューラルネットワークモデルは最近、自然言語処理から生物配列や有機分子の言語学習に至るまで、前例のない成功を収めている。 これらのモデルは、学習された表現を持つタンパク質や分子の生成、構造分類、機能予測において優れた性能を示した。 しかしながら、マスクベースの事前学習言語モデルのほとんどは生成設計のために設計されておらず、そのブラックボックスの性質は設計ロジックの解釈を困難にしている。 本稿では, ニューラルネットワークを用いた無機材料の創製・製法設計のための確率的生成モデルBLMM Crystal Transformerを提案する。 本モデルは,テキスト生成のための空白言語モデルに基づいて構築され,高品質な生成,解釈可能性,データ効率とともに,「材料文法」を学習する上で,独特な優位性を示した。 89.7\%の電荷中立性と84.8\%の平衡電子陰性度を持つ化学的に有効な材料組成物を生成でき、これは擬似ランダムサンプリングベースラインよりも4倍、8倍高い。 BLMMの確率的生成プロセスにより、学習した材料化学に基づくティンカー操作を推奨し、材料ドーピングに役立てることができる。 そこで本研究では,TSP冷凍構造予測アルゴリズムと組み合わせて,DFT計算による新しい材料セットの探索を行った。 我々の研究は、教師なしトランスフォーマー言語モデルに基づく生成人工知能を無機材料にもたらす。 ユーザフレンドリーなWebアプリケーションは、計算材料ドーピング用に開発され、 \url{www. Materialssatlas.org/blmtinker} で自由にアクセスできる。

関連論文リスト

• Pre-trained Molecular Language Models with Random Functional Group Masking [54.900360309677794]
  SMILESをベースとしたアンダーリネム分子アンダーリネム言語アンダーリネムモデルを提案し,特定の分子原子に対応するSMILESサブシーケンスをランダムにマスキングする。 この技術は、モデルに分子構造や特性をよりよく推測させ、予測能力を高めることを目的としている。
  論文  参考訳（メタデータ） (2024-11-03T01:56:15Z)
• Fine-Tuned Language Models Generate Stable Inorganic Materials as Text [57.01994216693825]
  テキストエンコードされた原子構造データに基づく微調整された大規模言語モデルは、実装が簡単で信頼性が高い。 我々の最強モデルは、CDVAEの約2倍の速度で準安定であると予測された物質を生成することができる。 テキストプロンプト固有の柔軟性のため、我々のモデルは安定物質を無条件に生成するために同時に使用することができる。
  論文  参考訳（メタデータ） (2024-02-06T20:35:28Z)
• In-Context Language Learning: Architectures and Algorithms [73.93205821154605]
  我々は、文脈言語学習(ICLL)において、私たちが用語する新しいモデル問題群(英語版)のレンズを通してICLを研究する。 我々は,通常のICLLタスクにおいて,多種多様なニューラルシーケンスモデルを評価する。
  論文  参考訳（メタデータ） (2024-01-23T18:59:21Z)
• Data Distillation for Neural Network Potentials toward Foundational Dataset [6.373914211316965]
  生成モデルは 迅速に 対象のアプリケーションに 有望な材料を提案できる しかし、生成モデルによる材料の予測特性は、アブイニシアト計算によって計算された性質と一致しないことが多い。 本研究は, 拡張アンサンブル分子動力学(MD)を用いて, 金属系, ニッケル中の液相および固相の幅広い構成を確保した。 蒸留データからトレーニングしたNNPは,これらの構造が初期データの一部ではないにもかかわらず,異なるエネルギー最小化クローズパック結晶構造を予測できることがわかった。
  論文  参考訳（メタデータ） (2023-11-09T14:41:45Z)
• CodeGen2: Lessons for Training LLMs on Programming and Natural Languages [116.74407069443895]
  我々はエンコーダとデコーダベースのモデルを単一のプレフィックスLMに統一する。 学習方法は,「フリーランチ」仮説の主張を考察する。 データ配信においては,混合分布と多言語学習がモデル性能に及ぼす影響について検討した。
  論文  参考訳（メタデータ） (2023-05-03T17:55:25Z)
• An Adversarial Active Sampling-based Data Augmentation Framework for Manufacturable Chip Design [55.62660894625669]
  リソグラフィーモデリングは、チップ設計マスクが製造可能であることを保証するため、チップ設計において重要な問題である。 機械学習の最近の進歩は、時間を要するリソグラフィーシミュレーションをディープニューラルネットワークに置き換えるための代替ソリューションを提供している。 本稿では,限られたデータのジレンマを解消し,機械学習モデルの性能を向上させるために,データ拡張フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-27T20:53:39Z)
• Probabilistic Generative Transformer Language models for Generative Design of Molecules [10.412989388092084]
  Generative Molecular Transformer (GMTransformer) は、分子の生成設計のための確率論的ニューラルネットワークモデルである。 本モデルはもともとテキスト処理のために開発された空白充填言語モデルに基づいて構築されている。 我々のモデルは、他のベースラインと比較して、高い斬新さと難解さを達成します。
  論文  参考訳（メタデータ） (2022-09-20T01:51:57Z)
• Materials Transformers Language Models for Generative Materials Design: a benchmark study [4.047301375093173]
  我々は、ICSD, OQMD, Materials Projectsデータベースに蓄積された材料から拡張された公式を用いて、7つの現代トランスフォーマー言語モデル(GPT, GPT-2, GPT-Neo, GPT-J, BLMM, BART, RoBERTa)を訓練する。 非電荷ニュートラルまたは平衡電子陰性率サンプルを持つ6つの異なるデータセットを使用して、性能をベンチマークする。 実験により、因果言語モデルに基づく材料変換器は、中性電荷97.54%、電子陰性度91.40%の化学的に有効な材料組成を生成できることがわかった。
  論文  参考訳（メタデータ） (2022-06-27T18:50:05Z)
• Dependency-based Mixture Language Models [53.152011258252315]
  依存性に基づく混合言語モデルを紹介する。 より詳しくは、依存関係モデリングの新たな目的により、まずニューラルネットワークモデルを訓練する。 次に、前回の依存性モデリング確率分布と自己意図を混合することにより、次の確率を定式化する。
  論文  参考訳（メタデータ） (2022-03-19T06:28:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。