論文の概要: CrysGNN : Distilling pre-trained knowledge to enhance property prediction for crystalline materials

• arxiv url: http://arxiv.org/abs/2301.05852v1
• Date: Sat, 14 Jan 2023 08:12:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-18 18:34:20.741296
• Title: CrysGNN : Distilling pre-trained knowledge to enhance property prediction for crystalline materials
• Title（参考訳）: CrysGNN : 結晶材料の特性予測を強化するための事前学習知識の蒸留
• Authors: Kishalay Das, Bidisha Samanta, Pawan Goyal, Seung-Cheol Lee, Satadeep Bhattacharjee and Niloy Ganguly
• Abstract要約: 本稿では結晶材料のための新しいトレーニング済みGNNフレームワークであるCrysGNNについて述べる。 これは、未ラベルの材料データを用いて、結晶グラフのノードレベルとグラフレベルの構造情報をキャプチャする。 我々は、事前訓練されたモデルから知識を抽出することで、全てのSOTAアルゴリズムがベニラバージョンを良好なマージンで上回ることができることを示す広範囲な実験を行った。
• 参考スコア（独自算出の注目度）: 25.622724168215097
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, graph neural network (GNN) based approaches have emerged as a powerful technique to encode complex topological structure of crystal materials in an enriched representation space. These models are often supervised in nature and using the property-specific training data, learn relationship between crystal structure and different properties like formation energy, bandgap, bulk modulus, etc. Most of these methods require a huge amount of property-tagged data to train the system which may not be available for different properties. However, there is an availability of a huge amount of crystal data with its chemical composition and structural bonds. To leverage these untapped data, this paper presents CrysGNN, a new pre-trained GNN framework for crystalline materials, which captures both node and graph level structural information of crystal graphs using a huge amount of unlabelled material data. Further, we extract distilled knowledge from CrysGNN and inject into different state of the art property predictors to enhance their property prediction accuracy. We conduct extensive experiments to show that with distilled knowledge from the pre-trained model, all the SOTA algorithms are able to outperform their own vanilla version with good margins. We also observe that the distillation process provides a significant improvement over the conventional approach of finetuning the pre-trained model. We have released the pre-trained model along with the large dataset of 800K crystal graph which we carefully curated; so that the pretrained model can be plugged into any existing and upcoming models to enhance their prediction accuracy.
• Abstract（参考訳）: 近年、グラフニューラルネットワーク(GNN)に基づくアプローチは、リッチ表現空間における結晶材料の複雑な位相構造をエンコードする強力な手法として出現している。 これらのモデルは自然に管理され、特性固有のトレーニングデータを使用し、結晶構造と形成エネルギー、バンドギャップ、バルク率などの異なる性質の関係を学ぶ。 これらのメソッドのほとんどは、異なるプロパティで利用できないかもしれないシステムをトレーニングするために、大量のプロパティタグ付きデータを必要とします。 しかし、その化学組成と構造結合で大量の結晶データが得られる。 このような未処理データを活用するために,本論文では,結晶のノードレベルおよびグラフレベルの構造情報を,大量の非ラベル材料データを用いてキャプチャする,結晶材料の事前学習型gnnフレームワークであるcrysgnnを提案する。 さらに,CrysGNNから抽出した知識を抽出し,その特性予測精度を高めるために,美術特性予測器の異なる状態に注入する。 我々は、事前訓練されたモデルから知識を抽出することで、全てのSOTAアルゴリズムがベニラバージョンを良好なマージンで上回ることができることを示す広範な実験を行った。 また, 蒸留プロセスは, 従来の訓練済みモデルを微調整する手法に比べて, 大幅な改善が期待できる。 事前学習したモデルを800kクリスタルグラフの大きなデータセットと共にリリースし、事前学習したモデルを既存のモデルや今後のモデルにプラグインして、予測精度を高めることができます。

関連論文リスト

• Scalable Diffusion for Materials Generation [99.71001883652211]
  我々は任意の結晶構造(ユニマット)を表現できる統一された結晶表現を開発する。 UniMatはより大型で複雑な化学系から高忠実度結晶構造を生成することができる。 材料の生成モデルを評価するための追加指標を提案する。
  論文  参考訳（メタデータ） (2023-10-18T15:49:39Z)
• On the Stability of Iterative Retraining of Generative Models on their own Data [56.153542044045224]
  混合データセットに対する生成モデルの訓練が与える影響について検討する。 まず、初期生成モデルがデータ分布を十分に近似する条件下で反復学習の安定性を実証する。 我々は、正規化フローと最先端拡散モデルを繰り返し訓練することにより、合成画像と自然画像の両方に関する我々の理論を実証的に検証する。
  論文  参考訳（メタデータ） (2023-09-30T16:41:04Z)
• DeepCrysTet: A Deep Learning Approach Using Tetrahedral Mesh for Predicting Properties of Crystalline Materials [0.0]
  材料特性を予測するための新しい深層学習手法であるDeepCrysTetを提案する。 DeepCrysTetは、Delaunay四面体化によって生成される3次元四面体メッシュとして表される結晶構造を用いる。 実験により、DeepCrysTetは既存のGNNモデルよりも結晶構造の分類や弾性特性の予測における最先端性能に優れていた。
  論文  参考訳（メタデータ） (2023-09-07T05:23:52Z)
• Substitutional Alloying Using Crystal Graph Neural Networks [0.0]
  グラフニューラルネットワーク(GNN)は、結晶によって形成されるグラフの直接学習表現を可能にする。 CGNNを用いてDFTレベルの精度で結晶特性を予測し、原子(ノード/頂点)、結合(エッジ)、大域状態の属性を符号化したグラフを通して予測する。 我々はDFT検証を行い、生成エネルギーと構造特性の予測精度を評価する。
  論文  参考訳（メタデータ） (2023-06-19T08:18:17Z)
• CrysMMNet: Multimodal Representation for Crystal Property Prediction [22.576167897068956]
  CrysMMNetは、構造的およびテキスト的表現を融合させ、結晶材料の共同マルチモーダル表現を生成する単純なマルチモーダルフレームワークである。 我々は、CrysMMNetが既存の最先端のベースラインメソッドよりも優れたマージンを持つことを示すために、10の異なるプロパティにわたる2つのベンチマークデータセットに関する広範な実験を行った。
  論文  参考訳（メタデータ） (2023-06-09T11:16:01Z)
• Generalizing Dataset Distillation via Deep Generative Prior [75.9031209877651]
  本稿では,データセット全体の知識をいくつかの合成画像に抽出することを提案する。 このアイデアは、学習アルゴリズムにトレーニングデータとして与えられる少数の合成データポイントを合成し、結果として元のデータに基づいてトレーニングされたデータを近似するモデルを構築する。 生成モデルの潜在空間における複数の中間特徴ベクトルに多数の画像を蒸留する新しい最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-05-02T17:59:31Z)
• Graph Contrastive Learning for Materials [6.667711415870472]
  本稿では,CrystalCLRを紹介した。CrystalCLRは,Crystal Graph Neural Networkを用いた表現のコンストラクティブ学習のためのフレームワークである。 新たな損失関数が加わったことにより,我々のフレームワークは,工学的フィンガープリント手法と競合する表現を学習することができる。 また、モデル微調整により、対照的な事前学習により、物質特性の予測のためのグラフニューラルネットワークの性能が向上することを示した。
  論文  参考訳（メタデータ） (2022-11-24T04:15:47Z)
• Data-Free Adversarial Knowledge Distillation for Graph Neural Networks [62.71646916191515]
  グラフ構造化データ(DFAD-GNN)を用いたデータフリー逆知識蒸留のための第1のエンドツーエンドフレームワークを提案する。 具体的には、DFAD-GNNは、教師モデルと学生モデルとを2つの識別器とみなし、教師モデルから学生モデルに知識を抽出するために学習グラフを導出するジェネレータという、主に3つの成分からなる生成的対向ネットワークを採用している。 我々のDFAD-GNNは、グラフ分類タスクにおける最先端のデータフリーベースラインを大幅に上回っている。
  論文  参考訳（メタデータ） (2022-05-08T08:19:40Z)
• Crystal Twins: Self-supervised Learning for Crystalline Material Property Prediction [8.048439531116367]
  結晶性物質特性予測のためのSSL法であるCrystal Twins(CT)を紹介する。 我々は、拡張インスタンスのグラフ潜在埋め込みに冗長性低減原理を適用して、グラフニューラルネットワーク(GNN)を事前訓練する。 回帰タスクのGNNを微調整する際の事前学習重みの共有により、7つの課題のある材料特性予測ベンチマークの性能を著しく改善する。
  論文  参考訳（メタデータ） (2022-05-04T05:08:46Z)
• Incorporating Causal Graphical Prior Knowledge into Predictive Modeling via Simple Data Augmentation [92.96204497841032]
  因果グラフ(CG)は、データ分散の背後にあるデータ生成プロセスの知識のコンパクトな表現である。 本研究では,条件付き独立性(CI)関係の事前知識を活用可能なモデルに依存しないデータ拡張手法を提案する。 本手法は,小データシステムにおける予測精度の向上に有効であることを実験的に示した。
  論文  参考訳（メタデータ） (2021-02-27T06:13:59Z)
• A Systematic Approach to Featurization for Cancer Drug Sensitivity Predictions with Deep Learning [49.86828302591469]
  35,000以上のニューラルネットワークモデルをトレーニングし、一般的な成果化技術を駆使しています。 RNA-seqは128以上のサブセットであっても非常に冗長で情報的であることがわかった。
  論文  参考訳（メタデータ） (2020-04-30T20:42:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。