論文の概要: Semi-supervised teacher-student deep neural network for materials
discovery
- arxiv url: http://arxiv.org/abs/2112.06142v1
- Date: Sun, 12 Dec 2021 04:00:21 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-14 18:57:34.478214
- Title: Semi-supervised teacher-student deep neural network for materials
discovery
- Title（参考訳）: 教材発見のための半教師型深層ニューラルネットワーク
- Authors: Daniel Gleaves, Edirisuriya M. Dilanga Siriwardane, Yong Zhao, Nihang
Fu, Jianjun Hu
- Abstract要約: 本稿では,高速な生成エネルギーと合成可能性予測のための半教師付き深層ニューラルネットワーク(TSDNN)モデルを提案する。
生成エネルギーに基づく安定性スクリーニングでは,ベースラインCGCNN回帰モデルと比較して絶対精度が10.3%向上する。
合成可能性予測では,1/49モデルパラメータを用いて,ベースラインPU学習の正の確率を87.9%から97.9%に有意に向上させた。
- 参考スコア（独自算出の注目度）: 6.333015476935593
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Data driven generative machine learning models have recently emerged as one
of the most promising approaches for new materials discovery. While the
generator models can generate millions of candidates, it is critical to train
fast and accurate machine learning models to filter out stable, synthesizable
materials with desired properties. However, such efforts to build supervised
regression or classification screening models have been severely hindered by
the lack of unstable or unsynthesizable samples, which usually are not
collected and deposited in materials databases such as ICSD and Materials
Project (MP). At the same time, there are a significant amount of unlabelled
data available in these databases. Here we propose a semi-supervised deep
neural network (TSDNN) model for high-performance formation energy and
synthesizability prediction, which is achieved via its unique teacher-student
dual network architecture and its effective exploitation of the large amount of
unlabeled data. For formation energy based stability screening, our
semi-supervised classifier achieves an absolute 10.3\% accuracy improvement
compared to the baseline CGCNN regression model. For synthesizability
prediction, our model significantly increases the baseline PU learning's true
positive rate from 87.9\% to 97.9\% using 1/49 model parameters.
To further prove the effectiveness of our models, we combined our
TSDNN-energy and TSDNN-synthesizability models with our CubicGAN generator to
discover novel stable cubic structures. Out of 1000 recommended candidate
samples by our models, 512 of them have negative formation energies as
validated by our DFT formation energy calculations. Our experimental results
show that our semi-supervised deep neural networks can significantly improve
the screening accuracy in large-scale generative materials design.
- Abstract（参考訳）: データ駆動生成型機械学習モデルは、新しい材料発見の最も有望なアプローチの1つとして最近登場した。
ジェネレータモデルは数百万の候補を生成することができるが、高速で正確な機械学習モデルを訓練し、安定した合成可能な材料を望ましい特性でフィルタリングすることが重要である。
しかし, ICSD や Materials Project (MP) などの資料データベースに蓄積されていない不安定なサンプルや合成不可能なサンプルの不足により, 教師付き回帰モデルや分類スクリーニングモデルの構築が著しく妨げられている。
同時に、これらのデータベースで利用可能なラベルなしのデータもかなりの量存在する。
本稿では,教師と教師の密接なデュアルネットワークアーキテクチャと大量のラベルなしデータの有効活用により実現される,高性能な生成エネルギーと合成可能性予測のための半教師付きディープニューラルネットワーク(tsdnn)モデルを提案する。
生成エネルギーに基づく安定性スクリーニングにおいて, 半教師付き分類器はベースラインcgcnn回帰モデルと比較して絶対精度が10.3\%向上する。
合成可能性予測では,1/49モデルパラメータを用いて,ベースラインPU学習の正の率を87.9\%から97.9\%に有意に向上させる。
モデルの有効性をさらに証明するため,我々は,我々のTSDNNエネルギーモデルとTSDNN合成可能性モデルと立方体生成器を組み合わせて,新しい安定な立方体構造を発見した。
提案した1000の候補試料のうち, 512は負生成エネルギーを有しており, DFT生成エネルギーの計算によって検証されている。
実験の結果, 半教師付き深層ニューラルネットワークは, 大規模生成材料設計において, スクリーニング精度を大幅に向上できることがわかった。
関連論文リスト
- An Investigation on Machine Learning Predictive Accuracy Improvement and Uncertainty Reduction using VAE-based Data Augmentation [2.517043342442487]
深層生成学習は、特定のMLモデルを使用して、既存のデータの基盤となる分布を学習し、実際のデータに似た合成サンプルを生成する。
本研究では,変分オートエンコーダ(VAE)を用いた深部生成モデルを用いて,データ拡張の有効性を評価することを目的とする。
本研究では,拡張データを用いてトレーニングしたディープニューラルネットワーク(DNN)モデルの予測において,データ拡張が精度の向上につながるかどうかを検討した。
論文 参考訳（メタデータ） (2024-10-24T18:15:48Z) - Diffusion-Based Neural Network Weights Generation [80.89706112736353]
D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。
本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。
我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
論文 参考訳（メタデータ） (2024-02-28T08:34:23Z) - Downstream Task-Oriented Generative Model Selections on Synthetic Data
Training for Fraud Detection Models [9.754400681589845]
本稿では,学習不正検出モデルにおける下流タスク指向生成モデル選択問題にアプローチする。
本研究は,ニューラルネットワーク(NN)とベイジアンネットワーク(BN)をベースとした生成モデルの両方が,ゆるやかなモデル解釈可能性制約下での合成トレーニングタスクの完了に適しているが,BNベースの生成モデルは,厳密なモデル解釈可能性制約下での合成トレーニング不正検出モデルにおいて,NNベースより優れていることを裏付けるものである。
論文 参考訳（メタデータ） (2024-01-01T23:33:56Z) - On the Stability of Iterative Retraining of Generative Models on their own Data [56.153542044045224]
混合データセットに対する生成モデルの訓練が与える影響について検討する。
まず、初期生成モデルがデータ分布を十分に近似する条件下で反復学習の安定性を実証する。
我々は、正規化フローと最先端拡散モデルを繰り返し訓練することにより、合成画像と自然画像の両方に関する我々の理論を実証的に検証する。
論文 参考訳（メタデータ） (2023-09-30T16:41:04Z) - An Adversarial Active Sampling-based Data Augmentation Framework for
Manufacturable Chip Design [55.62660894625669]
リソグラフィーモデリングは、チップ設計マスクが製造可能であることを保証するため、チップ設計において重要な問題である。
機械学習の最近の進歩は、時間を要するリソグラフィーシミュレーションをディープニューラルネットワークに置き換えるための代替ソリューションを提供している。
本稿では,限られたデータのジレンマを解消し,機械学習モデルの性能を向上させるために,データ拡張フレームワークを提案する。
論文 参考訳（メタデータ） (2022-10-27T20:53:39Z) - Atrial Fibrillation Detection Using Weight-Pruned, Log-Quantised
Convolutional Neural Networks [25.160063477248904]
心電図信号から心房細動を検出する畳み込みニューラルネットワークモデルを開発した。
このモデルは、限られた可変長の入力データで訓練されているにもかかわらず、高い性能を示す。
最終モデルは91.1%のモデル圧縮比を達成し、高いモデル精度は91.7%、損失は1%未満であった。
論文 参考訳（メタデータ） (2022-06-14T11:47:04Z) - EINNs: Epidemiologically-Informed Neural Networks [75.34199997857341]
本稿では,疫病予測のための新しい物理インフォームドニューラルネットワークEINNを紹介する。
メカニスティックモデルによって提供される理論的柔軟性と、AIモデルによって提供されるデータ駆動表現性の両方を活用する方法について検討する。
論文 参考訳（メタデータ） (2022-02-21T18:59:03Z) - LCS: Learning Compressible Subspaces for Adaptive Network Compression at
Inference Time [57.52251547365967]
本稿では,ニューラルネットワークの「圧縮可能な部分空間」を訓練する手法を提案する。
構造的・非構造的空間に対する推定時間における微粒な精度・効率のトレードオフを任意に達成するための結果を示す。
我々のアルゴリズムは、可変ビット幅での量子化にまで拡張し、個別に訓練されたネットワークと同等の精度を実現する。
論文 参考訳（メタデータ） (2021-10-08T17:03:34Z) - Mitigating severe over-parameterization in deep convolutional neural
networks through forced feature abstraction and compression with an
entropy-based heuristic [7.503338065129185]
本稿では,エントロピーに基づく畳み込み層推定(EBCLE)を提案する。
EBCLEを用いて訓練したより広いが浅いモデルの相対的有効性を強調する実証的証拠を提示する。
論文 参考訳（メタデータ） (2021-06-27T10:34:39Z) - On Energy-Based Models with Overparametrized Shallow Neural Networks [44.74000986284978]
エネルギーベースモデル(EBM)は、ジェネレーションモデリングの強力なフレームワークです。
この研究では、浅いニューラルネットワークに焦点を当てます。
我々は、いわゆる「アクティブ」体制で訓練されたモデルが、関連する「怠慢」またはカーネル体制に対して統計的に有利であることを示す。
論文 参考訳（メタデータ） (2021-04-15T15:34:58Z) - ALT-MAS: A Data-Efficient Framework for Active Testing of Machine
Learning Algorithms [58.684954492439424]
少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。
ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
論文 参考訳（メタデータ） (2021-04-11T12:14:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。