論文の概要: Matbench Discovery -- A framework to evaluate machine learning crystal stability predictions

• arxiv url: http://arxiv.org/abs/2308.14920v2
• Date: Sun, 4 Feb 2024 17:12:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-07 05:15:49.700387
• Title: Matbench Discovery -- A framework to evaluate machine learning crystal stability predictions
• Title（参考訳）: Matbench Discovery -- 機械学習結晶の安定性予測を評価するフレームワーク
• Authors: Janosh Riebesell, Rhys E. A. Goodall, Philipp Benner, Yuan Chiang, Bowen Deng, Alpha A. Lee, Anubhav Jain, Kristin A. Persson
• Abstract要約: Matbench Discoveryは、安定した無機結晶探索における機械学習(ML)エネルギーモデルの展開をシミュレートする。 i) 熱力学的安定性と生成エネルギーの分離と, (ii) ドメイン内と分布外性能の分離に対処する。
• 参考スコア（独自算出の注目度）: 2.234359119457391
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Matbench Discovery simulates the deployment of machine learning (ML) energy models in a high-throughput search for stable inorganic crystals. We address the disconnect between (i) thermodynamic stability and formation energy and (ii) in-domain vs out-of-distribution performance. Alongside this paper, we publish a Python package to aid with future model submissions and a growing online leaderboard with further insights into trade-offs between various performance metrics. To answer the question which ML methodology performs best at materials discovery, our initial release explores a variety of models including random forests, graph neural networks (GNN), one-shot predictors, iterative Bayesian optimizers and universal interatomic potentials (UIP). Ranked best-to-worst by their test set F1 score on thermodynamic stability prediction, we find CHGNet > M3GNet > MACE > ALIGNN > MEGNet > CGCNN > CGCNN+P > Wrenformer > BOWSR > Voronoi tessellation fingerprints with random forest. The top 3 models are UIPs, the winning methodology for ML-guided materials discovery, achieving F1 scores of ~0.6 for crystal stability classification and discovery acceleration factors (DAF) of up to 5x on the first 10k most stable predictions compared to dummy selection from our test set. We also highlight a sharp disconnect between commonly used global regression metrics and more task-relevant classification metrics. Accurate regressors are susceptible to unexpectedly high false-positive rates if those accurate predictions lie close to the decision boundary at 0 eV/atom above the convex hull where most materials are. Our results highlight the need to focus on classification metrics that actually correlate with improved stability hit rate.
• Abstract（参考訳）: Matbench Discoveryは、安定した無機結晶の高速探索における機械学習(ML)エネルギーモデルの展開をシミュレートする。 我々は接続の切り離しに対処する (i)熱力学的安定性と形成エネルギーと (ii) ドメイン内と分散外のパフォーマンス。 本稿では,今後のモデル提出を支援するPythonパッケージと,さまざまなパフォーマンス指標間のトレードオフに関するさらなる洞察をオンラインリーダボードに公開する。 材料発見においてmlの手法が最適かという疑問に答えるため、最初のリリースではランダムフォレスト、グラフニューラルネットワーク(gnn)、ワンショット予測器、反復ベイズ最適化器、普遍的原子間ポテンシャル(uip)を含む様々なモデルを調査した。 chgnet > m3gnet > mace > alignn > megnet > cgcnn > cgcnn+p > wrenformer > bowsr > voronoi tessellation fingerprints with random forest. chgnet > m3gnet > mace > alignn > megnet > cgcnn > cgcnn+p > wrenformer > bowsr > voronoi tesellation fingerprints with random forest. (英語) 上位3つのモデルは、ML誘導材料発見の勝利手法であるUIPであり、結晶の安定性の分類と発見促進因子(DAF)の最大5倍のF1スコアを、我々のテストセットのダミー選択と比較して最も安定な予測で達成する。 また、一般的に使用されるグローバルレグレッションメトリクスと、よりタスク関連分類メトリクスとの明確な切り離しも強調する。 正確な回帰器は、これらの正確な予測が、ほとんどの物質がある凸殻の上の0 eV/原子で決定境界に近くにある場合、予想外の高い偽陽性率の影響を受ける。 我々の結果は、安定性のヒット率の改善と実際に相関している分類指標に焦点を当てる必要性を強調した。

関連論文リスト

• A Causal Graph-Enhanced Gaussian Process Regression for Modeling Engine-out NOx [0.0]
  本研究の目的は,ガウス過程回帰を用いたNOx排出予測モデルの開発と検証である。 入力ウィンドウを持つ標準ラジアル基底関数カーネルを持つ第1、時間的依存を捉えるために畳み込みニューラルネットワークを使用するディープカーネルを組み込んだ第2、グラフ畳み込みネットワークによって導出される因果グラフでディープカーネルを豊かにする第3の3つのガウスプロセスモデルを用いている。 実測値と定性値の両方を用いて,仮想ECMセンサと比較し,入力ウィンドウと深部カーネル構造を用いた場合の予測性能の向上が得られたと結論付けた。
  論文  参考訳（メタデータ） (2024-10-24T04:23:57Z)
• Towards Long-Term predictions of Turbulence using Neural Operators [68.8204255655161]
  機械学習を用いて乱流シミュレーションのための低次/サロゲートモデルを開発することを目的としている。 異なるモデル構造が解析され、U-NET構造は標準FNOよりも精度と安定性が良い。
  論文  参考訳（メタデータ） (2023-07-25T14:09:53Z)
• Human Trajectory Forecasting with Explainable Behavioral Uncertainty [63.62824628085961]
  人間の軌道予測は人間の行動を理解し予測し、社会ロボットから自動運転車への応用を可能にする。 モデルフリー手法は予測精度が優れているが説明可能性に欠ける一方、モデルベース手法は説明可能性を提供するが、よく予測できない。 BNSP-SFMは,11種類の最先端手法と比較して,予測精度を最大50%向上することを示す。
  論文  参考訳（メタデータ） (2023-07-04T16:45:21Z)
• Preserving Knowledge Invariance: Rethinking Robustness Evaluation of Open Information Extraction [50.62245481416744]
  実世界におけるオープン情報抽出モデルの評価をシミュレートする最初のベンチマークを示す。 我々は、それぞれの例が知識不変のcliqueである大規模なテストベッドを設計し、注釈付けする。 さらにロバスト性計量を解明することにより、その性能が全体の傾きに対して一貫して正確であるならば、モデルはロバストであると判断される。
  論文  参考訳（メタデータ） (2023-05-23T12:05:09Z)
• Selecting Robust Features for Machine Learning Applications using Multidata Causal Discovery [7.8814500102882805]
  時系列データセットのアンサンブルを同時に処理するマルチデータ因果的特徴選択手法を提案する。 このアプローチでは、Tigramite Pythonパッケージに実装されているPC1またはPCMCIの因果発見アルゴリズムを使用する。 この枠組みを西太平洋熱帯サイクロンの統計的強度予測に適用する。
  論文  参考訳（メタデータ） (2023-04-11T15:43:34Z)
• Estimating oil recovery factor using machine learning: Applications of XGBoost classification [0.0]
  石油工学では、極端回復因子であるRFを決定することが不可欠である。 そこで,本研究では,手軽に利用できる特徴を用いた機械学習(ML)を用いて,10種類の油圧RFを推定する。
  論文  参考訳（メタデータ） (2022-10-28T18:21:25Z)
• Transformer Uncertainty Estimation with Hierarchical Stochastic Attention [8.95459272947319]
  本稿では,変圧器に不確実性推定機能を持たせるための新しい手法を提案する。 これは、価値と学習可能なセントロイドのセットに付随する階層的な自己注意を学ぶことで達成される。 我々は、ドメイン内(ID)とドメイン外(OOD)の両方のデータセットを用いて、2つのテキスト分類タスクでモデルを実証的に評価する。
  論文  参考訳（メタデータ） (2021-12-27T16:43:31Z)
• ALT-MAS: A Data-Efficient Framework for Active Testing of Machine Learning Algorithms [58.684954492439424]
  少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。 ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
  論文  参考訳（メタデータ） (2021-04-11T12:14:04Z)
• Beyond Point Estimate: Inferring Ensemble Prediction Variation from Neuron Activation Strength in Recommender Systems [21.392694985689083]
  Ensemble Methodは、予測不確実性推定のための最先端のベンチマークである。 予測のバリエーションは、様々なランダム性源から生じることを観察する。 本稿では,ニューロンの活性化強度の予測変動を推定し,活性化強度の特徴から強い予測力を示す。
  論文  参考訳（メタデータ） (2020-08-17T00:08:27Z)
• Superiority of Simplicity: A Lightweight Model for Network Device Workload Prediction [58.98112070128482]
  本稿では,歴史観測に基づく時系列予測のための軽量な解を提案する。 ニューラルネットワークと平均予測器という2つのモデルからなる異種アンサンブル法で構成されている。 利用可能なFedCSIS 2020チャレンジデータセットの総合的なR2$スコア0.10を達成している。
  論文  参考訳（メタデータ） (2020-07-07T15:44:16Z)
• Assessing Graph-based Deep Learning Models for Predicting Flash Point [52.931492216239995]
  グラフベースのディープラーニング(GBDL)モデルは初めてフラッシュポイントを予測するために実装された。 MPNNの平均R2と平均絶対誤差(MAE)は、それぞれ2.3%低、2.0K高である。
  論文  参考訳（メタデータ） (2020-02-26T06:10:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。