論文の概要: Matbench Discovery -- A framework to evaluate machine learning crystal stability predictions

• arxiv url: http://arxiv.org/abs/2308.14920v3
• Date: Tue, 10 Dec 2024 23:52:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-12 13:58:31.923595
• Title: Matbench Discovery -- A framework to evaluate machine learning crystal stability predictions
• Title（参考訳）: Matbench Discovery -- 機械学習結晶の安定性予測を評価するフレームワーク
• Authors: Janosh Riebesell, Rhys E. A. Goodall, Philipp Benner, Yuan Chiang, Bowen Deng, Gerbrand Ceder, Mark Asta, Alpha A. Lee, Anubhav Jain, Kristin A. Persson,
• Abstract要約: Matbench Discoveryは機械学習(ML)エネルギーモデルの評価フレームワークである。 ランダムフォレスト、グラフニューラルネットワーク(GNN)、ワンショット予測器、反復ベイズ、普遍原子間ポテンシャル(UIP)など、さまざまなアプローチをベンチマークする。 UIPはトップパフォーマーとして登場し、最初の10k安定予測ではF1スコアが0.57-0.82、発見加速因子(DAF)が6倍に達する。
• 参考スコア（独自算出の注目度）: 1.9402357545481315
• License:
• Abstract: The rapid adoption of machine learning (ML) in domain sciences necessitates best practices and standardized benchmarking for performance evaluation. We present Matbench Discovery, an evaluation framework for ML energy models, applied as pre-filters for high-throughput searches of stable inorganic crystals. This framework addresses the disconnect between thermodynamic stability and formation energy, as well as retrospective vs. prospective benchmarking in materials discovery. We release a Python package to support model submissions and maintain an online leaderboard, offering insights into performance trade-offs. To identify the best-performing ML methodologies for materials discovery, we benchmarked various approaches, including random forests, graph neural networks (GNNs), one-shot predictors, iterative Bayesian optimizers, and universal interatomic potentials (UIP). Our initial results rank models by test set F1 scores for thermodynamic stability prediction: EquiformerV2 + DeNS > Orb > SevenNet > MACE > CHGNet > M3GNet > ALIGNN > MEGNet > CGCNN > CGCNN+P > Wrenformer > BOWSR > Voronoi fingerprint random forest. UIPs emerge as the top performers, achieving F1 scores of 0.57-0.82 and discovery acceleration factors (DAF) of up to 6x on the first 10k stable predictions compared to random selection. We also identify a misalignment between regression metrics and task-relevant classification metrics. Accurate regressors can yield high false-positive rates near the decision boundary at 0 eV/atom above the convex hull. Our results demonstrate UIPs' ability to optimize computational budget allocation for expanding materials databases. However, their limitations remain underexplored in traditional benchmarks. We advocate for task-based evaluation frameworks, as implemented here, to address these limitations and advance ML-guided materials discovery.
• Abstract（参考訳）: ドメインサイエンスにおける機械学習(ML)の急速な採用は、パフォーマンス評価のためのベストプラクティスと標準化されたベンチマークを必要とする。 本稿では, 安定な無機結晶の高スループット探索のためのプレフィルタとして, MLエネルギーモデルの評価フレームワークであるMtbench Discoveryを提案する。 この枠組みは、熱力学的安定性と生成エネルギーの断絶と、材料発見における予測ベンチマークの振り返りに対処する。 モデル提出をサポートし、オンラインのリーダーボードを維持し、パフォーマンスのトレードオフに関する洞察を提供するPythonパッケージをリリースします。 材料発見のための最高のML手法を特定するため、ランダムフォレスト、グラフニューラルネットワーク(GNN)、ワンショット予測器、反復ベイズ最適化器、普遍原子間ポテンシャル(UIP)など、さまざまなアプローチをベンチマークした。 EquiformerV2 + DeNS > Orb > SevenNet > MACE > CHGNet > M3GNet > ALIGNN > MEGNet > CGCNN > CGCNN+P > Wrenformer > BOWSR > Voronoi fingerprint random Forest。 UIPはトップパフォーマーとして登場し、F1スコアは0.57-0.82、発見加速因子(DAF)は、ランダム選択と比較して10kの安定予測で最大6倍に達する。 また、回帰指標とタスク関連分類指標のミスアライメントも同定する。 正確な回帰器は、凸殻の上の0 eV/原子で決定境界付近で高い偽陽性率が得られる。 本研究は,材料データベースの拡張のための計算予算配分を最適化するUIPの能力を示すものである。 しかし、これらの制限は従来のベンチマークでは未定のままである。 本稿では,これらの制約に対処し,ML誘導による材料発見を促進するためのタスクベース評価フレームワークを提案する。

関連論文リスト

• A Causal Graph-Enhanced Gaussian Process Regression for Modeling Engine-out NOx [0.0]
  本研究の目的は,ガウス過程回帰を用いたNOx排出予測モデルの開発と検証である。 入力ウィンドウを持つ標準ラジアル基底関数カーネルを持つ第1、時間的依存を捉えるために畳み込みニューラルネットワークを使用するディープカーネルを組み込んだ第2、グラフ畳み込みネットワークによって導出される因果グラフでディープカーネルを豊かにする第3の3つのガウスプロセスモデルを用いている。 実測値と定性値の両方を用いて,仮想ECMセンサと比較し,入力ウィンドウと深部カーネル構造を用いた場合の予測性能の向上が得られたと結論付けた。
  論文  参考訳（メタデータ） (2024-10-24T04:23:57Z)
• Enhancing Microgrid Performance Prediction with Attention-based Deep Learning Models [0.0]
  本研究の目的は、グリッド不安定性に寄与する電力振動を特徴とするマイクログリッドシステムの運用上の課題に対処することである。 畳み込みとGRU(Gated Recurrent Unit)の強みを活かした統合戦略が提案されている。 このフレームワークは、包括的な負荷予測を行うMulti-Layer Perceptron(MLP)モデルによって固定されている。
  論文  参考訳（メタデータ） (2024-07-20T21:24:11Z)
• Comparing Hyper-optimized Machine Learning Models for Predicting Efficiency Degradation in Organic Solar Cells [39.847063110051245]
  本研究は,有機太陽電池 (OSC) の電力変換効率 (PCE) に苦しむ時間的劣化を表現するための機械学習モデルを提案する。 製造プロセスと環境条件の両方に関して最大7変数を含む996項目のデータベースを180日間以上作成しました。 一方、根平均二乗誤差(RMSE)、二乗誤差(SSE)の和、および平均絶対誤差(MAE)>1%の目標値であるPCEは、係数決定(R2)の値に達した。
  論文  参考訳（メタデータ） (2024-03-29T22:05:26Z)
• Equation Discovery with Bayesian Spike-and-Slab Priors and Efficient Kernels [57.46832672991433]
  ケルネル学習とBayesian Spike-and-Slab pres (KBASS)に基づく新しい方程式探索法を提案する。 カーネルレグレッションを用いてターゲット関数を推定する。これはフレキシブルで表現力があり、データ空間やノイズに対してより堅牢である。 我々は,効率的な後部推論と関数推定のための予測伝搬予測最大化アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-10-09T03:55:09Z)
• Towards Long-Term predictions of Turbulence using Neural Operators [68.8204255655161]
  機械学習を用いて乱流シミュレーションのための低次/サロゲートモデルを開発することを目的としている。 異なるモデル構造が解析され、U-NET構造は標準FNOよりも精度と安定性が良い。
  論文  参考訳（メタデータ） (2023-07-25T14:09:53Z)
• Estimating oil recovery factor using machine learning: Applications of XGBoost classification [0.0]
  石油工学では、極端回復因子であるRFを決定することが不可欠である。 そこで,本研究では,手軽に利用できる特徴を用いた機械学習(ML)を用いて,10種類の油圧RFを推定する。
  論文  参考訳（メタデータ） (2022-10-28T18:21:25Z)
• Batch-Ensemble Stochastic Neural Networks for Out-of-Distribution Detection [55.028065567756066]
  Out-of-Distribution(OOD)検出は、機械学習モデルを現実世界のアプリケーションにデプロイすることの重要性から、マシンラーニングコミュニティから注目を集めている。 本稿では,特徴量の分布をモデル化した不確実な定量化手法を提案する。 バッチアンサンブルニューラルネットワーク(BE-SNN)の構築と機能崩壊問題の克服を目的として,効率的なアンサンブル機構,すなわちバッチアンサンブルを組み込んだ。 We show that BE-SNNs yield superior performance on the Two-Moons dataset, the FashionMNIST vs MNIST dataset, FashionM。
  論文  参考訳（メタデータ） (2022-06-26T16:00:22Z)
• ALT-MAS: A Data-Efficient Framework for Active Testing of Machine Learning Algorithms [58.684954492439424]
  少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。 ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
  論文  参考訳（メタデータ） (2021-04-11T12:14:04Z)
• Towards More Fine-grained and Reliable NLP Performance Prediction [85.78131503006193]
  NLPタスクのパフォーマンス予測の改善に2つの貢献をしている。 まず,F1やBLEUのような総合的な精度測定のための性能予測器について検討する。 次に,信頼区間とキャリブレーションの2つの角度から性能予測モデルの信頼性を理解する手法を提案する。
  論文  参考訳（メタデータ） (2021-02-10T15:23:20Z)
• Cauchy-Schwarz Regularized Autoencoder [68.80569889599434]
  変分オートエンコーダ(VAE)は、強力で広く使われている生成モデルのクラスである。 GMMに対して解析的に計算できるCauchy-Schwarz分散に基づく新しい制約対象を導入する。 本研究の目的は,密度推定,教師なしクラスタリング,半教師なし学習,顔分析における変分自動エンコーディングモデルの改善である。
  論文  参考訳（メタデータ） (2021-01-06T17:36:26Z)
• AIBench Training: Balanced Industry-Standard AI Training Benchmarking [26.820244556465333]
  新しいAIアーキテクチャ/システムのアーリーステージ評価には、安価なベンチマークが必要だ。 私たちは現実世界のベンチマークを使って、学習力学に影響を与える要因をカバーしています。 私たちは、最も包括的なAIトレーニングベンチマークスイートにコントリビュートしています。
  論文  参考訳（メタデータ） (2020-04-30T11:08:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。