論文の概要: Benchmarking GNNs for OOD Materials Property Prediction with Uncertainty Quantification
- arxiv url: http://arxiv.org/abs/2511.11697v1
- Date: Wed, 12 Nov 2025 11:15:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-18 14:36:23.007223
- Title: Benchmarking GNNs for OOD Materials Property Prediction with Uncertainty Quantification
- Title(参考訳): 不確実性定量化によるOOD材料特性予測のためのベンチマークGNN
- Authors: Liqin Tan, Pin Chen, Menghan Liu, Xiean Wang, Jianhuan Cen, Qingsong Zou,
- Abstract要約: MatUQは、アウト・オブ・ディストリビューション(OOD)の材料特性予測に基づいてグラフニューラルネットワーク(GNN)を評価するためのベンチマークフレームワークである。
MatUQは、5つのOFMベースと、新たに提案された構造認識分割戦略を用いて、6つの材料データセットから構築された1,375のOOD予測タスクから構成される。
- 参考スコア(独自算出の注目度): 4.2576347479313394
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present MatUQ, a benchmark framework for evaluating graph neural networks (GNNs) on out-of-distribution (OOD) materials property prediction with uncertainty quantification (UQ). MatUQ comprises 1,375 OOD prediction tasks constructed from six materials datasets using five OFM-based and a newly proposed structure-aware splitting strategy, SOAP-LOCO, which captures local atomic environments more effectively. We evaluate 12 representative GNN models under a unified uncertainty-aware training protocol that combines Monte Carlo Dropout and Deep Evidential Regression (DER), and introduce a novel uncertainty metric, D-EviU, which shows the strongest correlation with prediction errors in most tasks. Our experiments yield two key findings. First, the uncertainty-aware training approach significantly improves model prediction accuracy, reducing errors by an average of 70.6\% across challenging OOD scenarios. Second, the benchmark reveals that no single model dominates universally: earlier models such as SchNet and ALIGNN remain competitive, while newer models like CrystalFramer and SODNet demonstrate superior performance on specific material properties. These results provide practical insights for selecting reliable models under distribution shifts in materials discovery.
- Abstract(参考訳): 本研究では,不確実性定量化(UQ)による材料特性予測(OOD)に基づくグラフニューラルネットワーク(GNN)評価のためのベンチマークフレームワークであるMatUQを提案する。
MatUQは、5つのOFMベースと、新たに提案された構造対応分割戦略であるSOAP-LOCOを使用して、6つの資料データセットから構築された1,375のOOD予測タスクで構成されている。
我々はモンテカルロ・ドロップアウトとディープ・エビデンシャル・レグレッション(DER)を組み合わせた統一された不確実性学習プロトコルの下で,12種類の代表的GNNモデルを評価し,新しい不確実性指標D-EviUを導入する。
私たちの実験は2つの重要な結果をもたらす。
第一に、不確実性を認識したトレーニングアプローチはモデルの予測精度を大幅に改善し、挑戦するOODシナリオの平均70.6\%のエラーを削減する。
SchNetやALIGNNといった初期のモデルは競争力を維持し、CrystalFramerやSODNetのような新しいモデルは特定の材料特性において優れた性能を示している。
これらの結果は、材料発見における分布シフトの下で信頼性のあるモデルを選択するための実践的な洞察を与える。
関連論文リスト
- Structure-based out-of-distribution (OOD) materials property prediction:
a benchmark study [1.3711992220025948]
本稿では,構造ベースグラフニューラルネットワーク(GNN)を用いたOOD材料特性予測のためのベンチマーク研究を行う。
実験の結果,現在最先端のGNNアルゴリズムはOOD特性予測タスクでは著しく性能が劣っていることがわかった。
CGCNN、ALIGNN、DeeperGATGNNのOOD性能は、現在のベストモデルよりもはるかに堅牢である。
論文 参考訳(メタデータ) (2024-01-16T01:03:39Z) - Uncertainty Quantification in Multivariable Regression for Material Property Prediction with Bayesian Neural Networks [37.69303106863453]
物理インフォームドBNNにおける不確実性定量化(UQ)のアプローチを提案する。
本稿では, 鋼のクリープ破断寿命を予測するためのケーススタディを提案する。
クリープ寿命予測の最も有望なフレームワークは、マルコフ・チェイン・モンテカルロによるネットワークパラメータの後方分布の近似に基づくBNNである。
論文 参考訳(メタデータ) (2023-11-04T19:40:16Z) - Towards Calibrated Robust Fine-Tuning of Vision-Language Models [97.19901765814431]
本研究は、視覚言語モデルにおいて、OOD精度と信頼性校正の両方を同時に改善する頑健な微調整法を提案する。
OOD分類とOOD校正誤差は2つのIDデータからなる共有上限を持つことを示す。
この知見に基づいて,最小の特異値を持つ制約付きマルチモーダルコントラスト損失を用いて微調整を行う新しいフレームワークを設計する。
論文 参考訳(メタデータ) (2023-11-03T05:41:25Z) - Energy-based Out-of-Distribution Detection for Graph Neural Networks [76.0242218180483]
我々は,GNNSafeと呼ばれるグラフ上での学習のための,シンプルで強力で効率的なOOD検出モデルを提案する。
GNNSafeは、最先端技術に対するAUROCの改善を最大17.0%で達成しており、そのような未開発領域では単純だが強力なベースラインとして機能する可能性がある。
論文 参考訳(メタデータ) (2023-02-06T16:38:43Z) - Batch-Ensemble Stochastic Neural Networks for Out-of-Distribution
Detection [55.028065567756066]
Out-of-Distribution(OOD)検出は、機械学習モデルを現実世界のアプリケーションにデプロイすることの重要性から、マシンラーニングコミュニティから注目を集めている。
本稿では,特徴量の分布をモデル化した不確実な定量化手法を提案する。
バッチアンサンブルニューラルネットワーク(BE-SNN)の構築と機能崩壊問題の克服を目的として,効率的なアンサンブル機構,すなわちバッチアンサンブルを組み込んだ。
We show that BE-SNNs yield superior performance on the Two-Moons dataset, the FashionMNIST vs MNIST dataset, FashionM。
論文 参考訳(メタデータ) (2022-06-26T16:00:22Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳(メタデータ) (2020-06-26T13:50:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。