論文の概要: Structure-based out-of-distribution (OOD) materials property prediction:
a benchmark study
- arxiv url: http://arxiv.org/abs/2401.08032v1
- Date: Tue, 16 Jan 2024 01:03:39 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-17 15:40:44.318305
- Title: Structure-based out-of-distribution (OOD) materials property prediction:
a benchmark study
- Title（参考訳）: 構造ベースアウト・オブ・ディストリビューション(OOD)材料特性予測:ベンチマーク研究
- Authors: Sadman Sadeed Omee and Nihang Fu and Rongzhi Dong and Ming Hu and
Jianjun Hu
- Abstract要約: 本稿では,構造ベースグラフニューラルネットワーク(GNN)を用いたOOD材料特性予測のためのベンチマーク研究を行う。
実験の結果,現在最先端のGNNアルゴリズムはOOD特性予測タスクでは著しく性能が劣っていることがわかった。
CGCNN、ALIGNN、DeeperGATGNNのOOD性能は、現在のベストモデルよりもはるかに堅牢である。
- 参考スコア（独自算出の注目度）: 1.3711992220025948
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: In real-world material research, machine learning (ML) models are usually
expected to predict and discover novel exceptional materials that deviate from
the known materials. It is thus a pressing question to provide an objective
evaluation of ML model performances in property prediction of
out-of-distribution (OOD) materials that are different from the training set
distribution. Traditional performance evaluation of materials property
prediction models through random splitting of the dataset frequently results in
artificially high performance assessments due to the inherent redundancy of
typical material datasets. Here we present a comprehensive benchmark study of
structure-based graph neural networks (GNNs) for extrapolative OOD materials
property prediction. We formulate five different categories of OOD ML problems
for three benchmark datasets from the MatBench study. Our extensive experiments
show that current state-of-the-art GNN algorithms significantly underperform
for the OOD property prediction tasks on average compared to their baselines in
the MatBench study, demonstrating a crucial generalization gap in realistic
material prediction tasks. We further examine the latent physical spaces of
these GNN models and identify the sources of CGCNN, ALIGNN, and DeeperGATGNN's
significantly more robust OOD performance than those of the current best models
in the MatBench study (coGN and coNGN), and provide insights to improve their
performance.
- Abstract（参考訳）: 実世界の材料研究では、機械学習(ml)モデルは通常、既知の材料から逸脱する新しい例外的な素材を予測し発見することが期待されている。
したがって、トレーニングセット分布とは異なるアウト・オブ・ディストリビューション(ood)材料の特性予測において、mlモデルの性能を客観的に評価することが課題となる。
データセットのランダム分割による材料特性予測モデルの従来の性能評価は、典型的な材料データセットの固有冗長性に起因する人工的に高い性能評価をもたらす。
本稿では,構造ベースグラフニューラルネットワーク(GNN)の総合的なベンチマークを行い,OOD材料特性の予測を行う。
MatBenchによる3つのベンチマークデータセットに対して,OOD ML問題の5つのカテゴリを定式化する。
広範な実験により,現状のgnnアルゴリズムは,matbench研究のベースラインと比較して,ood特性予測タスクを平均で有意に過小評価し,実物予測タスクにおいて重要な一般化ギャップを示した。
さらに、これらのGNNモデルの潜在物理空間を調べ、CGCNN、ALIGNN、DeeperGATGNNのOOD性能を、現在のMateBench研究(coGNおよびcoNGN)の最良のモデルよりも大幅に高め、その性能を改善するための洞察を提供する。
関連論文リスト
- Out-of-distribution materials property prediction using adversarial learning based fine-tuning [0.0]
本稿では,特定のデータセットに適応させるための微調整アプローチをターゲットとした逆学習を提案する。
実験では,限られたサンプルを持つMLにおいて,CALアルゴリズムの成功を高い有効性で実証した。
論文 参考訳（メタデータ） (2024-08-17T21:22:21Z) - Mining experimental data from Materials Science literature with Large Language Models: an evaluation study [1.9849264945671101]
本研究は,大規模言語モデル (LLM) の教材科学における科学的資料から構造化情報を抽出する能力を評価することを目的としている。
我々は,情報抽出における2つの重要な課題に焦点をあてる: (i) 研究材料と物性の名前を付けたエンティティ認識(NER) と, (ii) それらのエンティティ間の関係抽出(RE) である。
これらのタスクの実行におけるLCMの性能は、BERTアーキテクチャとルールベースのアプローチ(ベースライン)に基づいて従来のモデルと比較される。
論文 参考訳（メタデータ） (2024-01-19T23:00:31Z) - Materials Informatics Transformer: A Language Model for Interpretable
Materials Properties Prediction [6.349503549199403]
本稿では,材料特性予測のための材料情報変換器(MatInFormer)について紹介する。
具体的には、関連する空間群情報のトークン化を通じて結晶学の文法を学習する新しいアプローチを提案する。
論文 参考訳（メタデータ） (2023-08-30T18:34:55Z) - Revisiting Out-of-distribution Robustness in NLP: Benchmark, Analysis,
and LLMs Evaluations [111.88727295707454]
本稿では,NLP分野におけるアウト・オブ・ディストリビューション(OOD)のロバスト性に関する研究を再検討する。
本稿では, 明確な分化と分散の困難さを保証するための, ベンチマーク構築プロトコルを提案する。
我々は,OODロバスト性の分析と評価のための事前学習言語モデルの実験を行った。
論文 参考訳（メタデータ） (2023-06-07T17:47:03Z) - Do-GOOD: Towards Distribution Shift Evaluation for Pre-Trained Visual
Document Understanding Models [68.12229916000584]
本研究では,文書画像関連タスクの微粒化解析のためのDO-GOOD(Out-of-distriion)ベンチマークを開発した。
次に、ロバスト性を評価し、5つの最新のVDU事前学習モデルと2つの典型的なOOD一般化アルゴリズムのきめ細かい解析を行う。
論文 参考訳（メタデータ） (2023-06-05T06:50:42Z) - Pseudo-OOD training for robust language models [78.15712542481859]
OOD検出は、あらゆる産業規模のアプリケーションに対する信頼性の高い機械学習モデルの鍵となるコンポーネントである。
In-distribution(IND)データを用いて擬似OODサンプルを生成するPOORE-POORE-POSthoc pseudo-Ood Regularizationを提案する。
我々は3つの現実世界の対話システムに関する枠組みを広く評価し、OOD検出における新たな最先端技術を実現した。
論文 参考訳（メタデータ） (2022-10-17T14:32:02Z) - SimSCOOD: Systematic Analysis of Out-of-Distribution Generalization in
Fine-tuned Source Code Models [58.78043959556283]
本研究は,Low-Rank Adaptation (LoRA)ファインチューニング手法を含む,異なる微調整手法によるモデルの挙動について検討する。
解析の結果、LoRAファインチューニングは様々なシナリオにおけるフルファインチューニングよりも、OODの一般化性能が大幅に向上していることが判明した。
論文 参考訳（メタデータ） (2022-10-10T16:07:24Z) - Batch-Ensemble Stochastic Neural Networks for Out-of-Distribution
Detection [55.028065567756066]
Out-of-Distribution(OOD)検出は、機械学習モデルを現実世界のアプリケーションにデプロイすることの重要性から、マシンラーニングコミュニティから注目を集めている。
本稿では,特徴量の分布をモデル化した不確実な定量化手法を提案する。
バッチアンサンブルニューラルネットワーク(BE-SNN)の構築と機能崩壊問題の克服を目的として,効率的なアンサンブル機構,すなわちバッチアンサンブルを組み込んだ。
We show that BE-SNNs yield superior performance on the Two-Moons dataset, the FashionMNIST vs MNIST dataset, FashionM。
論文 参考訳（メタデータ） (2022-06-26T16:00:22Z) - A Physics-Guided Neural Operator Learning Approach to Model Biological
Tissues from Digital Image Correlation Measurements [3.65211252467094]
本稿では, 生体組織モデリングにおけるデータ駆動型相関について述べる。これは, 未知の負荷シナリオ下でのデジタル画像相関(DIC)測定に基づいて変位場を予測することを目的としている。
ブタ三尖弁リーフレット上の多軸延伸プロトコルのDIC変位追跡測定から材料データベースを構築した。
材料応答は、負荷から結果の変位場への解演算子としてモデル化され、材料特性はデータから暗黙的に学習され、自然にネットワークパラメータに埋め込まれる。
論文 参考訳（メタデータ） (2022-04-01T04:56:41Z) - Rethinking Generalization of Neural Models: A Named Entity Recognition
Case Study [81.11161697133095]
NERタスクをテストベッドとして、異なる視点から既存モデルの一般化挙動を分析する。
詳細な分析による実験は、既存のニューラルNERモデルのボトルネックを診断する。
本論文の副産物として,最近のNER論文の包括的要約を含むプロジェクトをオープンソース化した。
論文 参考訳（メタデータ） (2020-01-12T04:33:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。