Fugu-MT 論文翻訳(概要): Supervised Pretraining for Material Property Prediction

論文の概要: Supervised Pretraining for Material Property Prediction

arxiv url: http://arxiv.org/abs/2504.20112v1
Date: Sun, 27 Apr 2025 19:00:41 GMT
ステータス: 翻訳完了
システム内更新日: 2025-05-02 19:15:54.600135
Title: Supervised Pretraining for Material Property Prediction
Title（参考訳）: 材料特性予測のための事前学習の促進
Authors: Chowdhury Mohammad Abid Rahman, Aldo H. Romero, Prashnna K. Gyawali,
Abstract要約: 自己教師付き学習(SSL)は、基盤モデルを開発するために、大規模でラベルなしのデータセットを事前トレーニングすることで、有望な代替手段を提供する。そこで本研究では,教師付き事前学習を提案する。表現学習をさらに強化するため,物質グラフを構造的に変形させることなく,ノイズを注入してロバスト性を向上させるグラフベースの拡張手法を提案する。
参考スコア（独自算出の注目度）: 0.36868085124383626
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Accurate prediction of material properties facilitates the discovery of novel materials with tailored functionalities. Deep learning models have recently shown superior accuracy and flexibility in capturing structure-property relationships. However, these models often rely on supervised learning, which requires large, well-annotated datasets an expensive and time-consuming process. Self-supervised learning (SSL) offers a promising alternative by pretraining on large, unlabeled datasets to develop foundation models that can be fine-tuned for material property prediction. In this work, we propose supervised pretraining, where available class information serves as surrogate labels to guide learning, even when downstream tasks involve unrelated material properties. We evaluate this strategy on two state-of-the-art SSL models and introduce a novel framework for supervised pretraining. To further enhance representation learning, we propose a graph-based augmentation technique that injects noise to improve robustness without structurally deforming material graphs. The resulting foundation models are fine-tuned for six challenging material property predictions, achieving significant performance gains over baselines, ranging from 2% to 6.67% improvement in mean absolute error (MAE) and establishing a new benchmark in material property prediction. This study represents the first exploration of supervised pertaining with surrogate labels in material property prediction, advancing methodology and application in the field.
Abstract（参考訳）: 材料特性の正確な予測は, 適合機能を有する新規材料の発見を促進する。ディープラーニングモデルは、最近、構造とプロパティの関係をキャプチャする上で、優れた精度と柔軟性を示している。しかし、これらのモデルはしばしば教師付き学習に依存しており、これは高価で時間を要する大規模な、注釈付きデータセットを必要とする。自己教師付き学習(SSL)は、大規模でラベルのないデータセットを事前訓練して、材料特性予測のために微調整可能な基礎モデルを開発することで、有望な代替手段を提供する。本研究では,教師付き事前学習を提案する。そこでは,ダウンストリームタスクが無関係な材料特性を伴っても,クラス情報が学習をガイドするための代理ラベルとして機能する。我々は、この戦略を最先端のSSLモデル2つで評価し、教師付き事前トレーニングのための新しいフレームワークを導入する。表現学習をさらに強化するため,物質グラフを構造的に変形させることなく,雑音を注入してロバスト性を向上させるグラフベースの拡張手法を提案する。得られた基礎モデルは、6つの挑戦的な材料特性予測のために微調整され、平均絶対誤差(MAE)が2%から6.67%向上し、材料特性予測の新しいベンチマークが確立された。本研究は, 材料特性予測, 方法論の進歩, 現場での応用において, 代理ラベルに関連する監督対象の探索を初めて行ったものである。

関連論文リスト

Accurate predictive model of band gap with selected important features based on explainable machine learning [0.0]
本研究では、置換特徴の重要性やSHapley Additive exPlanationなど、説明可能なML(XML)技術を用いる。 XMLから派生した個々の機能の重要性に導かれ、機能削減予測モデルを構築するためのシンプルなフレームワークが提案されている。モデル評価は、上位5つの特徴からなるXML誘導型コンパクトモデルが、ドメイン内のデータセット上のプリスタンモデルに匹敵する精度を達成することを示している。
論文参考訳（メタデータ） (2025-03-06T14:40:21Z)
Self-supervised learning for crystal property prediction via denoising [43.148818844265236]
材料特性予測のための新たな自己教師型学習(SSL)戦略を提案する。本手法は, 自己教師付き学習(CDSSL)の結晶化であり, 有意な材料構造を復元する前提条件付き予測モデルを事前訓練する。 CDSSLモデルがSSLなしでトレーニングされたモデル、素材タイプ、プロパティ、データセットサイズを上回るパフォーマンスを示す。
論文参考訳（メタデータ） (2024-08-30T12:53:40Z)
Out-of-distribution materials property prediction using adversarial learning based fine-tuning [0.0]
本稿では,特定のデータセットに適応させるための微調整アプローチをターゲットとした逆学習を提案する。実験では,限られたサンプルを持つMLにおいて,CALアルゴリズムの成功を高い有効性で実証した。
論文参考訳（メタデータ） (2024-08-17T21:22:21Z)
Establishing Deep InfoMax as an effective self-supervised learning methodology in materials informatics [0.0]
Deep InfoMaxは、材料情報処理のための自己教師型機械学習フレームワークである。 Deep InfoMaxは、結晶の点集合(またはグラフ)表現と下流学習に適したベクトル表現との相互情報を最大化する。本稿では,Site-Netアーキテクチャ上で実装されたDeep InfoMaxプリトレーニングの利点について検討し,下流特性予測モデルの性能向上を図る。
論文参考訳（メタデータ） (2024-06-30T11:33:49Z)
F-FOMAML: GNN-Enhanced Meta-Learning for Peak Period Demand Forecasting with Proxy Data [65.6499834212641]
本稿では,需要予測をメタラーニング問題として定式化し,F-FOMAMLアルゴリズムを開発した。タスク固有のメタデータを通してドメインの類似性を考慮することにより、トレーニングタスクの数が増加するにつれて過剰なリスクが減少する一般化を改善した。従来の最先端モデルと比較して,本手法では需要予測精度が著しく向上し,内部自動販売機データセットでは平均絶対誤差が26.24%,JD.comデータセットでは1.04%削減された。
論文参考訳（メタデータ） (2024-06-23T21:28:50Z)
Impact of Noisy Supervision in Foundation Model Learning [91.56591923244943]
本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
論文参考訳（メタデータ） (2024-03-11T16:22:41Z)
Structure-based out-of-distribution (OOD) materials property prediction: a benchmark study [1.3711992220025948]
本稿では,構造ベースグラフニューラルネットワーク(GNN)を用いたOOD材料特性予測のためのベンチマーク研究を行う。実験の結果,現在最先端のGNNアルゴリズムはOOD特性予測タスクでは著しく性能が劣っていることがわかった。 CGCNN、ALIGNN、DeeperGATGNNのOOD性能は、現在のベストモデルよりもはるかに堅牢である。
論文参考訳（メタデータ） (2024-01-16T01:03:39Z)
Universal Domain Adaptation from Foundation Models: A Baseline Study [58.51162198585434]
基礎モデルを用いた最先端UniDA手法の実証的研究を行った。 CLIPモデルからターゲット知識を抽出するためのパラメータフリーな手法であるtextitCLIP 蒸留を導入する。単純な手法ではあるが、ほとんどのベンチマークタスクでは従来の手法よりも優れている。
論文参考訳（メタデータ） (2023-05-18T16:28:29Z)
Large Language Models with Controllable Working Memory [64.71038763708161]
大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
論文参考訳（メタデータ） (2022-11-09T18:58:29Z)
Self-Distillation for Further Pre-training of Transformers [83.84227016847096]
我々は、さらなる事前学習段階の正則化として自己蒸留を提案する。画像およびテキスト分類タスクのための様々なベンチマークデータセットにおける自己蒸留の有効性を実証的に検証する。
論文参考訳（メタデータ） (2022-09-30T02:25:12Z)
Towards Open-World Feature Extrapolation: An Inductive Graph Learning Approach [80.8446673089281]
グラフ表現と学習を伴う新しい学習パラダイムを提案する。本フレームワークは,1) 下位モデルとしてのバックボーンネットワーク(フィードフォワードニューラルネットなど)が,予測ラベルの入力および出力として機能を取り,2) 上位モデルとしてのグラフニューラルネットワークが,観測データから構築された特徴データグラフをメッセージパッシングすることで,新機能の埋め込みを外挿することを学ぶ。
論文参考訳（メタデータ） (2021-10-09T09:02:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。