論文の概要: Out-of-distribution materials property prediction using adversarial learning based fine-tuning
- arxiv url: http://arxiv.org/abs/2408.09297v1
- Date: Sat, 17 Aug 2024 21:22:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-20 21:29:47.440997
- Title: Out-of-distribution materials property prediction using adversarial learning based fine-tuning
- Title（参考訳）: 逆学習に基づく微調整による配電材料特性の予測
- Authors: Qinyang Li, Nicholas Miklaucic, Jianjun Hu,
- Abstract要約: 本稿では,特定のデータセットに適応させるための微調整アプローチをターゲットとした逆学習を提案する。
実験では,限られたサンプルを持つMLにおいて,CALアルゴリズムの成功を高い有効性で実証した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: The accurate prediction of material properties is crucial in a wide range of scientific and engineering disciplines. Machine learning (ML) has advanced the state of the art in this field, enabling scientists to discover novel materials and design materials with specific desired properties. However, one major challenge that persists in material property prediction is the generalization of models to out-of-distribution (OOD) samples,i.e., samples that differ significantly from those encountered during training. In this paper, we explore the application of advancements in OOD learning approaches to enhance the robustness and reliability of material property prediction models. We propose and apply the Crystal Adversarial Learning (CAL) algorithm for OOD materials property prediction,which generates synthetic data during training to bias the training towards those samples with high prediction uncertainty. We further propose an adversarial learning based targeting finetuning approach to make the model adapted to a particular OOD dataset, as an alternative to traditional fine-tuning. Our experiments demonstrate the success of our CAL algorithm with its high effectiveness in ML with limited samples which commonly occurs in materials science. Our work represents a promising direction toward better OOD learning and materials property prediction.
- Abstract（参考訳）: 材料特性の正確な予測は、幅広い科学・工学分野において重要である。
機械学習(ML)はこの分野で最先端のテクノロジーを進歩させ、科学者は特定の望ましい特性を持つ新しい材料やデザイン材料を発見できる。
しかし、物質的特性予測に残る大きな課題の1つは、モデルからアウト・オブ・ディストリビューション(OOD)サンプル、すなわちトレーニング中に遭遇したサンプルと大きく異なるサンプルへの一般化である。
本稿では,材料特性予測モデルの堅牢性と信頼性を高めるため,OOD学習手法の進歩について検討する。
我々は,OOD材料特性予測のためのCaltal Adversarial Learning (CAL)アルゴリズムを提案し,そのアルゴリズムを適用した。
さらに,従来の微調整の代替として,特定のOODデータセットに適応させるための微調整アプローチをターゲットとした逆学習を提案する。
本実験は,材料科学において一般的に発生する限られたサンプルを持つMLにおいて,CALアルゴリズムの有効性を実証するものである。
我々の研究は、OOD学習と材料資産予測の改善に向けた有望な方向性を示している。
関連論文リスト
- Foundation Model for Composite Materials and Microstructural Analysis [49.1574468325115]
複合材料に特化して設計された基礎モデルを提案する。
我々のモデルは、頑健な潜伏特性を学習するために、短繊維コンポジットのデータセット上で事前訓練されている。
転送学習中、MMAEはR2スコアが0.959に達し、限られたデータで訓練しても0.91を超えている均質化剛性を正確に予測する。
論文 参考訳（メタデータ） (2024-11-10T19:06:25Z) - Can OOD Object Detectors Learn from Foundation Models? [56.03404530594071]
アウト・オブ・ディストリビューション(OOD)オブジェクト検出は、オープンセットのOODデータがないため、難しい課題である。
テキストから画像への生成モデルの最近の進歩に触発されて,大規模オープンセットデータを用いて訓練された生成モデルがOODサンプルを合成する可能性について検討した。
SyncOODは,大規模基盤モデルの能力を活用するシンプルなデータキュレーション手法である。
論文 参考訳（メタデータ） (2024-09-08T17:28:22Z) - Self-supervised learning for crystal property prediction via denoising [43.148818844265236]
材料特性予測のための新たな自己教師型学習(SSL)戦略を提案する。
本手法は, 自己教師付き学習(CDSSL)の結晶化であり, 有意な材料構造を復元する前提条件付き予測モデルを事前訓練する。
CDSSLモデルがSSLなしでトレーニングされたモデル、素材タイプ、プロパティ、データセットサイズを上回るパフォーマンスを示す。
論文 参考訳（メタデータ） (2024-08-30T12:53:40Z) - Structure-based out-of-distribution (OOD) materials property prediction:
a benchmark study [1.3711992220025948]
本稿では,構造ベースグラフニューラルネットワーク(GNN)を用いたOOD材料特性予測のためのベンチマーク研究を行う。
実験の結果,現在最先端のGNNアルゴリズムはOOD特性予測タスクでは著しく性能が劣っていることがわかった。
CGCNN、ALIGNN、DeeperGATGNNのOOD性能は、現在のベストモデルよりもはるかに堅牢である。
論文 参考訳（メタデータ） (2024-01-16T01:03:39Z) - Towards out-of-distribution generalizable predictions of chemical
kinetics properties [61.15970601264632]
Out-Of-Distribution (OOD) の運動特性予測は一般化可能である必要がある。
本稿では,OODの運動特性予測を3つのレベル(構造,条件,機構)に分類する。
我々は、OOD設定における反応予測のための最先端MLアプローチと、速度論的特性予測問題における最先端グラフOOD手法をベンチマークするために、包括的なデータセットを作成する。
論文 参考訳（メタデータ） (2023-10-04T20:36:41Z) - Learning Objective-Specific Active Learning Strategies with Attentive
Neural Processes [72.75421975804132]
学び アクティブラーニング(LAL)は、アクティブラーニング戦略自体を学ぶことを提案し、与えられた設定に適応できるようにする。
能動学習問題の対称性と独立性を利用した新しい分類法を提案する。
私たちのアプローチは、筋電図から学ぶことに基づいており、モデルに標準ではない目的に適応する能力を与えます。
論文 参考訳（メタデータ） (2023-09-11T14:16:37Z) - Materials Informatics Transformer: A Language Model for Interpretable
Materials Properties Prediction [6.349503549199403]
本稿では,材料特性予測のための材料情報変換器(MatInFormer)について紹介する。
具体的には、関連する空間群情報のトークン化を通じて結晶学の文法を学習する新しいアプローチを提案する。
論文 参考訳（メタデータ） (2023-08-30T18:34:55Z) - Pseudo-OOD training for robust language models [78.15712542481859]
OOD検出は、あらゆる産業規模のアプリケーションに対する信頼性の高い機械学習モデルの鍵となるコンポーネントである。
In-distribution(IND)データを用いて擬似OODサンプルを生成するPOORE-POORE-POSthoc pseudo-Ood Regularizationを提案する。
我々は3つの現実世界の対話システムに関する枠組みを広く評価し、OOD検出における新たな最先端技術を実現した。
論文 参考訳（メタデータ） (2022-10-17T14:32:02Z) - SimSCOOD: Systematic Analysis of Out-of-Distribution Generalization in
Fine-tuned Source Code Models [58.78043959556283]
本研究は,Low-Rank Adaptation (LoRA)ファインチューニング手法を含む,異なる微調整手法によるモデルの挙動について検討する。
解析の結果、LoRAファインチューニングは様々なシナリオにおけるフルファインチューニングよりも、OODの一般化性能が大幅に向上していることが判明した。
論文 参考訳（メタデータ） (2022-10-10T16:07:24Z) - Understanding Out-of-distribution: A Perspective of Data Dynamics [5.811774625668462]
本稿では、OODと分布内サンプルの基本的な相違を理解するために、トレーニングモデルにおけるデータダイナミクスをどのように利用できるかを検討する。
その結果,OOD,in-distributionの両ケースにおいて,モデルが不正確に予測するデータサンプルの構文的特性が直接矛盾していることが判明した。
論文 参考訳（メタデータ） (2021-11-29T17:34:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。