論文の概要: Crystal Twins: Self-supervised Learning for Crystalline Material Property Prediction

• arxiv url: http://arxiv.org/abs/2205.01893v1
• Date: Wed, 4 May 2022 05:08:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-06 00:27:45.443159
• Title: Crystal Twins: Self-supervised Learning for Crystalline Material Property Prediction
• Title（参考訳）: Crystal Twins: 結晶材料特性予測のための自己教師型学習
• Authors: Rishikesh Magar, Yuyang Wang, and Amir Barati Farimani
• Abstract要約: 結晶性物質特性予測のためのSSL法であるCrystal Twins(CT)を紹介する。 我々は、拡張インスタンスのグラフ潜在埋め込みに冗長性低減原理を適用して、グラフニューラルネットワーク(GNN)を事前訓練する。 回帰タスクのGNNを微調整する際の事前学習重みの共有により、7つの課題のある材料特性予測ベンチマークの性能を著しく改善する。
• 参考スコア（独自算出の注目度）: 8.048439531116367
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine learning (ML) models have been widely successful in the prediction of material properties. However, large labeled datasets required for training accurate ML models are elusive and computationally expensive to generate. Recent advances in Self-Supervised Learning (SSL) frameworks capable of training ML models on unlabeled data have mitigated this problem and demonstrated superior performance in computer vision and natural language processing tasks. Drawing inspiration from the developments in SSL, we introduce Crystal Twins (CT): an SSL method for crystalline materials property prediction. Using a large unlabeled dataset, we pre-train a Graph Neural Network (GNN) by applying the redundancy reduction principle to the graph latent embeddings of augmented instances obtained from the same crystalline system. By sharing the pre-trained weights when fine-tuning the GNN for regression tasks, we significantly improve the performance for 7 challenging material property prediction benchmarks
• Abstract（参考訳）: 機械学習(ML)モデルは材料特性の予測において広く成功している。 しかし、正確なmlモデルのトレーニングに必要な大きなラベル付きデータセットは、生成が難しく、計算コストがかかる。 ラベルなしデータ上でMLモデルをトレーニングできる自己監視学習(SSL)フレームワークの最近の進歩は、この問題を緩和し、コンピュータビジョンや自然言語処理タスクにおいて優れたパフォーマンスを示した。 SSLの開発からインスピレーションを得て,結晶性物質の特性予測のためのSSL法であるCrystal Twins (CT)を紹介した。 大規模非ラベルデータセットを用いて,同一結晶系から得られた拡張インスタンスのグラフ潜在埋め込みに冗長性低減原理を適用し,グラフニューラルネットワーク(gnn)を事前学習する。 回帰タスクのGNNを微調整する際の事前学習重みの共有により、7つの挑戦的材料特性予測ベンチマークの性能を著しく改善する。

関連論文リスト

• What Do Learning Dynamics Reveal About Generalization in LLM Reasoning? [83.83230167222852]
  モデルの一般化動作は,事前記憶列車の精度と呼ばれるトレーニング指標によって効果的に特徴づけられることがわかった。 モデルの学習行動と一般化を結びつけることで、トレーニング戦略に目標とする改善を導くことができる。
  論文  参考訳（メタデータ） (2024-11-12T09:52:40Z)
• Self-supervised learning for crystal property prediction via denoising [43.148818844265236]
  材料特性予測のための新たな自己教師型学習(SSL)戦略を提案する。 本手法は, 自己教師付き学習(CDSSL)の結晶化であり, 有意な材料構造を復元する前提条件付き予測モデルを事前訓練する。 CDSSLモデルがSSLなしでトレーニングされたモデル、素材タイプ、プロパティ、データセットサイズを上回るパフォーマンスを示す。
  論文  参考訳（メタデータ） (2024-08-30T12:53:40Z)
• Diffusion-Based Neural Network Weights Generation [80.89706112736353]
  D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。 本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。 我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
  論文  参考訳（メタデータ） (2024-02-28T08:34:23Z)
• Curated LLM: Synergy of LLMs and Data Curation for tabular augmentation in low-data regimes [57.62036621319563]
  本稿では,Large Language Models (LLMs) の知識を低データ構造におけるデータ拡張に活用したCLLMを紹介する。 従来のジェネレータと比較して,低データ方式におけるCLLMの優れた性能を示す。
  論文  参考訳（メタデータ） (2023-12-19T12:34:46Z)
• Defect Classification in Additive Manufacturing Using CNN-Based Vision Processing [76.72662577101988]
  本稿では、まず、畳み込みニューラルネットワーク(CNN)を用いて、画像データセットの欠陥をAMから第2に正確に分類し、発達した分類モデルにアクティブラーニング技術を適用する。 これにより、トレーニングデータやトレーニングデータの生成に必要なデータのサイズを削減できる、ヒューマン・イン・ザ・ループ機構の構築が可能になる。
  論文  参考訳（メタデータ） (2023-07-14T14:36:58Z)
• Substitutional Alloying Using Crystal Graph Neural Networks [0.0]
  グラフニューラルネットワーク(GNN)は、結晶によって形成されるグラフの直接学習表現を可能にする。 CGNNを用いてDFTレベルの精度で結晶特性を予測し、原子(ノード/頂点)、結合(エッジ)、大域状態の属性を符号化したグラフを通して予測する。 我々はDFT検証を行い、生成エネルギーと構造特性の予測精度を評価する。
  論文  参考訳（メタデータ） (2023-06-19T08:18:17Z)
• CrysGNN : Distilling pre-trained knowledge to enhance property prediction for crystalline materials [25.622724168215097]
  本稿では結晶材料のための新しいトレーニング済みGNNフレームワークであるCrysGNNについて述べる。 これは、未ラベルの材料データを用いて、結晶グラフのノードレベルとグラフレベルの構造情報をキャプチャする。 我々は、事前訓練されたモデルから知識を抽出することで、全てのSOTAアルゴリズムがベニラバージョンを良好なマージンで上回ることができることを示す広範囲な実験を行った。
  論文  参考訳（メタデータ） (2023-01-14T08:12:01Z)
• Graph Contrastive Learning for Materials [6.667711415870472]
  本稿では,CrystalCLRを紹介した。CrystalCLRは,Crystal Graph Neural Networkを用いた表現のコンストラクティブ学習のためのフレームワークである。 新たな損失関数が加わったことにより,我々のフレームワークは,工学的フィンガープリント手法と競合する表現を学習することができる。 また、モデル微調整により、対照的な事前学習により、物質特性の予測のためのグラフニューラルネットワークの性能が向上することを示した。
  論文  参考訳（メタデータ） (2022-11-24T04:15:47Z)
• An Adversarial Active Sampling-based Data Augmentation Framework for Manufacturable Chip Design [55.62660894625669]
  リソグラフィーモデリングは、チップ設計マスクが製造可能であることを保証するため、チップ設計において重要な問題である。 機械学習の最近の進歩は、時間を要するリソグラフィーシミュレーションをディープニューラルネットワークに置き換えるための代替ソリューションを提供している。 本稿では,限られたデータのジレンマを解消し,機械学習モデルの性能を向上させるために,データ拡張フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-27T20:53:39Z)
• Scalable deeper graph neural networks for high-performance materials property prediction [1.9129213267332026]
  本稿では,グループ分け可能な正規化とスキップ接続が可能な新しいグラフ注意ニューラルネットワークモデルDeeperGATGNNを提案する。 我々の研究は、結晶構造をそれらの性質にマッピングする複雑さに対処するためには、堅牢な性能を達成するために大規模な非常に深いグラフニューラルネットワークが必要であることを示している。
  論文  参考訳（メタデータ） (2021-09-25T05:58:04Z)
• On the Transferability of Pre-trained Language Models: A Study from Artificial Datasets [74.11825654535895]
  大規模未ラベルテキストデータ上での事前学習言語モデル(LM)により、ダウンストリームのパフォーマンスが極めて容易になる。 我々は,事前学習データに含まれる特定の特徴について,セマンティクス以外では,下流タスクのスクラッチからトレーニングしたデータよりも,事前学習したLMを優れているか検討した。
  論文  参考訳（メタデータ） (2021-09-08T10:39:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。