論文の概要: MatMMFuse: Multi-Modal Fusion model for Material Property Prediction

• arxiv url: http://arxiv.org/abs/2505.04634v1
• Date: Wed, 30 Apr 2025 09:26:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-09 21:43:49.590242
• Title: MatMMFuse: Multi-Modal Fusion model for Material Property Prediction
• Title（参考訳）: MatMMFuse:材料特性予測のための多モード融合モデル
• Authors: Abhiroop Bhattacharya, Sylvain G. Cloutier,
• Abstract要約: 本稿では,CGCNN(Crystal Graph Convolution Network)とSciBERTモデルからのテキスト埋め込みから構造を意識した融合モデルを提案する。 提案モデルでは,バニラCGCNNモデルに対して68%,SciBERTモデルに対して68%の精度で生成エネルギーを予測できた。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The recent progress of using graph based encoding of crystal structures for high throughput material property prediction has been quite successful. However, using a single modality model prevents us from exploiting the advantages of an enhanced features space by combining different representations. Specifically, pre-trained Large language models(LLMs) can encode a large amount of knowledge which is beneficial for training of models. Moreover, the graph encoder is able to learn the local features while the text encoder is able to learn global information such as space group and crystal symmetry. In this work, we propose Material Multi-Modal Fusion(MatMMFuse), a fusion based model which uses a multi-head attention mechanism for the combination of structure aware embedding from the Crystal Graph Convolution Network (CGCNN) and text embeddings from the SciBERT model. We train our model in an end-to-end framework using data from the Materials Project Dataset. We show that our proposed model shows an improvement compared to the vanilla CGCNN and SciBERT model for all four key properties: formation energy, band gap, energy above hull and fermi energy. Specifically, we observe an improvement of 40% compared to the vanilla CGCNN model and 68% compared to the SciBERT model for predicting the formation energy per atom. Importantly, we demonstrate the zero shot performance of the trained model on small curated datasets of Perovskites, Chalcogenides and the Jarvis Dataset. The results show that the proposed model exhibits better zero shot performance than the individual plain vanilla CGCNN and SciBERT model. This enables researchers to deploy the model for specialized industrial applications where collection of training data is prohibitively expensive.
• Abstract（参考訳）: 結晶構造のグラフベース符号化による高スループット材料特性予測の最近の進歩は、非常に成功した。 しかし、単一のモダリティモデルを使用することで、異なる表現を組み合わせることで、拡張された特徴空間の利点を活用できない。 具体的には、事前訓練された大規模言語モデル(LLM)は、モデルのトレーニングに有用な大量の知識を符号化することができる。 さらに、テキストエンコーダは、空間群や結晶対称性などのグローバル情報を学ぶことができる一方で、グラフエンコーダは局所的な特徴を学習することができる。 本研究では,CGCNN(Crystal Graph Convolution Network)からの埋め込みとSciBERTモデルからのテキスト埋め込みを組み合わせた,マルチヘッドアテンション機構を用いた融合モデルであるMatMMFuseを提案する。 Materials Project Datasetのデータを使って、エンドツーエンドのフレームワークでモデルをトレーニングします。 提案モデルでは, 生成エネルギー, バンドギャップ, 船体上のエネルギー, フェルミエネルギーの4つの重要な特性について, バニラCGCNNおよびSciBERTモデルと比較して改善したことを示す。 具体的には,バニラCGCNNモデルに対して40%,SciBERTモデルに対して68%の改善が観察された。 重要なことは、ペロブスカイト、カルコゲナイド、ジャーヴィスデータセットの小さなキュレートされたデータセット上で訓練されたモデルのゼロショット性能を示すことである。 その結果,提案モデルでは,個々のバニラCGCNNやSciBERTモデルよりもゼロショット性能がよいことがわかった。 これにより、研究者は、トレーニングデータの収集が違法に高価である特殊な産業用アプリケーションにモデルをデプロイできる。

関連論文リスト

• Scaling Laws of Graph Neural Networks for Atomistic Materials Modeling [11.61369154220932]
  原子論的な物質モデリングは、薬物発見から物質科学まで幅広い応用において重要な課題である。 グラフニューラルネットワーク(GNN)は、原子性物質データをモデリングするための最先端のアプローチである。 原子モデルのためのGNNは、数十億のパラメータとテラバイト規模のデータセットを利用する大規模言語モデル(LLM)と比較して、比較的小さいままである。
  論文  参考訳（メタデータ） (2025-04-10T20:19:20Z)
• A Collaborative Ensemble Framework for CTR Prediction [73.59868761656317]
  我々は、複数の異なるモデルを活用するための新しいフレームワーク、CETNet(Collaborative Ensemble Training Network)を提案する。 ナイーブなモデルスケーリングとは違って,私たちのアプローチは,共同学習による多様性とコラボレーションを重視しています。 当社のフレームワークは,Metaの3つのパブリックデータセットと大規模産業データセットに基づいて検証する。
  論文  参考訳（メタデータ） (2024-11-20T20:38:56Z)
• Enabling Small Models for Zero-Shot Selection and Reuse through Model Label Learning [50.68074833512999]
  モデルと機能の間のギャップを埋める新しいパラダイムであるモデルラベル学習(MLL)を導入する。 7つの実世界のデータセットの実験により、MLLの有効性と効率が検証された。
  論文  参考訳（メタデータ） (2024-08-21T09:08:26Z)
• StableLLaVA: Enhanced Visual Instruction Tuning with Synthesized Image-Dialogue Data [129.92449761766025]
  本稿では,視覚的インストラクションチューニングのための画像と対話を同期的に合成する新しいデータ収集手法を提案する。 このアプローチは生成モデルのパワーを活用し、ChatGPTとテキスト・ツー・イメージ生成モデルの能力とを結合する。 本研究は,各種データセットを対象とした総合的な実験を含む。
  論文  参考訳（メタデータ） (2023-08-20T12:43:52Z)
• CrysGNN : Distilling pre-trained knowledge to enhance property prediction for crystalline materials [25.622724168215097]
  本稿では結晶材料のための新しいトレーニング済みGNNフレームワークであるCrysGNNについて述べる。 これは、未ラベルの材料データを用いて、結晶グラフのノードレベルとグラフレベルの構造情報をキャプチャする。 我々は、事前訓練されたモデルから知識を抽出することで、全てのSOTAアルゴリズムがベニラバージョンを良好なマージンで上回ることができることを示す広範囲な実験を行った。
  論文  参考訳（メタデータ） (2023-01-14T08:12:01Z)
• Comparing Test Sets with Item Response Theory [53.755064720563]
  我々は,18の事前学習トランスフォーマーモデルから予測した29のデータセットを個別のテスト例で評価した。 Quoref、HellaSwag、MC-TACOは最先端のモデルを区別するのに最適である。 また、QAMRやSQuAD2.0のようなQAデータセットに使用されるスパン選択タスク形式は、強いモデルと弱いモデルとの差別化に有効である。
  論文  参考訳（メタデータ） (2021-06-01T22:33:53Z)
• Global Attention based Graph Convolutional Neural Networks for Improved Materials Property Prediction [8.371766047183739]
  我々は,グラフニューラルネットワークに基づく無機材料特性の予測モデルであるGATGNNを開発した。 提案手法は, 従来のモデルの予測よりも優れており, 材料の結晶化に関する知見を提供することができる。
  論文  参考訳（メタデータ） (2020-03-11T07:43:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。