論文の概要: CAST: Cross Attention based multimodal fusion of Structure and Text for materials property prediction

• arxiv url: http://arxiv.org/abs/2502.06836v2
• Date: Fri, 08 Aug 2025 08:06:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-11 14:17:29.161063
• Title: CAST: Cross Attention based multimodal fusion of Structure and Text for materials property prediction
• Title（参考訳）: CAST:クロスアテンションに基づく材料特性予測のための構造とテキストのマルチモーダル融合
• Authors: Jaewan Lee, Changyoung Park, Hongjun Yang, Sungbin Lim, Woohyung Lim, Sehui Han,
• Abstract要約: クロスアテンションに基づくモデルは、グラフ表現と資料のテキスト記述を統合する。 CASTは4つの重要な材料特性で既存のベースラインモデルを上回っている。 本研究は,材料科学において,より正確かつグローバルに情報を得た予測モデルを開発するためのマルチモーダル学習フレームワークの可能性を明らかにするものである。
• 参考スコア（独自算出の注目度）: 5.623295547221969
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advancements in graph neural networks (GNNs) have significantly enhanced the prediction of material properties by modeling crystal structures as graphs. However, GNNs often struggle to capture global structural characteristics, such as crystal systems, limiting their predictive performance. To overcome this issue, we propose CAST, a cross-attention-based multimodal model that integrates graph representations with textual descriptions of materials, effectively preserving critical structural and compositional information. Unlike previous approaches, such as CrysMMNet and MultiMat, which rely on aggregated material-level embeddings, CAST leverages cross-attention mechanisms to combine fine-grained graph node-level and text token-level features. Additionally, we introduce a masked node prediction pretraining strategy that further enhances the alignment between node and text embeddings. Our experimental results demonstrate that CAST outperforms existing baseline models across four key material properties-formation energy, band gap, bulk modulus, and shear modulus-with average relative MAE improvements ranging from 10.2% to 35.7%. Analysis of attention maps confirms the importance of pretraining in effectively aligning multimodal representations. This study underscores the potential of multimodal learning frameworks for developing more accurate and globally informed predictive models in materials science.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)の最近の進歩は、結晶構造をグラフとしてモデル化することによって、材料特性の予測を大幅に強化している。 しかしながら、GNNは結晶系のようなグローバルな構造特性を捉えるのに苦労し、その予測性能を制限している。 この問題を解決するために,我々は,グラフ表現と資料のテキスト記述を統合し,重要な構造情報や構成情報を効果的に保存するマルチモーダルモデルであるCASTを提案する。 CrysMMNetやMultiMatのような、集約された材料レベルの埋め込みに依存する従来のアプローチとは異なり、CASTは、粒度の細かいグラフノードレベルとテキストトークンレベルの機能を結合するために、クロスアテンション機構を活用する。 さらに、ノードとテキストの埋め込みのアライメントをさらに強化するマスク付きノード予測事前学習戦略を導入する。 実験の結果,CASTは4つの重要な材料特性,バンドギャップ,バルク弾性率,せん断弾性率の4つのモデルにおいて,10.2%から35.7%の範囲で既存のベースラインモデルよりも優れていた。 注意マップの解析は,マルチモーダル表現を効果的に整列させる上で,事前学習の重要性を裏付けるものである。 本研究は,材料科学において,より正確かつグローバルに情報を得た予測モデルを開発するためのマルチモーダル学習フレームワークの可能性を明らかにするものである。

関連論文リスト

• NSF-MAP: Neurosymbolic Multimodal Fusion for Robust and Interpretable Anomaly Prediction in Assembly Pipelines [0.0]
  本稿では,組立パイプラインにおける多モード異常予測のためのニューロシンボリックAIと融合に基づくアプローチを提案する。 決定レベル融合技術を利用した時系列および画像ベース融合モデルを提案する。 その結果,伝達学習を用いたニューロシンボリックAIベースの融合アプローチは,時系列データと画像データの相補的強みを効果的に活用できることが示唆された。
  論文  参考訳（メタデータ） (2025-05-09T16:50:42Z)
• Uncertainty Quantification in Graph Neural Networks with Shallow Ensembles [0.0]
  機械学習電位(MLP)は、分子特性と材料特性の正確かつ効率的な予測を提供することによって、材料発見に革命をもたらした。 グラフニューラルネットワーク(GNN)は、複雑な原子間相互作用をキャプチャする能力のため、最先端のアプローチとして登場した。 この研究は、GNNベースの材料モデリングの堅牢性を改善するための軽量不確実性定量化(UQ)手法の可能性を強調している。
  論文  参考訳（メタデータ） (2025-04-17T04:02:53Z)
• Characterizing Massive Activations of Attention Mechanism in Graph Neural Networks [0.9499648210774584]
  近年、複雑なパターンをキャプチャする能力を改善するため、注意機構がグラフニューラルネットワーク(GNN)に統合されている。 本稿では,注意層内におけるMA(Massive Activations)の出現を明らかにした最初の総合的研究について述べる。 本研究は,ZINC,TOX21,ProteINSなどのベンチマークデータセットを用いて,GNNモデルの評価を行う。
  論文  参考訳（メタデータ） (2024-09-05T12:19:07Z)
• Cross-Modal Learning for Chemistry Property Prediction: Large Language Models Meet Graph Machine Learning [0.0]
  グラフニューラルネットワーク(GNN)の分析能力と大規模言語モデル(LLM)の言語生成・予測能力を利用する多モード融合(MMF)フレームワークを提案する。 本フレームワークは,グラフ構造化データのモデリングにおけるGNNの有効性とLLMのゼロショットおよび少数ショット学習能力を組み合わせることにより,オーバーフィッティングのリスクを低減し,予測の改善を実現する。
  論文  参考訳（メタデータ） (2024-08-27T11:10:39Z)
• Enhancing material property prediction with ensemble deep graph convolutional networks [9.470117608423957]
  近年の取り組みは、プロパティ予測にディープラーニングベースのグラフニューラルネットワークを含む高度なMLアルゴリズムの採用に重点を置いている。 本研究は,物質特性予測タスクを対象とする深層学習に基づくグラフニューラルネットワークにおけるアンサンブル戦略の詳細な評価を行う。 CGCNN(Crystal Graph Convolutional Neural Network)とそのマルチタスクバージョンであるMT-CGCNNを試験することにより、アンサンブル技術、特に予測平均化が従来のメトリクスを超える精度を大幅に向上することを示した。
  論文  参考訳（メタデータ） (2024-07-26T16:12:06Z)
• Benchmark on Drug Target Interaction Modeling from a Structure Perspective [48.60648369785105]
  薬物と標的の相互作用の予測は、薬物の発見と設計に不可欠である。 グラフニューラルネットワーク(GNN)やトランスフォーマーに基づく最近の手法は、さまざまなデータセットで例外的なパフォーマンスを示している。 我々は,GNNベースと暗黙的(トランスフォーマーベース)構造学習アルゴリズムを多用することにより,構造の観点からの薬物-標的相互作用モデリングの総合的な調査とベンチマークを行う。
  論文  参考訳（メタデータ） (2024-07-04T16:56:59Z)
• Contextualizing MLP-Mixers Spatiotemporally for Urban Data Forecast at Scale [54.15522908057831]
  本稿では,STTD予測を大規模に行うためのコンピュータ・ミクサーの適応版を提案する。 我々の結果は、この単純な効率の良いソリューションが、いくつかのトラフィックベンチマークでテストした場合、SOTAベースラインに匹敵する可能性があることを驚くほど示している。 本研究は, 実世界のSTTD予測において, 簡便な有効モデルの探索に寄与する。
  論文  参考訳（メタデータ） (2023-07-04T05:19:19Z)
• PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive Learning [109.84770951839289]
  歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。 本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-03-17T08:28:30Z)
• Probabilistic Graph Attention Network with Conditional Kernels for Pixel-Wise Prediction [158.88345945211185]
  本稿では,画素レベルの予測を基本的側面,すなわち,技術の現状を推し進める新たなアプローチを提案する。 構造化されたマルチスケール機能学習と融合。 本論文では,マルチスケール表現を原理的に学習・融合するための新しいアテンテンションゲート条件ランダムフィールド(AG-CRFs)モデルに基づく確率的グラフアテンションネットワーク構造を提案する。
  論文  参考訳（メタデータ） (2021-01-08T04:14:29Z)
• Distance-aware Molecule Graph Attention Network for Drug-Target Binding Affinity Prediction [54.93890176891602]
  薬物標的結合親和性予測に適したDiStance-aware Molecule graph Attention Network (S-MAN)を提案する。 そこで,我々はまず,構築したポケットリガンドグラフに位相構造と空間位置情報を統合する位置符号化機構を提案する。 また,エッジレベルアグリゲーションとノードレベルアグリゲーションを有するエッジノード階層的アグリゲーション構造を提案する。
  論文  参考訳（メタデータ） (2020-12-17T17:44:01Z)
• Neural Networks Enhancement with Logical Knowledge [83.9217787335878]
  関係データに対するKENNの拡張を提案する。 その結果、KENNは、存在関係データにおいても、基礎となるニューラルネットワークの性能を高めることができることがわかった。
  論文  参考訳（メタデータ） (2020-09-13T21:12:20Z)
• Graph Neural Network for Hamiltonian-Based Material Property Prediction [56.94118357003096]
  無機材料のバンドギャップを予測できるいくつかの異なるグラフ畳み込みネットワークを提示し、比較する。 モデルは、それぞれの軌道自体の情報と相互の相互作用の2つの異なる特徴を組み込むように開発されている。 その結果,クロスバリデーションにより予測精度が期待できることがわかった。
  論文  参考訳（メタデータ） (2020-05-27T13:32:10Z)
• Global Attention based Graph Convolutional Neural Networks for Improved Materials Property Prediction [8.371766047183739]
  我々は,グラフニューラルネットワークに基づく無機材料特性の予測モデルであるGATGNNを開発した。 提案手法は, 従来のモデルの予測よりも優れており, 材料の結晶化に関する知見を提供することができる。
  論文  参考訳（メタデータ） (2020-03-11T07:43:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。