Fugu-MT 論文翻訳(概要): Materials Informatics Transformer: A Language Model for Interpretable Materials Properties Prediction

論文の概要: Materials Informatics Transformer: A Language Model for Interpretable Materials Properties Prediction

arxiv url: http://arxiv.org/abs/2308.16259v1
Date: Wed, 30 Aug 2023 18:34:55 GMT
ステータス: 処理完了
システム内更新日: 2023-09-01 18:37:26.600908
Title: Materials Informatics Transformer: A Language Model for Interpretable Materials Properties Prediction
Title（参考訳）: materials informatics transformer: 解釈可能な材料特性予測のための言語モデル
Authors: Hongshuo Huang, Rishikesh Magar, Changwen Xu and Amir Bariti Farimani
Abstract要約: 本稿では,材料特性予測のための材料情報変換器(MatInFormer)について紹介する。具体的には、関連する空間群情報のトークン化を通じて結晶学の文法を学習する新しいアプローチを提案する。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Recently, the remarkable capabilities of large language models (LLMs) have been illustrated across a variety of research domains such as natural language processing, computer vision, and molecular modeling. We extend this paradigm by utilizing LLMs for material property prediction by introducing our model Materials Informatics Transformer (MatInFormer). Specifically, we introduce a novel approach that involves learning the grammar of crystallography through the tokenization of pertinent space group information. We further illustrate the adaptability of MatInFormer by incorporating task-specific data pertaining to Metal-Organic Frameworks (MOFs). Through attention visualization, we uncover the key features that the model prioritizes during property prediction. The effectiveness of our proposed model is empirically validated across 14 distinct datasets, hereby underscoring its potential for high throughput screening through accurate material property prediction.
Abstract（参考訳）: 近年, 自然言語処理, コンピュータビジョン, 分子モデリングなど, 様々な研究領域において, 大規模言語モデル(LLM)の顕著な能力が実証されている。本研究では, LLMを材料特性予測に利用し, モデルであるMatInFormer(MatInFormer)を導入して, このパラダイムを拡張した。具体的には,関連する空間群情報のトークン化を通じて結晶学の文法を学ぶ新しい手法を提案する。さらに,金属有機フレームワーク(MOF)に関連するタスク固有データを組み込むことにより,MatInFormerの適応性について述べる。注意の可視化を通じて、プロパティ予測中にモデルが優先する重要な特徴を明らかにする。提案モデルの有効性は,14個の異なるデータセットに対して実験的に検証され,精度の高い材料特性予測による高スループットスクリーニングの可能性を示す。

関連論文リスト

Foundational Large Language Models for Materials Research [22.77591279242839]
大規模言語モデル(LLM)は、自動分析と予測を通じて材料研究を加速する機会を提供する。本稿では,LLaMAモデルの継続事前学習を通じて発達した材料科学の基礎モデルであるLLaMatについて述べる。 LLaMatは、一般的な言語能力を維持しつつ、材料固有のNLPと構造化情報抽出に優れることを示した。
論文参考訳（メタデータ） (2024-12-12T18:46:38Z)
From Tokens to Materials: Leveraging Language Models for Scientific Discovery [12.211984932142537]
本研究では, 材料科学における材料特性予測のための言語モデル埋め込みの適用について検討した。本研究では、ドメイン固有モデル、特にMatBERTが、複合名や材料特性から暗黙的な知識を抽出する際の汎用モデルよりも優れていることを示す。
論文参考訳（メタデータ） (2024-10-21T16:31:23Z)
Boosting the Capabilities of Compact Models in Low-Data Contexts with Large Language Models and Retrieval-Augmented Generation [2.9921619703037274]
本稿では,形態素解析の言語タスクにおいて,より小さなモデルの出力を補正するために,大言語モデル(LLM)を基盤とした検索拡張生成(RAG)フレームワークを提案する。データ不足や訓練可能なパラメータの不足を補うために,言語情報を活用するとともに,LLMを通して解釈・蒸留された記述文法からの入力を許容する。コンパクトなRAG支援モデルがデータスカース設定に極めて有効であることを示し、このタスクとターゲット言語に対する新しい最先端技術を実現する。
論文参考訳（メタデータ） (2024-10-01T04:20:14Z)
Cross-Modal Learning for Chemistry Property Prediction: Large Language Models Meet Graph Machine Learning [0.0]
グラフニューラルネットワーク(GNN)の分析能力と大規模言語モデル(LLM)の言語生成・予測能力を利用する多モード融合(MMF)フレームワークを提案する。本フレームワークは,グラフ構造化データのモデリングにおけるGNNの有効性とLLMのゼロショットおよび少数ショット学習能力を組み合わせることにより,オーバーフィッティングのリスクを低減し,予測の改善を実現する。
論文参考訳（メタデータ） (2024-08-27T11:10:39Z)
Multi-modal Auto-regressive Modeling via Visual Words [96.25078866446053]
本稿では,視覚的特徴を大規模多モードモデルの語彙上の確率分布にマッピングする視覚トークンの概念を提案する。さらに、LMM内の意味空間における視覚的特徴の分布と、視覚情報を表現するためにテキスト埋め込みを使用することの可能性について検討する。
論文参考訳（メタデータ） (2024-03-12T14:58:52Z)
Fine-Tuned Language Models Generate Stable Inorganic Materials as Text [57.01994216693825]
テキストエンコードされた原子構造データに基づく微調整された大規模言語モデルは、実装が簡単で信頼性が高い。我々の最強モデルは、CDVAEの約2倍の速度で準安定であると予測された物質を生成することができる。テキストプロンプト固有の柔軟性のため、我々のモデルは安定物質を無条件に生成するために同時に使用することができる。
論文参考訳（メタデータ） (2024-02-06T20:35:28Z)
SINC: Self-Supervised In-Context Learning for Vision-Language Tasks [64.44336003123102]
大規模言語モデルにおけるコンテキスト内学習を実現するためのフレームワークを提案する。メタモデルは、カスタマイズされたデモからなる自己教師型プロンプトで学ぶことができる。実験の結果、SINCは様々な視覚言語タスクにおいて勾配に基づく手法よりも優れていた。
論文参考訳（メタデータ） (2023-07-15T08:33:08Z)
Scaling Vision-Language Models with Sparse Mixture of Experts [128.0882767889029]
提案手法は, 等価計算コストの高密度モデルに対して, 様々なベンチマークにおいて, 最先端性能を実現することができることを示す。我々の研究は、MoEモデルのトレーニングの安定化、モデル解釈可能性に対するMoEの影響の理解、ビジョン言語モデルをスケールする際の計算性能間のトレードオフのバランスに関する貴重な洞察を提供する。
論文参考訳（メタデータ） (2023-03-13T16:00:31Z)
Entity Aware Modelling: A Survey [22.32009539611539]
最近の機械学習の進歩により、新しい最先端の応答予測モデルが生まれている。人口レベルで構築されたモデルは、多くのパーソナライズされた予測設定において、最適以下のパフォーマンスをもたらすことが多い。パーソナライズされた予測では、予測性能を改善するために、異なるエンティティの固有の特性を取り入れることが目的である。
論文参考訳（メタデータ） (2023-02-16T16:33:33Z)
Model-agnostic multi-objective approach for the evolutionary discovery of mathematical models [55.41644538483948]
現代のデータ科学では、どの部分がより良い結果を得るために置き換えられるかというモデルの性質を理解することがより興味深い。合成データ駆動型モデル学習において,多目的進化最適化を用いてアルゴリズムの所望特性を求める。
論文参考訳（メタデータ） (2021-07-07T11:17:09Z)
Comparing Test Sets with Item Response Theory [53.755064720563]
我々は,18の事前学習トランスフォーマーモデルから予測した29のデータセットを個別のテスト例で評価した。 Quoref、HellaSwag、MC-TACOは最先端のモデルを区別するのに最適である。また、QAMRやSQuAD2.0のようなQAデータセットに使用されるスパン選択タスク形式は、強いモデルと弱いモデルとの差別化に有効である。
論文参考訳（メタデータ） (2021-06-01T22:33:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。