論文の概要: MatText: Do Language Models Need More than Text & Scale for Materials Modeling?

• arxiv url: http://arxiv.org/abs/2406.17295v1
• Date: Tue, 25 Jun 2024 05:45:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-26 15:31:28.561423
• Title: MatText: Do Language Models Need More than Text & Scale for Materials Modeling?
• Title（参考訳）: MatText: 言語モデルは物質モデリングにテキストとスケール以上のものを必要とするか?
• Authors: Nawaf Alampara, Santiago Miret, Kevin Maik Jablonka,
• Abstract要約: MatTextは、モデリング材料における言語モデルのパフォーマンスを体系的に評価するために設計されたベンチマークツールとデータセットのスイートである。 MatTextは、材料科学の文脈で言語モデルのパフォーマンスをトレーニングし、ベンチマークするための重要なツールを提供する。
• 参考スコア（独自算出の注目度）: 5.561723952524538
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Effectively representing materials as text has the potential to leverage the vast advancements of large language models (LLMs) for discovering new materials. While LLMs have shown remarkable success in various domains, their application to materials science remains underexplored. A fundamental challenge is the lack of understanding of how to best utilize text-based representations for materials modeling. This challenge is further compounded by the absence of a comprehensive benchmark to rigorously evaluate the capabilities and limitations of these text representations in capturing the complexity of material systems. To address this gap, we propose MatText, a suite of benchmarking tools and datasets designed to systematically evaluate the performance of language models in modeling materials. MatText encompasses nine distinct text-based representations for material systems, including several novel representations. Each representation incorporates unique inductive biases that capture relevant information and integrate prior physical knowledge about materials. Additionally, MatText provides essential tools for training and benchmarking the performance of language models in the context of materials science. These tools include standardized dataset splits for each representation, probes for evaluating sensitivity to geometric factors, and tools for seamlessly converting crystal structures into text. Using MatText, we conduct an extensive analysis of the capabilities of language models in modeling materials. Our findings reveal that current language models consistently struggle to capture the geometric information crucial for materials modeling across all representations. Instead, these models tend to leverage local information, which is emphasized in some of our novel representations. Our analysis underscores MatText's ability to reveal shortcomings of text-based methods for materials design.
• Abstract（参考訳）: 素材をテキストとして効果的に表現することは、大きな言語モデル(LLM)の膨大な進歩を活用して、新しい材料を発見する可能性がある。 LLMは様々な領域で顕著な成功を収めてきたが、材料科学への応用はいまだに過小評価されている。 基本的な課題は、材料モデリングにテキストベースの表現を最大限に活用する方法の理解の欠如である。 この課題は、物質システムの複雑さを捉える上で、これらのテキスト表現の能力と限界を厳格に評価する包括的なベンチマークがないことによってさらに複雑になる。 このギャップに対処するために、モデリング材料における言語モデルの性能を体系的に評価するために設計されたベンチマークツールとデータセットのスイートであるMatTextを提案する。 MatTextは、マテリアルシステムのための9つの異なるテキストベースの表現を含んでおり、その中にはいくつかの新しい表現も含まれている。 各表現には固有の誘導バイアスが含まれており、関連する情報を取得し、材料に関する以前の物理的知識を統合する。 さらに、MatTextは、材料科学の文脈で言語モデルのパフォーマンスをトレーニングし、ベンチマークするための重要なツールを提供する。 これらのツールには、各表現の標準化されたデータセット分割、幾何学的要因に対する感度を評価するプローブ、結晶構造をテキストにシームレスに変換するツールが含まれる。 MatTextを用いて、モデリング材料における言語モデルの性能を広範囲に分析する。 以上の結果から,現在の言語モデルでは,すべての表現にまたがる材料モデリングに不可欠な幾何学的情報を得るのに常に苦労していることが明らかとなった。 代わりに、これらのモデルはローカル情報を活用する傾向があり、これは我々の新しい表現のいくつかで強調されている。 材料設計におけるテキストベースの手法の欠点を明らかにするためのMateTextの能力について分析を行った。

関連論文リスト

• MatExpert: Decomposing Materials Discovery by Mimicking Human Experts [26.364419690908992]
  MatExpertは、大規模言語モデルと対照的な学習を活用して、新しい固体材料の発見と設計を加速する新しいフレームワークである。 人間の素材設計専門家のワークフローにインスパイアされた我々のアプローチは、検索、遷移、生成という3つの重要な段階を統合している。 MatExpertは、ランガウジュに基づく生成モデルを用いた計算材料発見の有意義な進歩を表している。
  論文  参考訳（メタデータ） (2024-10-26T00:44:54Z)
• A Survey of Small Language Models [104.80308007044634]
  小言語モデル (SLM) は, 計算資源の最小化による言語タスクの効率化と性能の向上により, ますます重要になってきている。 本稿では,SLMのアーキテクチャ,トレーニング技術,モデル圧縮技術に着目した総合的な調査を行う。
  論文  参考訳（メタデータ） (2024-10-25T23:52:28Z)
• From Tokens to Materials: Leveraging Language Models for Scientific Discovery [12.211984932142537]
  本研究では, 材料科学における材料特性予測のための言語モデル埋め込みの適用について検討した。 本研究では、ドメイン固有モデル、特にMatBERTが、複合名や材料特性から暗黙的な知識を抽出する際の汎用モデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-21T16:31:23Z)
• Knowledge-Aware Reasoning over Multimodal Semi-structured Tables [85.24395216111462]
  本研究では、現在のAIモデルがマルチモーダルな構造化データに基づいて知識を考慮した推論を行うことができるかどうかを検討する。 この目的のために設計された新しいデータセットであるMMTabQAを紹介する。 我々の実験は、複数のテキストと画像の入力を効果的に統合し解釈する上で、現在のAIモデルに対する重大な課題を浮き彫りにしている。
  論文  参考訳（メタデータ） (2024-08-25T15:17:43Z)
• MaterioMiner -- An ontology-based text mining dataset for extraction of process-structure-property entities [0.0]
  本稿では,MaterioMinerデータセットと,オントロジの概念がテキストの実体と結びついている材料オントロジーについて述べる。 本稿では,3つのレーダ間の整合性について検討し,名前付きプロセス認識モデルトレーニングの実現可能性を示す。
  論文  参考訳（メタデータ） (2024-08-05T21:42:59Z)
• Exploring Precision and Recall to assess the quality and diversity of LLMs [82.21278402856079]
  我々はtextscLlama-2 や textscMistral のような大規模言語モデル (LLM) のための新しい評価フレームワークを提案する。 このアプローチにより、コーパスの整合を必要とせず、生成したテキストの品質と多様性を微妙に評価できる。
  論文  参考訳（メタデータ） (2024-02-16T13:53:26Z)
• How Well Do Text Embedding Models Understand Syntax? [50.440590035493074]
  テキスト埋め込みモデルが幅広い構文的文脈にまたがって一般化する能力は、まだ解明されていない。 その結果,既存のテキスト埋め込みモデルは,これらの構文的理解課題に十分対応していないことが明らかとなった。 多様な構文シナリオにおけるテキスト埋め込みモデルの一般化能力を高めるための戦略を提案する。
  論文  参考訳（メタデータ） (2023-11-14T08:51:00Z)
• Leveraging Language Representation for Material Recommendation, Ranking, and Exploration [0.0]
  本稿では,言語モデルから派生した自然言語埋め込みを,構成的特徴と構造的特徴の表現として利用する材料発見フレームワークを提案する。 この枠組みを熱電学に適用することにより, 試作構造物の多種多様な推薦を行い, 未検討の高性能材料空間を同定する。
  論文  参考訳（メタデータ） (2023-05-01T21:58:29Z)
• Visually-Augmented Language Modeling [137.36789885105642]
  本稿では,言語モデリングのための関連画像を含むテキストトークンを視覚的に拡張する,VaLMという新しい事前学習フレームワークを提案する。 視覚的に拡張されたコンテキストでは、VaLMは視覚知識融合層を使用してマルチモーダル基底言語モデリングを可能にする。 視覚情報を必要とする多モーダル・コモンセンス推論タスクについて,提案モデルの評価を行った。
  論文  参考訳（メタデータ） (2022-05-20T13:41:12Z)
• MatSciBERT: A Materials Domain Language Model for Text Mining and Information Extraction [13.924666106089425]
  MatSciBERTは、材料領域で出版された科学文献の大規模なコーパスに基づいて訓練された言語モデルである。 MatSciBERTは,3つの下流タスク,すなわち抽象的分類,名前付きエンティティ認識,関係抽出において,SciBERTよりも優れていることを示す。 また,MatchSciBERTの材料領域における情報抽出への応用についても論じる。
  論文  参考訳（メタデータ） (2021-09-30T17:35:02Z)
• Pre-training Language Model Incorporating Domain-specific Heterogeneous Knowledge into A Unified Representation [49.89831914386982]
  本研究では, 構造化されていないテキスト, 半構造化されたテキスト, 十分に構造化されたテキストを含む, あらゆる形式のテキストに対して, 統一された事前学習言語モデル (PLM) を提案する。 提案手法は,データの1/4のみを用いて,プレーンテキストの事前学習に優れる。
  論文  参考訳（メタデータ） (2021-09-02T16:05:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。