Fugu-MT 論文翻訳(概要): From Tokens to Materials: Leveraging Language Models for Scientific Discovery

論文の概要: From Tokens to Materials: Leveraging Language Models for Scientific Discovery

arxiv url: http://arxiv.org/abs/2410.16165v1
Date: Mon, 21 Oct 2024 16:31:23 GMT
ステータス: 翻訳完了
システム内更新日: 2024-10-22 13:17:49.731809
Title: From Tokens to Materials: Leveraging Language Models for Scientific Discovery
Title（参考訳）: トーケンから材料へ:科学的発見のための言語モデルを活用する
Authors: Yuwei Wan, Tong Xie, Nan Wu, Wenjie Zhang, Chunyu Kit, Bram Hoex,
Abstract要約: 本研究では, 材料科学における材料特性予測のための言語モデル埋め込みの適用について検討した。本研究では、ドメイン固有モデル、特にMatBERTが、複合名や材料特性から暗黙的な知識を抽出する際の汎用モデルよりも優れていることを示す。
参考スコア（独自算出の注目度）: 12.211984932142537
License:
Abstract: Exploring the predictive capabilities of language models in material science is an ongoing interest. This study investigates the application of language model embeddings to enhance material property prediction in materials science. By evaluating various contextual embedding methods and pre-trained models, including Bidirectional Encoder Representations from Transformers (BERT) and Generative Pre-trained Transformers (GPT), we demonstrate that domain-specific models, particularly MatBERT significantly outperform general-purpose models in extracting implicit knowledge from compound names and material properties. Our findings reveal that information-dense embeddings from the third layer of MatBERT, combined with a context-averaging approach, offer the most effective method for capturing material-property relationships from the scientific literature. We also identify a crucial "tokenizer effect," highlighting the importance of specialized text processing techniques that preserve complete compound names while maintaining consistent token counts. These insights underscore the value of domain-specific training and tokenization in materials science applications and offer a promising pathway for accelerating the discovery and development of new materials through AI-driven approaches.
Abstract（参考訳）: 物質科学における言語モデルの予測能力の探索は、現在進行中の関心事である。本研究では, 材料科学における材料特性予測のための言語モデル埋め込みの適用について検討した。変換器(BERT)からの双方向エンコーダ表現やGPT(Generative Pre-trained Transformers)など,コンテキスト埋め込み手法や事前学習モデルを評価することで,複合名や材料特性から暗黙的な知識を抽出する上で,ドメイン固有モデル,特にBERTが汎用モデルよりも優れていることを示す。以上の結果から,マットベルトの第3層からのインフォメーション・ディペンデンス・埋め込みとコンテキスト・アラグリング・アプローチが組み合わさって,科学文献から物質・利益関係を捉える上で,最も効果的な方法であることが示唆された。また,一貫したトークン数を維持しつつ,完全複合名を保存する特殊なテキスト処理技術の重要性を強調し,重要な「トークン化効果」を同定する。これらの洞察は、材料科学の応用におけるドメイン固有のトレーニングとトークン化の価値を強調し、AI駆動のアプローチによる新しい素材の発見と開発を加速するための有望な経路を提供する。

関連論文リスト

MaterioMiner -- An ontology-based text mining dataset for extraction of process-structure-property entities [0.0]
本稿では,MaterioMinerデータセットと,オントロジの概念がテキストの実体と結びついている材料オントロジーについて述べる。本稿では,3つのレーダ間の整合性について検討し,名前付きプロセス認識モデルトレーニングの実現可能性を示す。
論文参考訳（メタデータ） (2024-08-05T21:42:59Z)
FecTek: Enhancing Term Weight in Lexicon-Based Retrieval with Feature Context and Term-level Knowledge [54.61068946420894]
FEature Context と TErm レベルの知識モジュールを導入して,革新的な手法を提案する。項重みの特徴コンテキスト表現を効果的に強化するために、FCM(Feature Context Module)が導入された。また,用語レベルの知識を効果的に活用し,用語重みのモデル化プロセスをインテリジェントに導くための用語レベルの知識誘導モジュール(TKGM)を開発した。
論文参考訳（メタデータ） (2024-04-18T12:58:36Z)
Materials Informatics Transformer: A Language Model for Interpretable Materials Properties Prediction [6.349503549199403]
本稿では,材料特性予測のための材料情報変換器(MatInFormer)について紹介する。具体的には、関連する空間群情報のトークン化を通じて結晶学の文法を学習する新しいアプローチを提案する。
論文参考訳（メタデータ） (2023-08-30T18:34:55Z)
Lessons in Reproducibility: Insights from NLP Studies in Materials Science [4.205692673448206]
我々は,これらの研究を観点から理解し,材料情報学の分野に対するその大きな影響を,それらに批判的でなく認識することを目的としている。本研究は, 両論文とも, 徹底した, 丁寧な, ドキュメント化され, モデル評価のための明確なガイダンスが得られたことを示唆する。著作権制限が許すトレーニングデータへのアクセス、モデルアーキテクチャとトレーニングプロセスの透明性の向上、ソフトウェア依存バージョン仕様など、改善すべき領域を強調します。
論文参考訳（メタデータ） (2023-07-28T18:36:42Z)
Leveraging Language Representation for Material Recommendation, Ranking, and Exploration [0.0]
本稿では,言語モデルから派生した自然言語埋め込みを,構成的特徴と構造的特徴の表現として利用する材料発見フレームワークを提案する。この枠組みを熱電学に適用することにより, 試作構造物の多種多様な推薦を行い, 未検討の高性能材料空間を同定する。
論文参考訳（メタデータ） (2023-05-01T21:58:29Z)
An Empirical Investigation of Commonsense Self-Supervision with Knowledge Graphs [67.23285413610243]
大規模知識グラフから抽出した情報に基づく自己監督は、言語モデルの一般化を改善することが示されている。本研究では,言語モデルに適用可能な合成データを生成するための知識サンプリング戦略とサイズの影響について検討する。
論文参考訳（メタデータ） (2022-05-21T19:49:04Z)
MatSciBERT: A Materials Domain Language Model for Text Mining and Information Extraction [13.924666106089425]
MatSciBERTは、材料領域で出版された科学文献の大規模なコーパスに基づいて訓練された言語モデルである。 MatSciBERTは,3つの下流タスク,すなわち抽象的分類,名前付きエンティティ認識,関係抽出において,SciBERTよりも優れていることを示す。また,MatchSciBERTの材料領域における情報抽出への応用についても論じる。
論文参考訳（メタデータ） (2021-09-30T17:35:02Z)
Pre-training Language Model Incorporating Domain-specific Heterogeneous Knowledge into A Unified Representation [49.89831914386982]
本研究では, 構造化されていないテキスト, 半構造化されたテキスト, 十分に構造化されたテキストを含む, あらゆる形式のテキストに対して, 統一された事前学習言語モデル (PLM) を提案する。提案手法は,データの1/4のみを用いて,プレーンテキストの事前学習に優れる。
論文参考訳（メタデータ） (2021-09-02T16:05:24Z)
CoLAKE: Contextualized Language and Knowledge Embedding [81.90416952762803]
文脈型言語と知識埋め込み(CoLAKE)を提案する。 CoLAKEは、言語と知識の両方の文脈化された表現を、拡張された目的によって共同で学習する。知識駆動タスク、知識探索タスク、言語理解タスクについて実験を行う。
論文参考訳（メタデータ） (2020-10-01T11:39:32Z)
Exploiting Structured Knowledge in Text via Graph-Guided Representation Learning [73.0598186896953]
本稿では、知識グラフからのガイダンスを用いて、生テキスト上で学習する2つの自己教師型タスクを提案する。エンティティレベルのマスキング言語モデルに基づいて、最初のコントリビューションはエンティティマスキングスキームです。既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用する。
論文参考訳（メタデータ） (2020-04-29T14:22:42Z)
A Dependency Syntactic Knowledge Augmented Interactive Architecture for End-to-End Aspect-based Sentiment Analysis [73.74885246830611]
エンドツーエンドABSAのためのマルチタスク学習を用いた対話型アーキテクチャを新たに提案する。このモデルは、よく設計された依存性関係埋め込みグラフ畳み込みネットワーク(DreGcn)を活用することで、構文知識(依存性関係と型)を完全に活用することができる。 3つのベンチマークデータセットの大規模な実験結果から,本手法の有効性が示された。
論文参考訳（メタデータ） (2020-04-04T14:59:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。