Fugu-MT 論文翻訳(概要): Text to Band Gap: Pre-trained Language Models as Encoders for Semiconductor Band Gap Prediction

論文の概要: Text to Band Gap: Pre-trained Language Models as Encoders for Semiconductor Band Gap Prediction

arxiv url: http://arxiv.org/abs/2501.03456v2
Date: Wed, 02 Jul 2025 06:31:16 GMT
ステータス: 翻訳完了
システム内更新日: 2025-07-03 14:22:56.64987
Title: Text to Band Gap: Pre-trained Language Models as Encoders for Semiconductor Band Gap Prediction
Title（参考訳）: テキストからバンドギャップ:半導体バンドギャップ予測のためのエンコーダとしての事前学習言語モデル
Authors: Ying-Ting Yeh, Janghoon Ock, Shagun Maheshwari, Amir Barati Farimani,
Abstract要約: 半導体材料のバンドギャップを予測するための変換器ベース言語モデルであるRoBERTa,T5,LLaMAについて検討する。本稿では,一貫したテンプレートにおける重要な特徴を組み合わせた構造化文字列と,ChatGPT APIを用いて生成した自然言語ナラティブの2つの形式で資料記述を構築する。以上の結果から,言語モデル,特にデコーダのみのLLaMA-3アーキテクチャは,予測精度と柔軟性において従来の手法よりも優れていることがわかった。
参考スコア（独自算出の注目度）: 5.812284760539713
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We investigate the use of transformer-based language models, RoBERTa, T5, and LLaMA, for predicting the band gaps of semiconductor materials directly from textual representations that encode key material features such as chemical composition, crystal system, space group, number of atoms per unit cell, valence electron count, and other relevant electronic and structural properties. Quantum chemistry simulations such as DFT provide accurate predictions but are computationally intensive, limiting their feasibility for large-scale materials screening. Shallow ML models offer faster alternatives but typically require extensive data preprocessing to convert non-numerical material features into structured numerical inputs, often at the cost of losing critical descriptive information. In contrast, our approach leverages pretrained language models to process textual data directly, eliminating the need for manual feature engineering. We construct material descriptions in two formats: structured strings that combine key features in a consistent template, and natural language narratives generated using the ChatGPT API. For each model, we append a custom regression head and perform task-specific finetuning on a curated dataset of inorganic compounds. Our results show that finetuned language models, particularly the decoder-only LLaMA-3 architecture, can outperform conventional approaches in prediction accuracy and flexibility, achieving an MAE of 0.25 eV and R2 of 0.89, compared to the best shallow ML baseline, which achieved an MAE of 0.32 eV and R2 of 0.84. Notably, LLaMA-3 achieves competitive accuracy with minimal finetuning, suggesting its architecture enables more transferable representations for scientific tasks. This work demonstrates the effectiveness of finetuned language models for scientific property prediction and provides a scalable, language-native framework for materials informatics.
Abstract（参考訳）: 本研究では, 化学組成, 結晶系, 空間群, 単位セル当たり原子数, 価電子数, その他の電子・構造特性などの重要な材料特徴を符号化したテキスト表現から, 半導体材料のバンドギャップを直接予測するために, トランスフォーマベース言語モデルRoBERTa, T5, LLaMAを用いて検討した。 DFTのような量子化学シミュレーションは正確な予測を提供するが、計算集約であり、大規模材料スクリーニングの可能性を制限する。浅MLモデルはより高速な代替手段を提供するが、典型的には非数値的な特徴を構造化された数値入力に変換するために広範なデータ前処理を必要とする。対照的に,本手法では事前学習した言語モデルを用いてテキストデータを直接処理し,手動機能工学の必要性を排除している。本稿では,一貫したテンプレートにおける重要な特徴を組み合わせた構造化文字列と,ChatGPT APIを用いて生成した自然言語ナラティブの2つの形式で資料記述を構築する。各モデルに対して、カスタム回帰ヘッドを付加し、無機化合物の硬化したデータセット上でタスク固有の微調整を行う。以上の結果から,特にデコーダのみのLLaMA-3アーキテクチャは,0.25 eVのMAEと0.89のR2と,最も浅いMLベースラインである0.32 eVのMAEと0.84のR2のMAEを達成して,従来の予測精度と柔軟性のアプローチよりも優れていることがわかった。特に、LLaMA-3は最小限の微調整で競合精度を達成し、そのアーキテクチャは科学的なタスクに対してより伝達可能な表現を可能にすることを示唆している。この研究は、科学的特性予測のための微調整言語モデルの有効性を実証し、材料情報学のためのスケーラブルで言語ネイティブなフレームワークを提供する。

関連論文リスト

TinyHelen's First Curriculum: Training and Evaluating Tiny Language Models in a Simpler Language Environment [30.93798042712827]
トレーニング言語モデル(LM)とそのアプリケーションエージェントは、大規模なデータセットとモデルのために、ますますコストがかかる。ノイズを排除し、語彙を最小化し、ジャンル固有のパターンを維持することで、テキストデータを洗練するためのパイプラインを提案する。実験により,ランダー事前学習がLM学習効率を向上させることが示された。
論文参考訳（メタデータ） (2024-12-31T16:08:15Z)
Few-shot learning for automated content analysis: Efficient coding of arguments and claims in the debate on arms deliveries to Ukraine [0.9576975587953563]
トランスフォーマーニューラルネットワークに基づく事前学習言語モデル(PLM)は、通信科学における自動コンテンツ分析を改善する大きな機会を提供する。これまでの3つの特徴は、NLP研究における英語モデルの優位性、必要な計算資源、微調整 PLM の訓練データ作成に必要な労力など、適用分野における手法の普及を妨げている。我々は、われわれのアプローチを、コミュニケーション科学の現実的なユースケースで試し、主張や議論を自動的に検出し、ドイツによるウクライナへの武器の配達に関する議論におけるスタンスと合わせて検証する。
論文参考訳（メタデータ） (2023-12-28T11:39:08Z)
RegaVAE: A Retrieval-Augmented Gaussian Mixture Variational Auto-Encoder for Language Modeling [79.56442336234221]
可変オートエンコーダ(VAE)に基づく検索拡張言語モデルであるRegaVAEを紹介する。テキストコーパスを潜在空間にエンコードし、ソースとターゲットの両方のテキストから現在と将来の情報をキャプチャする。各種データセットに対する実験結果から,テキスト生成品質と幻覚除去の大幅な改善が示された。
論文参考訳（メタデータ） (2023-10-16T16:42:01Z)
Simultaneous Machine Translation with Large Language Models [51.470478122113356]
我々は,SimulMTタスクに大規模言語モデルを適用する可能性を検討する。 MUST-Cデータセットと異なる9言語でtextttLlama2-7b-chatモデルを用いて実験を行った。その結果,LLM は BLEU と LAAL の指標で専用MT モデルよりも優れていた。
論文参考訳（メタデータ） (2023-09-13T04:06:47Z)
Extensive Evaluation of Transformer-based Architectures for Adverse Drug Events Extraction [6.78974856327994]
逆イベント(ADE)抽出は、デジタル製薬における中核的なタスクの1つである。我々は、非公式テキストを用いたADE抽出のための19のトランスフォーマーモデルを評価する。分析の最後には、実験データから導出可能なテイクホームメッセージのリストを同定する。
論文参考訳（メタデータ） (2023-06-08T15:25:24Z)
CodeGen2: Lessons for Training LLMs on Programming and Natural Languages [116.74407069443895]
我々はエンコーダとデコーダベースのモデルを単一のプレフィックスLMに統一する。学習方法は,「フリーランチ」仮説の主張を考察する。データ配信においては,混合分布と多言語学習がモデル性能に及ぼす影響について検討した。
論文参考訳（メタデータ） (2023-05-03T17:55:25Z)
Reprogramming Pretrained Language Models for Protein Sequence Representation Learning [68.75392232599654]
エンドツーエンドの表現学習フレームワークである辞書学習(R2DL)による表現学習を提案する。 R2DLは、タンパク質配列の埋め込みを学ぶために、事前訓練された英語モデルを再プログラムする。我々のモデルは,事前訓練および標準教師付き手法によって設定されたベースラインに対して,最大105ドルの精度でデータ効率を大幅に向上させることができる。
論文参考訳（メタデータ） (2023-01-05T15:55:18Z)
Decoder Tuning: Efficient Language Understanding as Decoding [84.68266271483022]
本稿では,タスク固有のデコーダネットワークを出力側で最適化するデコーダチューニング(DecT)を提案する。勾配ベースの最適化により、DecTは数秒以内にトレーニングでき、サンプル毎に1つのPクエリしか必要としない。我々は、広範囲にわたる自然言語理解実験を行い、DecTが200ドル以上のスピードアップで最先端のアルゴリズムを大幅に上回っていることを示す。
論文参考訳（メタデータ） (2022-12-16T11:15:39Z)
Self-learning locally-optimal hypertuning using maximum entropy, and comparison of machine learning approaches for estimating fatigue life in composite materials [0.0]
疲労損傷を予測するための最大エントロピーの原理に基づくML近傍近似アルゴリズムを開発した。予測は、他のMLアルゴリズムと同様、高いレベルの精度を達成する。
論文参考訳（メタデータ） (2022-10-19T12:20:07Z)
Augmenting Interpretable Models with LLMs during Training [73.40079895413861]
本稿では,効率よく解釈可能なモデルを構築するための拡張解釈モデル (Aug-imodels) を提案する。 Aug-imodel は、フィッティング時に LLM を使用するが、推論中に使用せず、完全な透明性を実現する。自然言語処理におけるAug-imodelのインスタンス化について検討する: (i) Aug-GAM, (ii) Aug-Tree, (ii) LLM機能拡張による決定木の拡大。
論文参考訳（メタデータ） (2022-09-23T18:36:01Z)
Efficiently Fusing Pretrained Acoustic and Linguistic Encoders for Low-resource Speech Recognition [9.732767611907068]
本研究では,前訓練音響エンコーダ(wav2vec2.0)と前訓練言語エンコーダ(bert)をエンドツーエンドasrモデルに融合する。本モデルは他のエンドツーエンドモデルに比べてcallhomeコーパスの認識性能が(15時間)向上する。
論文参考訳（メタデータ） (2021-01-17T16:12:44Z)
CodeBERT: A Pre-Trained Model for Programming and Natural Languages [117.34242908773061]
CodeBERTは、プログラミング言語(PL)とナット言語(NL)のための事前訓練されたモデルである。我々はTransformerベースのニューラルアーキテクチャを用いたCodeBERTを開発した。モデルパラメータの微調整による2つのNL-PLアプリケーション上でのCodeBERTの評価を行った。
論文参考訳（メタデータ） (2020-02-19T13:09:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。