論文の概要: Fine-Tuned Language Models Generate Stable Inorganic Materials as Text

• arxiv url: http://arxiv.org/abs/2402.04379v1
• Date: Tue, 6 Feb 2024 20:35:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-08 18:11:07.466307
• Title: Fine-Tuned Language Models Generate Stable Inorganic Materials as Text
• Title（参考訳）: 安定な無機材料をテキストとして生成する微調整言語モデル
• Authors: Nate Gruver, Anuroop Sriram, Andrea Madotto, Andrew Gordon Wilson, C. Lawrence Zitnick, Zachary Ulissi
• Abstract要約: テキストエンコードされた原子構造データに基づく微調整された大規模言語モデルは、実装が簡単で信頼性が高い。 我々の最強モデルは、CDVAEの約2倍の速度で準安定であると予測された物質を生成することができる。 テキストプロンプト固有の柔軟性のため、我々のモデルは安定物質を無条件に生成するために同時に使用することができる。
• 参考スコア（独自算出の注目度）: 57.01994216693825
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose fine-tuning large language models for generation of stable materials. While unorthodox, fine-tuning large language models on text-encoded atomistic data is simple to implement yet reliable, with around 90% of sampled structures obeying physical constraints on atom positions and charges. Using energy above hull calculations from both learned ML potentials and gold-standard DFT calculations, we show that our strongest model (fine-tuned LLaMA-2 70B) can generate materials predicted to be metastable at about twice the rate (49% vs 28%) of CDVAE, a competing diffusion model. Because of text prompting's inherent flexibility, our models can simultaneously be used for unconditional generation of stable material, infilling of partial structures and text-conditional generation. Finally, we show that language models' ability to capture key symmetries of crystal structures improves with model scale, suggesting that the biases of pretrained LLMs are surprisingly well-suited for atomistic data.
• Abstract（参考訳）: 安定材料生成のための微調整型大規模言語モデルを提案する。 テキストエンコードされた原子論データ上の微調整された大きな言語モデルは不規則であるが、実装は簡単であり、90%のサンプル構造は原子の位置と電荷の物理的制約に従う。 学習MLポテンシャルと金標準DFT計算の両方から得られたエネルギーを用いて、我々の最強モデル(微調整LLaMA-2 70B)が、競合拡散モデルCDVAEの約2倍(49%対28%)で準安定であると予測された材料を生成することを示した。 テキストプロンピングに固有の柔軟性があるため,安定素材の無条件生成,部分構造インフィルディング,テキスト条件生成を同時に行うことができる。 最後に, 言語モデルが結晶構造の主要な対称性を捉える能力は, モデルスケールにより向上し, 事前学習されたllmのバイアスが原子学的データに驚くほど適していることを示す。

関連論文リスト

• Unlocking the Potential of Model Merging for Low-Resource Languages [66.7716891808697]
  大規模言語モデルを新しい言語に適応させるには、通常、継続事前訓練(CT)と、教師付き微調整(SFT)が含まれる。 我々は低リソース言語の代替としてモデルマージを提案し、異なる機能を持つモデルを追加トレーニングなしで単一のモデルに組み合わせる。 Llama-2-7Bをベースとした実験により、モデルマージはタスク解決能力の低い低リソース言語に対して、極めて少ないデータを持つシナリオにおいて、CT-then-SFTよりも優れていることが実証された。
  論文  参考訳（メタデータ） (2024-07-04T15:14:17Z)
• Large language models, physics-based modeling, experimental measurements: the trinity of data-scarce learning of polymer properties [10.955525128731654]
  大規模言語モデル(LLM)は、評価、分析、設計のための高速で正確な物質モデリングパラダイムとして約束される。 データ不足の病理に対処する物理ベースのトレーニングパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-07-03T02:57:40Z)
• Scalable Diffusion for Materials Generation [99.71001883652211]
  我々は任意の結晶構造(ユニマット)を表現できる統一された結晶表現を開発する。 UniMatはより大型で複雑な化学系から高忠実度結晶構造を生成することができる。 材料の生成モデルを評価するための追加指標を提案する。
  論文  参考訳（メタデータ） (2023-10-18T15:49:39Z)
• FiLM: Fill-in Language Models for Any-Order Generation [71.42044325886194]
  Fill-in Language Model (FiLM) は、特定の生成順序に固執することなく任意の位置で柔軟な生成を可能にする新しい言語モデリング手法である。 推論中、FiLMは欠落したフレーズ、文、段落をシームレスに挿入できる。 FiLMは、再構成されたテキストセグメントでトレーニングされた左から右への言語モデルに依存する既存のインフィル手法よりも優れています。
  論文  参考訳（メタデータ） (2023-10-15T19:37:39Z)
• Discovering Interpretable Physical Models using Symbolic Regression and Discrete Exterior Calculus [55.2480439325792]
  本稿では,記号回帰(SR)と離散指数計算(DEC)を組み合わせて物理モデルの自動発見を行うフレームワークを提案する。 DECは、SRの物理問題への最先端の応用を越えている、場の理論の離散的な類似に対して、ビルディングブロックを提供する。 実験データから連続体物理の3つのモデルを再発見し,本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2023-10-10T13:23:05Z)
• Materials Informatics Transformer: A Language Model for Interpretable Materials Properties Prediction [6.349503549199403]
  本稿では,材料特性予測のための材料情報変換器(MatInFormer)について紹介する。 具体的には、関連する空間群情報のトークン化を通じて結晶学の文法を学習する新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-08-30T18:34:55Z)
• Materials Transformers Language Models for Generative Materials Design: a benchmark study [4.047301375093173]
  我々は、ICSD, OQMD, Materials Projectsデータベースに蓄積された材料から拡張された公式を用いて、7つの現代トランスフォーマー言語モデル(GPT, GPT-2, GPT-Neo, GPT-J, BLMM, BART, RoBERTa)を訓練する。 非電荷ニュートラルまたは平衡電子陰性率サンプルを持つ6つの異なるデータセットを使用して、性能をベンチマークする。 実験により、因果言語モデルに基づく材料変換器は、中性電荷97.54%、電子陰性度91.40%の化学的に有効な材料組成を生成できることがわかった。
  論文  参考訳（メタデータ） (2022-06-27T18:50:05Z)
• Crystal Transformer: Self-learning neural language model for Generative and Tinkering Design of Materials [4.813020904720316]
  BLMMクリスタルトランス (BLMM Crystal Transformer) は、無機材料の生成およびスティンカー設計のためのニューラルネットワークに基づく確率的生成モデルである。 89.7%の電荷中立度と84.8%の平衡電子陰性度を持つ化学的に有効な材料組成を生成することができる。 ユーザフレンドリーなWebアプリは、計算材料ドーピング用に開発され、urlwww. Materialssatlas.org/blmtinkerで自由にアクセスできる。
  論文  参考訳（メタデータ） (2022-04-25T20:20:26Z)
• Joint Energy-based Model Training for Better Calibrated Natural Language Understanding Models [61.768082640087]
  自然言語理解タスクのための事前学習テキストエンコーダの微調整中に、共同エネルギーベースモデル(EBM)トレーニングを検討します。 実験では、EMMトレーニングはモデルが強力なベースラインに匹敵するより良いキャリブレーションに達するのに役立つことが示されています。
  論文  参考訳（メタデータ） (2021-01-18T01:41:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。