論文の概要: TransPolymer: a Transformer-based Language Model for Polymer Property
Predictions
- arxiv url: http://arxiv.org/abs/2209.01307v1
- Date: Sat, 3 Sep 2022 01:29:59 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-07 15:21:02.576393
- Title: TransPolymer: a Transformer-based Language Model for Polymer Property
Predictions
- Title(参考訳): TransPolymer: ポリマー特性予測のためのトランスフォーマーベース言語モデル
- Authors: Changwen Xu, Yuyang Wang, Amir Barati Farimani
- Abstract要約: ポリマー特性予測のためのトランスフォーマーベース言語モデルTransPolymerについて報告する。
モデルは、大きなラベルのないデータセットで事前学習することで表現表現を学ぶ。
さらに, 高分子配列の理解において, 注意機構が重要な役割を担っていることを示した。
- 参考スコア(独自算出の注目度): 9.04563945965023
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Accurate and efficient prediction of polymer properties is of great
significance in polymer development and design. Conventionally, expensive and
time-consuming experiments or simulations are required to evaluate the function
of polymers. Recently, Transformer models, equipped with attention mechanisms,
have exhibited superior performance in various natural language processing
tasks. However, such methods have not been investigated in polymer sciences.
Herein, we report TransPolymer, a Transformer-based language model for polymer
property prediction. Owing to our proposed polymer tokenizer with chemical
awareness, TransPolymer can learn representations directly from polymer
sequences. The model learns expressive representations by pretraining on a
large unlabeled dataset, followed by finetuning the model on downstream
datasets concerning various polymer properties. TransPolymer achieves superior
performance in all eight datasets and surpasses other baselines significantly
on most downstream tasks. Moreover, the improvement by the pretrained
TransPolymer over supervised TransPolymer and other language models strengthens
the significant benefits of pretraining on large unlabeled data in
representation learning. Experiment results further demonstrate the important
role of the attention mechanism in understanding polymer sequences. We
highlight this model as a promising computational tool for promoting rational
polymer design and understanding structure-property relationships in a data
science view.
- Abstract(参考訳): ポリマー物性の精密かつ効率的な予測は、高分子の発達と設計において非常に重要である。
従来, 高分子の機能評価には, 高価で時間を要する実験やシミュレーションが必要であった。
近年,様々な自然言語処理タスクにおいて,注意機構を備えたトランスフォーマーモデルの性能が向上している。
しかし、このような方法は高分子科学では研究されていない。
本稿では,ポリマー特性予測のためのトランスフォーマーベース言語モデルTransPolymerについて報告する。
提案する高分子トークン化剤により, トランスポリマーは高分子配列から直接表現を学習できる。
モデルは、大きなラベルのないデータセットで事前学習し、その後様々なポリマー特性に関する下流データセットでモデルを微調整する。
TransPolymerは8つのデータセットすべてで優れたパフォーマンスを実現し、ほとんどのダウンストリームタスクで他のベースラインを大幅に上回る。
さらに, 教師付きトランスポリマーおよび他の言語モデルに対する事前訓練されたトランスポリマーの改良は, 表現学習における大規模非ラベルデータに対する事前訓練の有意な利点を増大させる。
実験の結果, 高分子配列の理解における注意機構の重要性が示された。
データサイエンスの視点で, 合理的なポリマー設計と構造とプロパティの関係の理解を促進するための有望な計算ツールとして, このモデルを強調する。
関連論文リスト
- Transferring a molecular foundation model for polymer property
predictions [3.067983186439152]
トランスモデルの自己教師付き事前トレーニングには、大規模なデータセットが必要である。
本研究では, 高分子特性を微調整し, 小分子で事前学習したトランスフォーマーを用いることで, 強化ポリマーデータセットでトレーニングしたトランスフォーマーと同等の精度が得られることを示す。
論文 参考訳(メタデータ) (2023-10-25T19:55:00Z) - PolyGET: Accelerating Polymer Simulations by Accurate and Generalizable
Forcefield with Equivariant Transformer [19.273404278711794]
一般化可能な等変変換器を用いた高分子力場のための新しいフレームワークであるPolyGETを提案する。
PolyGETは、原子間の複雑な量子相互作用を捕捉し、様々なポリマーファミリーにまたがって一般化するように設計されている。
我々は,24種類の異なるポリマーの大規模データセット上でPolyGETを評価し,力の精度およびロバストMDシミュレーションにおける最先端性能を実証した。
論文 参考訳(メタデータ) (2023-09-01T17:01:04Z) - MolXPT: Wrapping Molecules with Text for Generative Pre-training [141.0924452870112]
MolXPTは、テキストでラップされたSMILESで事前訓練されたテキストと分子の統一言語モデルである。
MolXPT は MoleculeNet 上での分子特性予測の強いベースラインを上回ります。
論文 参考訳(メタデータ) (2023-05-18T03:58:19Z) - Representing Polymers as Periodic Graphs with Learned Descriptors for
Accurate Polymer Property Predictions [16.468017785818198]
我々は、手書きの表現を一貫して上回る周期性ポリマーグラフ表現を開発する。
また,高分子グラフ表現とメッセージパッシングニューラルネットワークアーキテクチャを組み合わせることで,意味のある高分子の特徴を自動的に抽出する方法を実証する。
論文 参考訳(メタデータ) (2022-05-27T04:14:12Z) - A graph representation of molecular ensembles for polymer property
prediction [3.032184156362992]
有機分子とは対照的に、ポリマーはよく定義された単一構造ではなく、類似した分子の集合体である。
本稿では,分子アンサンブルのグラフ表現と,高分子特性予測に適したグラフニューラルネットワークアーキテクチャを提案する。
論文 参考訳(メタデータ) (2022-05-17T20:31:43Z) - Molecular Attributes Transfer from Non-Parallel Data [57.010952598634944]
分子最適化をスタイル伝達問題として定式化し、非並列データの2つのグループ間の内部差を自動的に学習できる新しい生成モデルを提案する。
毒性修飾と合成性向上という2つの分子最適化タスクの実験により,本モデルがいくつかの最先端手法を著しく上回ることを示した。
論文 参考訳(メタデータ) (2021-11-30T06:10:22Z) - Geometric Transformer for End-to-End Molecule Properties Prediction [92.28929858529679]
分子特性予測のためのトランスフォーマーに基づくアーキテクチャを導入し,分子の形状を捉える。
分子幾何学の初期符号化による古典的な位置エンコーダと、学習されたゲート自己保持機構を改変する。
論文 参考訳(メタデータ) (2021-10-26T14:14:40Z) - Prediction of liquid fuel properties using machine learning models with
Gaussian processes and probabilistic conditional generative learning [56.67751936864119]
本研究の目的は、代替燃料の物理的特性を予測するためのクロージャ方程式として機能する、安価で計算可能な機械学習モデルを構築することである。
これらのモデルは、MDシミュレーションのデータベースや、データ融合-忠実性アプローチによる実験的な測定を用いて訓練することができる。
その結果,MLモデルでは,広範囲の圧力および温度条件の燃料特性を正確に予測できることがわかった。
論文 参考訳(メタデータ) (2021-10-18T14:43:50Z) - Copolymer Informatics with Multi-Task Deep Neural Networks [0.0]
コポリマーの性質予測の課題に取り組み、ホモポリマーを超えてポリマーインフォマティクスフレームワークを拡張します。
2つのモノマーのホモポリマーと共重合体のガラス転移、融解、分解温度の18,000以上のデータポイントを含む大きなデータセットを用いる。
開発されたモデルは、適切なデータが利用可能になったときに、よりコポリマー特性に正確、迅速、柔軟、スケーラブルです。
論文 参考訳(メタデータ) (2021-03-25T23:28:20Z) - Learning Neural Generative Dynamics for Molecular Conformation
Generation [89.03173504444415]
分子グラフから分子コンフォメーション(つまり3d構造)を生成する方法を検討した。
分子グラフから有効かつ多様なコンフォーメーションを生成する新しい確率論的枠組みを提案する。
論文 参考訳(メタデータ) (2021-02-20T03:17:58Z) - Polymers for Extreme Conditions Designed Using Syntax-Directed
Variational Autoencoders [53.34780987686359]
現在、機械学習ツールは、望まれる特性を持つ材料候補を事実上スクリーニングするために使用される。
このアプローチは非効率であり、人間の想像力が知覚できる候補によって厳しく制約されている。
文法指向の変分オートエンコーダ(VAE)とガウス過程回帰(GPR)モデルを用いて、3つの極端な条件下で頑健なポリマーを発見する。
論文 参考訳(メタデータ) (2020-11-04T21:36:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。