論文の概要: TransPolymer: a Transformer-based Language Model for Polymer Property Predictions

• arxiv url: http://arxiv.org/abs/2209.01307v1
• Date: Sat, 3 Sep 2022 01:29:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-07 15:21:02.576393
• Title: TransPolymer: a Transformer-based Language Model for Polymer Property Predictions
• Title（参考訳）: TransPolymer: ポリマー特性予測のためのトランスフォーマーベース言語モデル
• Authors: Changwen Xu, Yuyang Wang, Amir Barati Farimani
• Abstract要約: ポリマー特性予測のためのトランスフォーマーベース言語モデルTransPolymerについて報告する。 モデルは、大きなラベルのないデータセットで事前学習することで表現表現を学ぶ。 さらに, 高分子配列の理解において, 注意機構が重要な役割を担っていることを示した。
• 参考スコア（独自算出の注目度）: 9.04563945965023
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Accurate and efficient prediction of polymer properties is of great significance in polymer development and design. Conventionally, expensive and time-consuming experiments or simulations are required to evaluate the function of polymers. Recently, Transformer models, equipped with attention mechanisms, have exhibited superior performance in various natural language processing tasks. However, such methods have not been investigated in polymer sciences. Herein, we report TransPolymer, a Transformer-based language model for polymer property prediction. Owing to our proposed polymer tokenizer with chemical awareness, TransPolymer can learn representations directly from polymer sequences. The model learns expressive representations by pretraining on a large unlabeled dataset, followed by finetuning the model on downstream datasets concerning various polymer properties. TransPolymer achieves superior performance in all eight datasets and surpasses other baselines significantly on most downstream tasks. Moreover, the improvement by the pretrained TransPolymer over supervised TransPolymer and other language models strengthens the significant benefits of pretraining on large unlabeled data in representation learning. Experiment results further demonstrate the important role of the attention mechanism in understanding polymer sequences. We highlight this model as a promising computational tool for promoting rational polymer design and understanding structure-property relationships in a data science view.
• Abstract（参考訳）: ポリマー物性の精密かつ効率的な予測は、高分子の発達と設計において非常に重要である。 従来, 高分子の機能評価には, 高価で時間を要する実験やシミュレーションが必要であった。 近年,様々な自然言語処理タスクにおいて,注意機構を備えたトランスフォーマーモデルの性能が向上している。 しかし、このような方法は高分子科学では研究されていない。 本稿では,ポリマー特性予測のためのトランスフォーマーベース言語モデルTransPolymerについて報告する。 提案する高分子トークン化剤により, トランスポリマーは高分子配列から直接表現を学習できる。 モデルは、大きなラベルのないデータセットで事前学習し、その後様々なポリマー特性に関する下流データセットでモデルを微調整する。 TransPolymerは8つのデータセットすべてで優れたパフォーマンスを実現し、ほとんどのダウンストリームタスクで他のベースラインを大幅に上回る。 さらに, 教師付きトランスポリマーおよび他の言語モデルに対する事前訓練されたトランスポリマーの改良は, 表現学習における大規模非ラベルデータに対する事前訓練の有意な利点を増大させる。 実験の結果, 高分子配列の理解における注意機構の重要性が示された。 データサイエンスの視点で, 合理的なポリマー設計と構造とプロパティの関係の理解を促進するための有望な計算ツールとして, このモデルを強調する。

関連論文リスト

• Pre-trained Molecular Language Models with Random Functional Group Masking [54.900360309677794]
  SMILESをベースとしたアンダーリネム分子アンダーリネム言語アンダーリネムモデルを提案し,特定の分子原子に対応するSMILESサブシーケンスをランダムにマスキングする。 この技術は、モデルに分子構造や特性をよりよく推測させ、予測能力を高めることを目的としている。
  論文  参考訳（メタデータ） (2024-11-03T01:56:15Z)
• Text-Guided Multi-Property Molecular Optimization with a Diffusion Language Model [77.50732023411811]
  変換器を用いた拡散言語モデル(TransDLM)を用いたテキスト誘導多目的分子最適化手法を提案する。 TransDLMは標準化された化学命名法を分子の意味表現として利用し、プロパティ要求をテキスト記述に暗黙的に埋め込む。 提案手法は, 分子構造類似性を最適化し, ベンチマークデータセットの化学的特性を向上するための最先端手法を超越した手法である。
  論文  参考訳（メタデータ） (2024-10-17T14:30:27Z)
• Molecular topological deep learning for polymer property prediction [18.602659324026934]
  高分子特性解析のための分子トポロジカルディープラーニング(Mol-TDL)を開発した。 Mol-TDLは高次相互作用とマルチスケール特性の両方をトポロジカルディープラーニングアーキテクチャに組み込んでいる。
  論文  参考訳（メタデータ） (2024-10-07T05:44:02Z)
• MMPolymer: A Multimodal Multitask Pretraining Framework for Polymer Property Prediction [24.975491375575224]
  MMPolymerはポリマー1Dシーケンシャルおよび3D構造情報を組み込んだ新しいマルチタスク事前学習フレームワークである。 MMPolymerは、下流特性予測タスクにおける最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-06-07T08:19:59Z)
• Instruction Multi-Constraint Molecular Generation Using a Teacher-Student Large Language Model [49.64512917330373]
  本稿では,学生に類似した多制約分子生成大言語モデルTSMMGを紹介する。 TSMMGを訓練するために、これらの「教師」から分子知識を抽出し、大量のテキスト-分子対を構築する。 我々は,TSMMGが複雑で自然言語で記述された特性を満たす分子を生成できることを実験的に明らかにした。
  論文  参考訳（メタデータ） (2024-03-20T02:15:55Z)
• Molecule Design by Latent Prompt Transformer [76.2112075557233]
  本研究は、分子設計の課題を条件付き生成モデリングタスクとしてフレーミングすることによって検討する。 本研究では,(1)学習可能な事前分布を持つ潜伏ベクトル,(2)プロンプトとして潜伏ベクトルを用いる因果トランスフォーマーに基づく分子生成モデル,(3)潜在プロンプトを用いた分子の目標特性および/または制約値を予測する特性予測モデルからなる新しい生成モデルを提案する。
  論文  参考訳（メタデータ） (2024-02-27T03:33:23Z)
• Transferring a molecular foundation model for polymer property predictions [3.067983186439152]
  トランスモデルの自己教師付き事前トレーニングには、大規模なデータセットが必要である。 本研究では, 高分子特性を微調整し, 小分子で事前学習したトランスフォーマーを用いることで, 強化ポリマーデータセットでトレーニングしたトランスフォーマーと同等の精度が得られることを示す。
  論文  参考訳（メタデータ） (2023-10-25T19:55:00Z)
• Representing Polymers as Periodic Graphs with Learned Descriptors for Accurate Polymer Property Predictions [16.468017785818198]
  我々は、手書きの表現を一貫して上回る周期性ポリマーグラフ表現を開発する。 また,高分子グラフ表現とメッセージパッシングニューラルネットワークアーキテクチャを組み合わせることで,意味のある高分子の特徴を自動的に抽出する方法を実証する。
  論文  参考訳（メタデータ） (2022-05-27T04:14:12Z)
• Copolymer Informatics with Multi-Task Deep Neural Networks [0.0]
  コポリマーの性質予測の課題に取り組み、ホモポリマーを超えてポリマーインフォマティクスフレームワークを拡張します。 2つのモノマーのホモポリマーと共重合体のガラス転移、融解、分解温度の18,000以上のデータポイントを含む大きなデータセットを用いる。 開発されたモデルは、適切なデータが利用可能になったときに、よりコポリマー特性に正確、迅速、柔軟、スケーラブルです。
  論文  参考訳（メタデータ） (2021-03-25T23:28:20Z)
• Learning Neural Generative Dynamics for Molecular Conformation Generation [89.03173504444415]
  分子グラフから分子コンフォメーション(つまり3d構造)を生成する方法を検討した。 分子グラフから有効かつ多様なコンフォーメーションを生成する新しい確率論的枠組みを提案する。
  論文  参考訳（メタデータ） (2021-02-20T03:17:58Z)
• Polymers for Extreme Conditions Designed Using Syntax-Directed Variational Autoencoders [53.34780987686359]
  現在、機械学習ツールは、望まれる特性を持つ材料候補を事実上スクリーニングするために使用される。 このアプローチは非効率であり、人間の想像力が知覚できる候補によって厳しく制約されている。 文法指向の変分オートエンコーダ(VAE)とガウス過程回帰(GPR)モデルを用いて、3つの極端な条件下で頑健なポリマーを発見する。
  論文  参考訳（メタデータ） (2020-11-04T21:36:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。