論文の概要: Transformers for molecular property prediction: Domain adaptation efficiently improves performance

• arxiv url: http://arxiv.org/abs/2503.03360v2
• Date: Fri, 07 Mar 2025 08:55:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-10 12:25:55.190989
• Title: Transformers for molecular property prediction: Domain adaptation efficiently improves performance
• Title（参考訳）: 分子特性予測のための変換器:ドメイン適応は効率良く性能を向上させる
• Authors: Afnan Sultan, Max Rausch-Dupont, Shahrukh Khan, Olga Kalinina, Andrea Volkamer, Dietrich Klakow,
• Abstract要約: 本研究の目的は,分子特性予測における変圧器モデルの限界について検討し,克服することである。 本稿では,事前学習データセットのサイズと多様性がトランスフォーマーモデルの性能に及ぼす影響について検討する。
• 参考スコア（独自算出の注目度）: 12.556171106847811
• License:
• Abstract: Most of the current transformer-based chemical language models are pre-trained on millions to billions of molecules. However, the improvement from such scaling in dataset size is not confidently linked to improved molecular property prediction. The aim of this study is to investigate and overcome some of the limitations of transformer models in predicting molecular properties. Specifically, we examine the impact of pre-training dataset size and diversity on the performance of transformer models and investigate the use of domain adaptation as a technique for improving model performance. First, our findings indicate that increasing pretraining dataset size beyond 400K molecules from the GuacaMol dataset does not result in a significant improvement on four ADME endpoints, namely, solubility, permeability, microsomal stability, and plasma protein binding. Second, our results demonstrate that using domain adaptation by further training the transformer model on a small set of domain-relevant molecules, i.e., a few hundred to a few thousand, using multi-task regression of physicochemical properties was sufficient to significantly improve performance for three out of the four investigated ADME endpoints (P-value < 0.001). Finally, we observe that a model pre-trained on 400K molecules and domain adopted on a few hundred/thousand molecules performs similarly (P-value > 0.05) to more complicated transformer models like MolBERT(pre-trained on 1.3M molecules) and MolFormer (pre-trained on 100M molecules). A comparison to a random forest model trained on basic physicochemical properties showed similar performance to the examined transformer models. We believe that current transformer models can be improved through further systematic analysis of pre-training and downstream data, pre-training objectives, and scaling laws, ultimately leading to better and more helpful models.
• Abstract（参考訳）: 現在のトランスフォーマーベースの化学言語モデルのほとんどは、数百万から数十億の分子で事前訓練されている。 しかし、このようなデータセットサイズでのスケーリングによる改善は、分子特性予測の改善と確実な関係はない。 本研究の目的は,分子特性予測における変圧器モデルの限界について検討し,克服することである。 具体的には,事前学習データセットのサイズと多様性がトランスフォーマーモデルの性能に与える影響について検討し,モデル性能向上手法としてのドメイン適応の適用について検討する。 まず,GuacaMolデータセットから400K分子を超える事前学習データセットのサイズの増加は,可溶性,透過性,ミクロゾーム安定性,血漿タンパク質結合の4つのADMEエンドポイントに有意な改善をもたらすことが示唆された。 第2に, 物理化学的特性のマルチタスク回帰を用いて, 少数のドメイン関連分子上での変圧器モデルのさらなる訓練により, ドメイン適応を用いることで, 4つのADMEエンドポイントのうち3つ (P-value < 0.001) の性能を著しく向上させることができることを示した。 最後に、400K分子で事前訓練されたモデルと、数百/千の分子で適用されたドメインが、MolBERT(1.3M分子で事前訓練された)やMolFormer(100M分子で事前訓練された)のようなより複雑なトランスフォーマーモデルと(P-value > 0.05)同様に動作することを観察する。 基礎物理化学的特性を訓練したランダム森林モデルとの比較では, トランスモデルと同等の性能を示した。 現在のトランスフォーマーモデルは、事前学習と下流データ、事前学習の目的、およびスケーリング法則のより系統的な分析によって改善され、最終的にはより優れた、より有用なモデルへと導かれると信じている。

関連論文リスト

• Pre-trained Molecular Language Models with Random Functional Group Masking [54.900360309677794]
  SMILESをベースとしたアンダーリネム分子アンダーリネム言語アンダーリネムモデルを提案し,特定の分子原子に対応するSMILESサブシーケンスをランダムにマスキングする。 この技術は、モデルに分子構造や特性をよりよく推測させ、予測能力を高めることを目的としている。
  論文  参考訳（メタデータ） (2024-11-03T01:56:15Z)
• Generative Model for Small Molecules with Latent Space RL Fine-Tuning to Protein Targets [4.047608146173188]
  トレーニング中に発生する無効な断片化分子の数を減らすため,SAFEに改良を加えた。 本モデルでは, 潜在空間からのサンプリングにより, 有効度90%, フラグメンテーション率1%の新規分子を生成できる。
  論文  参考訳（メタデータ） (2024-07-02T16:01:37Z)
• Uni-Mol2: Exploring Molecular Pretraining Model at Scale [27.172011090947823]
  原子レベル, グラフレベル, 幾何学構造レベルを統合した分子事前学習モデルUni-Mol2を提案する。 我々は8億のコンフォメーションを事前トレーニングすることで、Uni-Mol2を11億のパラメータに拡張することに成功し、これまでで最大の分子前訓練モデルとなった。
  論文  参考訳（メタデータ） (2024-06-21T08:28:54Z)
• Transformers for molecular property prediction: Lessons learned from the past five years [0.0]
  我々は、現在利用可能なモデルを分析し、MPP用のトランスフォーマーモデルを微調整し、トレーニング時に生じる重要な質問を探索する。 我々は、異なるモデルを比較する際の課題に対処し、標準化されたデータ分割とロバストな統計分析の必要性を強調した。
  論文  参考訳（メタデータ） (2024-04-05T09:05:37Z)
• Molecule Design by Latent Prompt Transformer [76.2112075557233]
  本研究は、分子設計の課題を条件付き生成モデリングタスクとしてフレーミングすることによって検討する。 本研究では,(1)学習可能な事前分布を持つ潜伏ベクトル,(2)プロンプトとして潜伏ベクトルを用いる因果トランスフォーマーに基づく分子生成モデル,(3)潜在プロンプトを用いた分子の目標特性および/または制約値を予測する特性予測モデルからなる新しい生成モデルを提案する。
  論文  参考訳（メタデータ） (2024-02-27T03:33:23Z)
• Transferring a molecular foundation model for polymer property predictions [3.067983186439152]
  トランスモデルの自己教師付き事前トレーニングには、大規模なデータセットが必要である。 本研究では, 高分子特性を微調整し, 小分子で事前学習したトランスフォーマーを用いることで, 強化ポリマーデータセットでトレーニングしたトランスフォーマーと同等の精度が得られることを示す。
  論文  参考訳（メタデータ） (2023-10-25T19:55:00Z)
• Molecule Design by Latent Space Energy-Based Modeling and Gradual Distribution Shifting [53.44684898432997]
  化学的・生物学的性質が望ましい分子の生成は、薬物発見にとって重要である。 本稿では,分子の結合分布とその特性を捉える確率的生成モデルを提案する。 本手法は種々の分子設計タスクにおいて非常に強力な性能を発揮する。
  論文  参考訳（メタデータ） (2023-06-09T03:04:21Z)
• Pre-training Transformers for Molecular Property Prediction Using Reaction Prediction [0.0]
  トランスファーラーニングはコンピュータビジョンや自然言語処理といった分野に大きな影響を与えた。 反応データを用いた分子表現学習のための事前学習手法を提案する。 未学習のベースラインモデルと比較して,12タスクのうち5タスクに対して統計的に有意な正の効果を示した。
  論文  参考訳（メタデータ） (2022-07-06T14:51:38Z)
• Accurate Machine Learned Quantum-Mechanical Force Fields for Biomolecular Simulations [51.68332623405432]
  分子動力学(MD)シミュレーションは、化学的および生物学的プロセスに関する原子論的な洞察を可能にする。 近年,MDシミュレーションの代替手段として機械学習力場(MLFF)が出現している。 本研究は、大規模分子シミュレーションのための正確なMLFFを構築するための一般的なアプローチを提案する。
  論文  参考訳（メタデータ） (2022-05-17T13:08:28Z)
• Molecular Attributes Transfer from Non-Parallel Data [57.010952598634944]
  分子最適化をスタイル伝達問題として定式化し、非並列データの2つのグループ間の内部差を自動的に学習できる新しい生成モデルを提案する。 毒性修飾と合成性向上という2つの分子最適化タスクの実験により,本モデルがいくつかの最先端手法を著しく上回ることを示した。
  論文  参考訳（メタデータ） (2021-11-30T06:10:22Z)
• Scale Efficiently: Insights from Pre-training and Fine-tuning Transformers [57.931830650323]
  本稿では,事前学習および微調整型変圧器によるスケーリングの洞察について述べる。 モデルのサイズだけでなく、モデル形状が下流の微調整に重要であることを示す。 再設計したモデルにより、下流の微調整品質が向上する。
  論文  参考訳（メタデータ） (2021-09-22T12:29:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。