論文の概要: Transformers for molecular property prediction: Lessons learned from the past five years

• arxiv url: http://arxiv.org/abs/2404.03969v1
• Date: Fri, 5 Apr 2024 09:05:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-08 16:34:30.566385
• Title: Transformers for molecular property prediction: Lessons learned from the past five years
• Title（参考訳）: 分子特性予測のためのトランスフォーマー:過去5年間の教訓
• Authors: Afnan Sultan, Jochen Sieg, Miriam Mathea, Andrea Volkamer,
• Abstract要約: 我々は、現在利用可能なモデルを分析し、MPP用のトランスフォーマーモデルを微調整し、トレーニング時に生じる重要な質問を探索する。 我々は、異なるモデルを比較する際の課題に対処し、標準化されたデータ分割とロバストな統計分析の必要性を強調した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Molecular Property Prediction (MPP) is vital for drug discovery, crop protection, and environmental science. Over the last decades, diverse computational techniques have been developed, from using simple physical and chemical properties and molecular fingerprints in statistical models and classical machine learning to advanced deep learning approaches. In this review, we aim to distill insights from current research on employing transformer models for MPP. We analyze the currently available models and explore key questions that arise when training and fine-tuning a transformer model for MPP. These questions encompass the choice and scale of the pre-training data, optimal architecture selections, and promising pre-training objectives. Our analysis highlights areas not yet covered in current research, inviting further exploration to enhance the field's understanding. Additionally, we address the challenges in comparing different models, emphasizing the need for standardized data splitting and robust statistical analysis.
• Abstract（参考訳）: 分子特性予測(MPP)は、医薬品の発見、作物の保護、環境科学に不可欠である。 過去数十年にわたり、統計モデルや古典的機械学習における単純な物理的・化学的性質や分子指紋から高度なディープラーニングアプローチまで、様々な計算技術が開発されてきた。 本稿では,MPPへのトランスフォーマーモデルの適用に関する現在の研究から知見を抽出することを目的としている。 我々は、現在利用可能なモデルを分析し、MPP用のトランスフォーマーモデルを微調整し、トレーニング時に生じる重要な質問を探索する。 これらの質問には、事前学習データの選択とスケール、最適なアーキテクチャ選択、有望な事前学習目標が含まれている。 我々の分析では、まだ研究対象になっていない領域が強調され、この分野の理解を深めるためにさらなる調査を呼びかけている。 さらに、異なるモデルを比較する際の課題に対処し、標準化されたデータ分割とロバストな統計分析の必要性を強調した。

関連論文リスト

• Pre-trained Molecular Language Models with Random Functional Group Masking [54.900360309677794]
  SMILESをベースとしたアンダーリネム分子アンダーリネム言語アンダーリネムモデルを提案し,特定の分子原子に対応するSMILESサブシーケンスをランダムにマスキングする。 この技術は、モデルに分子構造や特性をよりよく推測させ、予測能力を高めることを目的としている。
  論文  参考訳（メタデータ） (2024-11-03T01:56:15Z)
• Advancements in Molecular Property Prediction: A Survey of Single and Multimodal Approaches [1.0446041735532203]
  分子特性予測(MPP)は、薬物発見、物質科学、環境化学など様々な分野において重要な役割を担っている。 近年、化学データの指数的な成長と人工知能の進化によって、MPPの顕著な進歩が見られた。 本稿では,MPPにおける最近のAI/ベースアプローチについて考察する。
  論文  参考訳（メタデータ） (2024-08-18T12:49:52Z)
• Molecule Design by Latent Prompt Transformer [76.2112075557233]
  本研究は、分子設計の課題を条件付き生成モデリングタスクとしてフレーミングすることによって検討する。 本研究では,(1)学習可能な事前分布を持つ潜伏ベクトル,(2)プロンプトとして潜伏ベクトルを用いる因果トランスフォーマーに基づく分子生成モデル,(3)潜在プロンプトを用いた分子の目標特性および/または制約値を予測する特性予測モデルからなる新しい生成モデルを提案する。
  論文  参考訳（メタデータ） (2024-02-27T03:33:23Z)
• Transferring a molecular foundation model for polymer property predictions [3.067983186439152]
  トランスモデルの自己教師付き事前トレーニングには、大規模なデータセットが必要である。 本研究では, 高分子特性を微調整し, 小分子で事前学習したトランスフォーマーを用いることで, 強化ポリマーデータセットでトレーニングしたトランスフォーマーと同等の精度が得られることを示す。
  論文  参考訳（メタデータ） (2023-10-25T19:55:00Z)
• Dynamic Molecular Graph-based Implementation for Biophysical Properties Prediction [9.112532782451233]
  本稿では,タンパク質-リガンド相互作用の動的特徴を特徴付けるため,GNNを用いたトランスフォーマーモデルに基づく新しいアプローチを提案する。 我々のメッセージパッシングトランスフォーマーは、物理シミュレーションに基づく分子動力学データに基づいて事前訓練を行い、座標構成を学習し、結合確率と親和性予測を行う。
  論文  参考訳（メタデータ） (2022-12-20T04:21:19Z)
• Calibration and generalizability of probabilistic models on low-data chemical datasets with DIONYSUS [0.0]
  我々は、小さな化学データセット上での確率論的機械学習モデルの校正と一般化可能性について広範な研究を行う。 私たちは、さまざまなタスク(バイナリ、回帰)とデータセットにおける予測と不確実性の品質を分析します。 我々は、新しい化学実験において一般的なシナリオである、小さな化学データセットをモデル化するためのモデルと特徴の選択に関する実践的な洞察を提供する。
  論文  参考訳（メタデータ） (2022-12-03T08:19:06Z)
• Retrieval-based Controllable Molecule Generation [63.44583084888342]
  制御可能な分子生成のための検索に基づく新しいフレームワークを提案する。 我々は、与えられた設計基準を満たす分子の合成に向けて、事前学習された生成モデルを操るために、分子の小さなセットを使用します。 提案手法は生成モデルの選択に非依存であり,タスク固有の微調整は不要である。
  論文  参考訳（メタデータ） (2022-08-23T17:01:16Z)
• Pre-training Transformers for Molecular Property Prediction Using Reaction Prediction [0.0]
  トランスファーラーニングはコンピュータビジョンや自然言語処理といった分野に大きな影響を与えた。 反応データを用いた分子表現学習のための事前学習手法を提案する。 未学習のベースラインモデルと比較して,12タスクのうち5タスクに対して統計的に有意な正の効果を示した。
  論文  参考訳（メタデータ） (2022-07-06T14:51:38Z)
• Improving Molecular Representation Learning with Metric Learning-enhanced Optimal Transport [49.237577649802034]
  分子レグレッション問題に対する一般化能力を高めるために,MROTと呼ばれる新しい最適輸送ベースアルゴリズムを開発した。 MROTは最先端のモデルよりも優れており、新しい物質の発見を加速する有望な可能性を示している。
  論文  参考訳（メタデータ） (2022-02-13T04:56:18Z)
• Evaluating natural language processing models with generalization metrics that do not need access to any training or testing data [66.11139091362078]
  本稿では,Hugingface から事前学習した大規模トランスフォーマーに対して,一般化指標を用いた最初のモデル選択結果を提案する。 ニッチな状況にもかかわらず、ヘビーテール(HT)の観点から派生したメトリクスは、特にNLPタスクにおいて有用である。
  論文  参考訳（メタデータ） (2022-02-06T20:07:35Z)
• Prediction of liquid fuel properties using machine learning models with Gaussian processes and probabilistic conditional generative learning [56.67751936864119]
  本研究の目的は、代替燃料の物理的特性を予測するためのクロージャ方程式として機能する、安価で計算可能な機械学習モデルを構築することである。 これらのモデルは、MDシミュレーションのデータベースや、データ融合-忠実性アプローチによる実験的な測定を用いて訓練することができる。 その結果,MLモデルでは,広範囲の圧力および温度条件の燃料特性を正確に予測できることがわかった。
  論文  参考訳（メタデータ） (2021-10-18T14:43:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。