論文の概要: A Systematic Survey of Molecular Pre-trained Models

• arxiv url: http://arxiv.org/abs/2210.16484v1
• Date: Sat, 29 Oct 2022 03:53:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-01 15:29:42.357992
• Title: A Systematic Survey of Molecular Pre-trained Models
• Title（参考訳）: 分子前訓練モデルに関する体系的研究
• Authors: Jun Xia, Yanqiao Zhu, Yuanqi Du, Yue Liu, Stan Z.Li
• Abstract要約: ディープラーニングは、自動的な特徴学習を通じて分子の表現を学習することで、顕著な成功を収めた。 しかし、深いニューラルネットワークをゼロからトレーニングするには、現実世界のシナリオで取得するのに高価な十分なラベル付き分子を必要とすることが多い。 この問題を緩和するため、分子事前学習モデル(MPM)に多大な努力が注がれている。 MPMは、大規模未ラベル分子データベースを使用して事前訓練され、その後、様々な下流タスクのために微調整される。
• 参考スコア（独自算出の注目度）: 41.74322904066705
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Obtaining effective molecular representations is at the core of a series of important chemical tasks ranging from property prediction to drug design. So far, deep learning has achieved remarkable success in learning representations for molecules through automated feature learning in a data-driven fashion. However, training deep neural networks from scratch often requires sufficient labeled molecules which are expensive to acquire in real-world scenarios. To alleviate this issue, inspired by the success of the pretrain-then-finetune paradigm in natural language processing, tremendous efforts have been devoted to Molecular Pre-trained Models (MPMs), where neural networks are pre-trained using large-scale unlabeled molecular databases and then fine-tuned for diverse downstream tasks. Despite the prosperity, this field is fast-growing and a systematic roadmap is urgently needed for both methodology advancements and practical applications in both machine learning and scientific communities. To this end, this paper provides a systematic survey of pre-trained models for molecular representations. Firstly, to motivate MPMs studies, we highlight the limitations of training deep neural networks for molecular representations. Next, we systematically review recent advances on this topic from several key perspectives including molecular descriptors, encoder architectures, pre-training strategies, and applications. Finally, we identify several challenges and discuss promising future research directions.
• Abstract（参考訳）: 効果的な分子表現を得ることは、特性予測から薬物設計まで、一連の重要な化学タスクの中核である。 これまでのところ、ディープラーニングは、データ駆動の方法で自動機能学習によって、分子の表現を学習することに成功した。 しかし、深層ニューラルネットワークをスクラッチから訓練するには、現実世界のシナリオで取得するのにかかる十分なラベル付き分子を必要とすることが多い。 この問題を緩和するため、自然言語処理における事前学習と微調整のパラダイムの成功に触発されて、ニューラルネットワークを大規模なラベルなしの分子データベースを使用して事前学習し、下流タスクを微調整する分子事前学習モデル(mpm)に多大な努力が費やされてきた。 繁栄にもかかわらず、この分野は急速に成長しており、機械学習と科学コミュニティの両方で方法論の進歩と実践的応用の両方に、体系的なロードマップが緊急に必要である。 そこで本研究では, 分子表現のための事前学習モデルに関する体系的調査を行う。 まず,mpms研究の動機づけとして,分子表現のための深層ニューラルネットワークの訓練の限界を強調する。 次に, 分子ディスクリプタ, エンコーダアーキテクチャ, 事前学習戦略, 応用などいくつかの重要な視点から, このトピックの最近の進歩を体系的にレビューする。 最後に,いくつかの課題を特定し,今後の研究の方向性について考察する。

関連論文リスト

• Pre-trained Molecular Language Models with Random Functional Group Masking [54.900360309677794]
  SMILESをベースとしたアンダーリネム分子アンダーリネム言語アンダーリネムモデルを提案し,特定の分子原子に対応するSMILESサブシーケンスをランダムにマスキングする。 この技術は、モデルに分子構造や特性をよりよく推測させ、予測能力を高めることを目的としている。
  論文  参考訳（メタデータ） (2024-11-03T01:56:15Z)
• MolCAP: Molecular Chemical reActivity pretraining and prompted-finetuning enhanced molecular representation learning [3.179128580341411]
  MolCAPは、化学反応性(IMR)知識に基づくグラフ事前学習トランスフォーマーであり、微調整を誘導する。 MolCAPによって推進され、基礎的なグラフニューラルネットワークでさえ、以前のモデルを上回る驚くべきパフォーマンスを達成することができる。
  論文  参考訳（メタデータ） (2023-06-13T13:48:06Z)
• Implicit Geometry and Interaction Embeddings Improve Few-Shot Molecular Property Prediction [53.06671763877109]
  我々は, 複雑な分子特性を符号化した分子埋め込みを開発し, 数発の分子特性予測の性能を向上させる。 我々の手法は大量の合成データ、すなわち分子ドッキング計算の結果を利用する。 複数の分子特性予測ベンチマークでは、埋め込み空間からのトレーニングにより、マルチタスク、MAML、プロトタイプラーニング性能が大幅に向上する。
  論文  参考訳（メタデータ） (2023-02-04T01:32:40Z)
• MolCPT: Molecule Continuous Prompt Tuning to Generalize Molecular Representation Learning [77.31492888819935]
  分子表現学習のための「プリトレイン,プロンプト,ファインチューン」という新しいパラダイム,分子連続プロンプトチューニング(MolCPT)を提案する。 MolCPTは、事前訓練されたモデルを使用して、スタンドアロンの入力を表現的なプロンプトに投影するモチーフプロンプト関数を定義する。 いくつかのベンチマークデータセットの実験により、MollCPTは分子特性予測のために学習済みのGNNを効率的に一般化することが示された。
  論文  参考訳（メタデータ） (2022-12-20T19:32:30Z)
• Supervised Pretraining for Molecular Force Fields and Properties Prediction [16.86839767858162]
  本研究では, 原子電荷と3次元ジオメトリーを入力とし, 分子エネルギーをラベルとする8800万分子のデータセット上で, ニューラルネットワークを事前学習することを提案する。 実験により、スクラッチからのトレーニングと比較して、事前訓練されたモデルを微調整すると、7つの分子特性予測タスクと2つの力場タスクのパフォーマンスが大幅に向上することが示された。
  論文  参考訳（メタデータ） (2022-11-23T08:36:50Z)
• Improving Molecular Pretraining with Complementary Featurizations [20.86159731100242]
  分子プレトレーニング(英: molecular pretraining)は、計算化学と薬物発見における様々な課題を解決するためのパラダイムである。 化学情報を異なる方法で伝達できることが示される。 我々は, 簡易で効果的な分子事前学習フレームワーク(MOCO)を提案する。
  論文  参考訳（メタデータ） (2022-09-29T21:11:09Z)
• Retrieval-based Controllable Molecule Generation [63.44583084888342]
  制御可能な分子生成のための検索に基づく新しいフレームワークを提案する。 我々は、与えられた設計基準を満たす分子の合成に向けて、事前学習された生成モデルを操るために、分子の小さなセットを使用します。 提案手法は生成モデルの選択に非依存であり,タスク固有の微調整は不要である。
  論文  参考訳（メタデータ） (2022-08-23T17:01:16Z)
• Graph-based Molecular Representation Learning [59.06193431883431]
  分子表現学習(MRL)は、機械学習と化学科学を結びつけるための重要なステップである。 近年、MRLは、特に深層分子グラフ学習に基づく手法において、かなりの進歩を遂げている。
  論文  参考訳（メタデータ） (2022-07-08T17:43:20Z)
• KPGT: Knowledge-Guided Pre-training of Graph Transformer for Molecular Property Prediction [13.55018269009361]
  我々は、分子グラフ表現学習のための新しい自己教師付き学習フレームワーク、KPGT(Knowledge-guided Pre-training of Graph Transformer)を紹介する。 KPGTは、いくつかの分子特性予測タスクにおける最先端の手法よりも優れた性能を提供することができる。
  論文  参考訳（メタデータ） (2022-06-02T08:22:14Z)
• Generative Enriched Sequential Learning (ESL) Approach for Molecular Design via Augmented Domain Knowledge [1.4410716345002657]
  生成機械学習技術は、分子指紋表現に基づく新しい化学構造を生成することができる。 教師付きドメイン知識の欠如は、学習手順がトレーニングデータに見られる一般的な分子に相対的に偏っていることを誤解させる可能性がある。 この欠点は、例えば薬物類似度スコア(QED)の定量的推定など、ドメイン知識でトレーニングデータを増強することで軽減した。
  論文  参考訳（メタデータ） (2022-04-05T20:16:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。