論文の概要: Procedural Pretraining for Molecular Property Prediction

• arxiv url: http://arxiv.org/abs/2609.17831v1
• Date: Tue, 15 Sep 2026 20:48:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.539374
• Title: Procedural Pretraining for Molecular Property Prediction
• Title（参考訳）: 分子特性予測のための手続き的事前学習
• Abstract要約: 本稿では,手続き前訓練,SMILESの分子前訓練,下流微調整からなる3段階の訓練パイプラインを提案する。 手続き的事前訓練はその後の分子前訓練においても分子特性予測を改善することができる。
• 参考スコア（独自算出の注目度）: 22.377531744002805
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Molecular property prediction is often limited by the small size of labeled downstream datasets, motivating pretraining on large corpora of unlabeled molecules. In this work, we ask whether useful inductive biases can instead be learned from abstract, procedurally generated data before a model sees any molecular data. We introduce a three-stage training pipeline consisting of procedural pretraining, molecular pretraining on SMILES, and downstream fine-tuning, and evaluate several procedural tasks spanning sequence structure, cellular automata, and graph reasoning. We find that procedural pretraining can improve molecular property prediction even after subsequent molecular pretraining: on Lipophilicity, \textsc{Reverse} reduces test error by 4.8\%. For context, the magnitude of this improvement is roughly 90\% of the performance difference between our 250K-molecule baseline and the publicly released MoLFormer checkpoint pretrained on approximately 100M molecules. Our analysis shows that the benefit is strongest under downstream data scarcity, depends on the structure of the procedural data rather than only surface-level statistics, and does not increase monotonically with additional procedural training. Instead, transfer typically peaks at an intermediate procedural budget and deteriorates as the model approaches convergence on the procedural task. We further find that, for several tasks, much of the transferable information is localized in the attention layers, while feed-forward layers can contribute to over-specialization. These results show that procedural data can provide transferable structure for molecular learning and offer a complementary route to improving performance when labeled molecular data are limited.
• Abstract（参考訳）: 分子特性予測はしばしば、ラベル付き下流データセットの小さなサイズによって制限され、ラベルなし分子の大きなコーパスで事前学習を動機付けている。 本研究では、モデルが分子データを見る前に、抽象的、手続き的に生成されたデータから有用な帰納的バイアスを学習できるかを問う。 本研究では,SMILESにおける手続き前訓練,分子前訓練,下流微細チューニングからなる3段階の訓練パイプラインを導入し,シークエンス構造,セルオートマトン,グラフ推論にまたがる手続き的タスクを評価した。 プロシージャ前訓練は,その後の分子前訓練においても分子特性予測を改善することが確認された: 脂肪族化では, \textsc{Reverse} は試験誤差を 4.8 % 削減する。 この改善の程度は、約100M分子で事前訓練された250K-分子ベースラインと一般公開されたMoLFormerチェックポイントのパフォーマンス差の約90%である。 分析の結果,この利点は下流データ不足下では最強であり,プロシージャデータの構造に依存していることが明らかとなった。 代わりに、移行は通常、中間の手続き的予算でピークに達し、モデルが手続き的タスクに収束するにつれて悪化する。 さらに、いくつかのタスクにおいて、転送可能な情報の多くは注意層にローカライズされ、フィードフォワード層は過度な特殊化に寄与する。 これらの結果から, プロシージャデータによって分子学習のための伝達可能な構造が得られ, ラベル付き分子データに制限がある場合に, 性能向上のための相補的な経路が提供されることがわかった。

関連論文リスト

• Two-Stage Pretraining for Molecular Property Prediction in the Wild [38.31911435361748]
  そこで本研究では,野生における様々な分子特性予測のための分子モデルであるMoleVersを紹介する。 MoleVersは、マスクされた原子予測と極端なデノイングを通じて、ラベルのないデータから表現を学習する。 第2段階では、計算手法から導かれた補助特性の予測を通じてこれらの表現を洗練する。
  論文  参考訳（メタデータ） (2024-11-05T22:36:17Z)
• Pre-trained Molecular Language Models with Random Functional Group Masking [54.900360309677794]
  SMILESをベースとしたアンダーリネム分子アンダーリネム言語アンダーリネムモデルを提案し,特定の分子原子に対応するSMILESサブシーケンスをランダムにマスキングする。 この技術は、モデルに分子構造や特性をよりよく推測させ、予測能力を高めることを目的としている。
  論文  参考訳（メタデータ） (2024-11-03T01:56:15Z)
• MolecularGPT: Open Large Language Model (LLM) for Few-Shot Molecular Property Prediction [20.92779223471019]
  数発の分子特性予測のための分子GPTを提案する。 10のダウンストリーム評価データセットで競合するコンテキスト内推論機能を示す。 また、最先端のLCMベースラインを最大15.7%増加させ、ゼロショット下の回帰指標(例えばRMSE)で17.9減少させる。
  論文  参考訳（メタデータ） (2024-06-18T12:54:47Z)
• Implicit Geometry and Interaction Embeddings Improve Few-Shot Molecular Property Prediction [53.06671763877109]
  我々は, 複雑な分子特性を符号化した分子埋め込みを開発し, 数発の分子特性予測の性能を向上させる。 我々の手法は大量の合成データ、すなわち分子ドッキング計算の結果を利用する。 複数の分子特性予測ベンチマークでは、埋め込み空間からのトレーニングにより、マルチタスク、MAML、プロトタイプラーニング性能が大幅に向上する。
  論文  参考訳（メタデータ） (2023-02-04T01:32:40Z)
• MolCPT: Molecule Continuous Prompt Tuning to Generalize Molecular Representation Learning [77.31492888819935]
  分子表現学習のための「プリトレイン,プロンプト,ファインチューン」という新しいパラダイム,分子連続プロンプトチューニング(MolCPT)を提案する。 MolCPTは、事前訓練されたモデルを使用して、スタンドアロンの入力を表現的なプロンプトに投影するモチーフプロンプト関数を定義する。 いくつかのベンチマークデータセットの実験により、MollCPTは分子特性予測のために学習済みのGNNを効率的に一般化することが示された。
  論文  参考訳（メタデータ） (2022-12-20T19:32:30Z)
• Supervised Pretraining for Molecular Force Fields and Properties Prediction [16.86839767858162]
  本研究では, 原子電荷と3次元ジオメトリーを入力とし, 分子エネルギーをラベルとする8800万分子のデータセット上で, ニューラルネットワークを事前学習することを提案する。 実験により、スクラッチからのトレーニングと比較して、事前訓練されたモデルを微調整すると、7つの分子特性予測タスクと2つの力場タスクのパフォーマンスが大幅に向上することが示された。
  論文  参考訳（メタデータ） (2022-11-23T08:36:50Z)
• Does GNN Pretraining Help Molecular Representation? [5.5459878275267736]
  自己教師付きグラフ事前学習は、多くの設定において非事前学習法に対して統計的に有意な優位性を持たない。 追加の教師付き事前トレーニングでは改善が観察できるが、よりリッチな機能やバランスの取れたデータ分割によって改善は減少する可能性がある。 我々は、分子の事前学習の複雑さが不十分であり、下流のタスクに対する伝達可能な知識が少なくなると仮定する。
  論文  参考訳（メタデータ） (2022-07-13T07:34:16Z)
• Self-Supervised Graph Transformer on Large-Scale Molecular Data [73.3448373618865]
  分子表現学習のための新しいフレームワークGROVERを提案する。 GROVERは、分子の豊富な構造的および意味的な情報を、巨大な未標識分子データから学習することができる。 分子表現学習において、最大のGNNであり、最大のトレーニングデータセットである、1000万個の未標識分子に1億のパラメータを持つGROVERを事前訓練します。
  論文  参考訳（メタデータ） (2020-06-18T08:37:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。