論文の概要: NovoMolGen: Rethinking Molecular Language Model Pretraining

• arxiv url: http://arxiv.org/abs/2508.13408v2
• Date: Fri, 22 Aug 2025 13:02:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-25 12:20:05.370962
• Title: NovoMolGen: Rethinking Molecular Language Model Pretraining
• Title（参考訳）: NovoMolGen: 分子言語モデルの事前トレーニングを再考
• Authors: Kamran Chitsaz, Roshan Balaji, Quentin Fournier, Nirav Pravinbhai Bhatt, Sarath Chandar,
• Abstract要約: 我々は、デノボ分子生成のための15億分子を事前訓練したトランスフォーマーベースの基礎モデルであるNovoMolGenを紹介する。 実験的な分析により,事前学習中の測定値と実際の下流のパフォーマンスとの間には弱い相関関係が認められた。 NovoMolGenは、新しい最先端の結果を確立し、制約のない分子生成タスクとゴール指向の分子生成タスクの両方において、Moll-LLMや特殊生成モデルよりも大幅に優れている。
• 参考スコア（独自算出の注目度）: 14.403924658046806
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Designing de-novo molecules with desired property profiles requires efficient exploration of the vast chemical space ranging from $10^{23}$ to $10^{60}$ possible synthesizable candidates. While various deep generative models have been developed to design small molecules using diverse input representations, Molecular Large Language Models (Mol-LLMs) based on string representations have emerged as a scalable approach capable of exploring billions of molecules. However, there remains limited understanding regarding how standard language modeling practices such as textual representations, tokenization strategies, model size, and dataset scale impact molecular generation performance. In this work, we systematically investigate these critical aspects by introducing NovoMolGen, a family of transformer-based foundation models pretrained on 1.5 billion molecules for de-novo molecule generation. Through extensive empirical analyses, we identify a weak correlation between performance metrics measured during pretraining and actual downstream performance, revealing important distinctions between molecular and general NLP training dynamics. NovoMolGen establishes new state-of-the-art results, substantially outperforming prior Mol-LLMs and specialized generative models in both unconstrained and goal-directed molecular generation tasks, thus providing a robust foundation for advancing efficient and effective molecular modeling strategies.
• Abstract（参考訳）: 所望の特性プロファイルを持つデノボ分子を設計するには、10^{23}$から10^{60}$の膨大な化学空間を効率的に探索する必要がある。 多様な入力表現を用いて小さな分子を設計するための様々な深層生成モデルが開発されているが、文字列表現に基づく分子大言語モデル(Mol-LLM)は数十億の分子を探索できるスケーラブルなアプローチとして出現している。 しかし、テキスト表現、トークン化戦略、モデルサイズ、データセットスケールが分子生成性能にどのように影響するかといった標準言語モデリングの実践について、まだ理解が限られている。 本研究では,デノボ分子生成のための15億分子を事前訓練したトランスフォーマーベース基盤モデルであるNovoMolGenを導入することにより,これらの重要な側面を体系的に検討する。 大規模な実験分析により,プレトレーニング中の測定値と実際の下流性能との間には弱い相関関係がみられ,分子と一般のNLPトレーニングのダイナミックスとの重要な違いが明らかとなった。 NovoMolGenは、新しい最先端の成果を確立し、制約のない分子生成タスクとゴール指向の分子生成タスクの両方において、事前のモル-LLMと特殊生成モデルを大幅に上回り、効率的で効果的な分子モデリング戦略を推進するための堅牢な基盤を提供する。

関連論文リスト

• $\text{M}^{2}$LLM: Multi-view Molecular Representation Learning with Large Language Models [59.125833618091846]
  分子構造ビュー,分子タスクビュー,分子規則ビューの3つの視点を統合した多視点フレームワークを提案する。 実験によると、$textM2$LLMは、分類タスクと回帰タスクをまたいだ複数のベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-08-12T05:46:47Z)
• Instruction Multi-Constraint Molecular Generation Using a Teacher-Student Large Language Model [49.64512917330373]
  本稿では,学生に類似した多制約分子生成大言語モデルTSMMGを紹介する。 TSMMGを訓練するために、これらの「教師」から分子知識を抽出し、大量のテキスト-分子対を構築する。 我々は,TSMMGが複雑で自然言語で記述された特性を満たす分子を生成できることを実験的に明らかにした。
  論文  参考訳（メタデータ） (2024-03-20T02:15:55Z)
• MultiModal-Learning for Predicting Molecular Properties: A Framework Based on Image and Graph Structures [2.5563339057415218]
  MolIGは、画像とグラフ構造に基づいて分子特性を予測するための、新しいMultiModaL分子事前学習フレームワークである。 両者の分子表現の強さを融合させる。 ベンチマークグループ内の分子特性予測に関連する下流タスクでは、パフォーマンスが向上する。
  論文  参考訳（メタデータ） (2023-11-28T10:28:35Z)
• Improving Molecular Properties Prediction Through Latent Space Fusion [9.912768918657354]
  本稿では,最先端の化学モデルから導出した潜在空間を組み合わせた多視点手法を提案する。 分子構造をグラフとして表現するMHG-GNNの埋め込みと、化学言語に根ざしたMoLFormerの埋め込みである。 本稿では,既存の最先端手法と比較して,提案手法の優れた性能を示す。
  論文  参考訳（メタデータ） (2023-10-20T20:29:32Z)
• Molecule Design by Latent Space Energy-Based Modeling and Gradual Distribution Shifting [53.44684898432997]
  化学的・生物学的性質が望ましい分子の生成は、薬物発見にとって重要である。 本稿では,分子の結合分布とその特性を捉える確率的生成モデルを提案する。 本手法は種々の分子設計タスクにおいて非常に強力な性能を発揮する。
  論文  参考訳（メタデータ） (2023-06-09T03:04:21Z)
• Domain-Agnostic Molecular Generation with Chemical Feedback [44.063584808910896]
  MolGenは、分子生成に特化した事前訓練された分子言語モデルである。 1億以上の分子SELFIESを再構成することで構造的および文法的な洞察を内部化する。 我々の化学フィードバックパラダイムは、モデルを分子幻覚から遠ざけ、モデルの推定確率と実世界の化学的嗜好との整合性を確保する。
  論文  参考訳（メタデータ） (2023-01-26T17:52:56Z)
• Bidirectional Generation of Structure and Properties Through a Single Molecular Foundation Model [44.60174246341653]
  本稿では, 構造と生化学的性質を組み込んだ, 新規なマルチモーダル分子事前学習モデルを提案する。 提案するデータハンドリングおよびトレーニング目的のモデルパイプラインは、共通埋め込み空間における構造/プロパティの特徴を整合させる。 これらのコントリビューションは相乗的知識を生み出し、単一のモデルでマルチモーダルと非モーダルの両方の下流タスクに取り組むことができる。
  論文  参考訳（メタデータ） (2022-11-19T05:16:08Z)
• Improving Molecular Pretraining with Complementary Featurizations [20.86159731100242]
  分子プレトレーニング(英: molecular pretraining)は、計算化学と薬物発見における様々な課題を解決するためのパラダイムである。 化学情報を異なる方法で伝達できることが示される。 我々は, 簡易で効果的な分子事前学習フレームワーク(MOCO)を提案する。
  論文  参考訳（メタデータ） (2022-09-29T21:11:09Z)
• A Molecular Multimodal Foundation Model Associating Molecule Graphs with Natural Language [63.60376252491507]
  本稿では,分子グラフとその意味的関連テキストデータから事前学習した分子マルチモーダル基礎モデルを提案する。 我々のモデルは、生物学、化学、材料、環境、医学などの分野において、AIを動力とする分野に幅広い影響を与えるだろうと考えています。
  論文  参考訳（メタデータ） (2022-09-12T00:56:57Z)
• Retrieval-based Controllable Molecule Generation [63.44583084888342]
  制御可能な分子生成のための検索に基づく新しいフレームワークを提案する。 我々は、与えられた設計基準を満たす分子の合成に向けて、事前学習された生成モデルを操るために、分子の小さなセットを使用します。 提案手法は生成モデルの選択に非依存であり,タスク固有の微調整は不要である。
  論文  参考訳（メタデータ） (2022-08-23T17:01:16Z)
• Learning Neural Generative Dynamics for Molecular Conformation Generation [89.03173504444415]
  分子グラフから分子コンフォメーション(つまり3d構造)を生成する方法を検討した。 分子グラフから有効かつ多様なコンフォーメーションを生成する新しい確率論的枠組みを提案する。
  論文  参考訳（メタデータ） (2021-02-20T03:17:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。