論文の概要: Enhancing Generative Molecular Design via Uncertainty-guided Fine-tuning of Variational Autoencoders
- arxiv url: http://arxiv.org/abs/2405.20573v1
- Date: Fri, 31 May 2024 02:00:25 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-03 15:46:08.120949
- Title: Enhancing Generative Molecular Design via Uncertainty-guided Fine-tuning of Variational Autoencoders
- Title（参考訳）: 不確かさ誘導による変分オートエンコーダの微調整による生成分子設計の促進
- Authors: A N M Nafiz Abeer, Sanket Jantre, Nathan M Urban, Byung-Jun Yoon,
- Abstract要約: 事前学習された生成分子設計モデルにとって重要な課題は、下流の設計タスクに適するように微調整することである。
本研究では,生成不確実性デコーダ(VAE)に基づくGMDモデルに対して,アクティブな環境下での性能フィードバックによる新しいアプローチを提案する。
- 参考スコア（独自算出の注目度）: 2.0701439270461184
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In recent years, deep generative models have been successfully adopted for various molecular design tasks, particularly in the life and material sciences. A critical challenge for pre-trained generative molecular design (GMD) models is to fine-tune them to be better suited for downstream design tasks aimed at optimizing specific molecular properties. However, redesigning and training an existing effective generative model from scratch for each new design task is impractical. Furthermore, the black-box nature of typical downstream tasks$\unicode{x2013}$such as property prediction$\unicode{x2013}$makes it nontrivial to optimize the generative model in a task-specific manner. In this work, we propose a novel approach for a model uncertainty-guided fine-tuning of a pre-trained variational autoencoder (VAE)-based GMD model through performance feedback in an active learning setting. The main idea is to quantify model uncertainty in the generative model, which is made efficient by working within a low-dimensional active subspace of the high-dimensional VAE parameters explaining most of the variability in the model's output. The inclusion of model uncertainty expands the space of viable molecules through decoder diversity. We then explore the resulting model uncertainty class via black-box optimization made tractable by low-dimensionality of the active subspace. This enables us to identify and leverage a diverse set of high-performing models to generate enhanced molecules. Empirical results across six target molecular properties, using multiple VAE-based generative models, demonstrate that our uncertainty-guided fine-tuning approach consistently outperforms the original pre-trained models.
- Abstract（参考訳）: 近年, 様々な分子設計タスク, 特に生命科学や物質科学において, 深層生成モデルがうまく採用されている。
事前学習された生成分子設計(GMD)モデルにとって重要な課題は、特定の分子特性の最適化を目的とした下流設計タスクに適するように、それらを微調整することである。
しかし、新しい設計タスクごとに、スクラッチから既存の効果的な生成モデルを再設計し、訓練することは不可能である。
さらに、典型的な下流タスクのブラックボックスの性質である$\unicode{x2013}$ such as property prediction$\unicode{x2013}$makes it to optimization the generative model in a task-specific manner。
本研究では,事前学習型変分オートエンコーダ(VAE)に基づくGMDモデルのモデル不確実性誘導微調整のための,能動的学習環境における性能フィードバックによる新しいアプローチを提案する。
主な考え方は生成モデルにおけるモデルの不確実性を定量化することであり、これはモデル出力のほとんどの変数を説明する高次元のVAEパラメータの低次元の活性部分空間内で作業することで効率的になる。
モデル不確実性の包含はデコーダの多様性を通じて生存可能な分子の空間を拡大する。
次に、活性部分空間の低次元性により抽出可能なブラックボックス最適化により得られたモデル不確実性クラスを探索する。
これにより、多種多様なハイパフォーマンスモデルを特定し、活用し、強化された分子を生成することができる。
複数のVAEをベースとした生成モデルを用いた6つの分子特性の実証実験の結果、我々の不確実性誘導微調整アプローチは、元の事前学習モデルよりも一貫して優れていることが示された。
関連論文リスト
- Cliqueformer: Model-Based Optimization with Structured Transformers [102.55764949282906]
我々は、MBOタスクの構造を学習し、経験的に改良された設計につながるモデルを開発する。
我々はCliqueformerを、高次元のブラックボックス機能から、化学・遺伝設計の現実的なタスクまで、様々なタスクで評価する。
論文 参考訳（メタデータ） (2024-10-17T00:35:47Z) - Bridging Model-Based Optimization and Generative Modeling via Conservative Fine-Tuning of Diffusion Models [54.132297393662654]
本稿では,RLによる報酬モデルの最適化により,最先端拡散モデルを微調整するハイブリッド手法を提案する。
我々は、報酬モデルの補間能力を活用し、オフラインデータにおいて最良の設計を上回るアプローチの能力を実証する。
論文 参考訳（メタデータ） (2024-05-30T03:57:29Z) - Leveraging Active Subspaces to Capture Epistemic Model Uncertainty in Deep Generative Models for Molecular Design [2.0701439270461184]
生成分子設計モデルでは、多数のパラメータによって生じるベイズ推定の計算上の問題により、不確実性定量化(UQ)への取り組みが減っている。
本研究では、生成分子設計の一般的なモデルであるジャンクションツリー変分オートエンコーダ(JT-VAE)に着目し、低次元の活性部分空間を利用してモデルパラメータの不確かさを捉えることでこの問題に対処する。
論文 参考訳（メタデータ） (2024-04-30T21:10:51Z) - Diffusion Model for Data-Driven Black-Box Optimization [54.25693582870226]
我々は、強力な生成AI技術である拡散モデルに注目し、ブラックボックス最適化の可能性について検討する。
本研究では,1)実数値報酬関数のノイズ測定と,2)対比較に基づく人間の嗜好の2種類のラベルについて検討する。
提案手法は,設計最適化問題を条件付きサンプリング問題に再構成し,拡散モデルのパワーを有効活用する。
論文 参考訳（メタデータ） (2024-03-20T00:41:12Z) - Masked Particle Modeling on Sets: Towards Self-Supervised High Energy Physics Foundation Models [4.299997052226609]
Masked Particle Modeling (MPM) は、無秩序な入力集合上の汎用的、転送可能、再利用可能な表現を学習するための自己教師付き手法である。
本研究では,コライダー物理実験における高エネルギージェットの試料中の方法の有効性について検討した。
論文 参考訳（メタデータ） (2024-01-24T15:46:32Z) - Revisiting Implicit Models: Sparsity Trade-offs Capability in
Weight-tied Model for Vision Tasks [4.872984658007499]
ディープ平衡モデル(Deep Equilibrium Models, DEQ)のような暗黙のモデルは、無限層のモデルを訓練する能力によって、コミュニティにおいて大きな注目を集めている。
暗黙のモデルの行を再検討し、それらを元の重み付けモデルに遡る。
驚くべきことに、重み付けモデルの方がDECの変種と比較して、より効率的で、安定であり、視覚タスク上でも効率的である。
論文 参考訳（メタデータ） (2023-07-16T11:45:35Z) - Molecule Design by Latent Space Energy-Based Modeling and Gradual
Distribution Shifting [53.44684898432997]
化学的・生物学的性質が望ましい分子の生成は、薬物発見にとって重要である。
本稿では,分子の結合分布とその特性を捉える確率的生成モデルを提案する。
本手法は種々の分子設計タスクにおいて非常に強力な性能を発揮する。
論文 参考訳（メタデータ） (2023-06-09T03:04:21Z) - A Survey on Generative Diffusion Model [75.93774014861978]
拡散モデルは、深層生成モデルの新たなクラスである。
時間を要する反復生成過程や高次元ユークリッド空間への閉じ込めなど、いくつかの制限がある。
本調査では,拡散モデルの向上を目的とした高度な手法を多数提示する。
論文 参考訳（メタデータ） (2022-09-06T16:56:21Z) - Molecular Attributes Transfer from Non-Parallel Data [57.010952598634944]
分子最適化をスタイル伝達問題として定式化し、非並列データの2つのグループ間の内部差を自動的に学習できる新しい生成モデルを提案する。
毒性修飾と合成性向上という2つの分子最適化タスクの実験により,本モデルがいくつかの最先端手法を著しく上回ることを示した。
論文 参考訳（メタデータ） (2021-11-30T06:10:22Z) - Physics-Constrained Predictive Molecular Latent Space Discovery with
Graph Scattering Variational Autoencoder [0.0]
我々は小データ構造における変分推論とグラフ理論に基づく分子生成モデルを開発する。
モデルの性能は、所望の目的特性を持つ分子を生成することによって評価される。
論文 参考訳（メタデータ） (2020-09-29T09:05:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。