Fugu-MT 論文翻訳(概要): Energy Rank Alignment: Using Preference Optimization to Search Chemical Space at Scale

論文の概要: Energy Rank Alignment: Using Preference Optimization to Search Chemical Space at Scale

arxiv url: http://arxiv.org/abs/2405.12961v1
Date: Tue, 21 May 2024 17:35:20 GMT
ステータス: 処理完了
システム内更新日: 2024-05-22 12:30:44.653599
Title: Energy Rank Alignment: Using Preference Optimization to Search Chemical Space at Scale
Title（参考訳）: エネルギーランクアライメント: 選好最適化を用いた大規模化学空間探索
Authors: Shriram Chennakesavalu, Frank Hu, Sebastian Ibarraran, Grant M. Rotskoff,
Abstract要約: 本稿では,エネルギーランクアライメント(ERA)と呼ばれるアルゴリズムを導入する。本稿では,このアルゴリズムが近似ポリシー最適化 (PPO) と直接選好最適化 (DPO) と密接に関連していることを示す。このアルゴリズムは拡張性が高く、強化学習を必要とせず、ペアリング毎の選好観測回数が少ない場合にはDPOとよく対応している。
参考スコア（独自算出の注目度）: 1.4499463058550681
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Searching through chemical space is an exceptionally challenging problem because the number of possible molecules grows combinatorially with the number of atoms. Large, autoregressive models trained on databases of chemical compounds have yielded powerful generators, but we still lack robust strategies for generating molecules with desired properties. This molecular search problem closely resembles the "alignment" problem for large language models, though for many chemical tasks we have a specific and easily evaluable reward function. Here, we introduce an algorithm called energy rank alignment (ERA) that leverages an explicit reward function to produce a gradient-based objective that we use to optimize autoregressive policies. We show theoretically that this algorithm is closely related to proximal policy optimization (PPO) and direct preference optimization (DPO), but has a minimizer that converges to an ideal Gibbs-Boltzmann distribution with the reward playing the role of an energy function. Furthermore, this algorithm is highly scalable, does not require reinforcement learning, and performs well relative to DPO when the number of preference observations per pairing is small. We deploy this approach to align molecular transformers to generate molecules with externally specified properties and find that it does so robustly, searching through diverse parts of chemical space. While our focus here is on chemical search, we also obtain excellent results on an AI supervised task for LLM alignment, showing that the method is scalable and general.
Abstract（参考訳）: 化学的空間を探索することは、可能な分子の数が原子の数と組み合わせて増加するため、非常に難しい問題である。化学化合物のデータベース上で訓練された大規模で自己回帰的なモデルは強力な生成物を生み出してきたが、それでも所望の特性を持つ分子を生成するための堅牢な戦略は欠如している。この分子探索問題は、大規模言語モデルにおける「アライメント」問題とよく似ているが、多くの化学的なタスクでは、具体的かつ容易に評価可能な報酬関数を持つ。本稿では,エネルギーランクアライメント(ERA)と呼ばれるアルゴリズムを導入し,自己回帰ポリシーの最適化に使用する勾配に基づく目標値を生成する。理論的には、このアルゴリズムは近似ポリシー最適化(PPO)と直接選好最適化(DPO)と密接に関連しているが、エネルギー関数の役割を果たす報酬を持つ理想のギブス・ボルツマン分布に収束する最小化器を持つ。さらに、このアルゴリズムはスケーラビリティが高く、強化学習を必要とせず、ペアリング毎の選好観測回数が少ない場合、DPOとよく対応できる。我々は、分子トランスフォーマーを配置し、外部に指定された性質を持つ分子を生成する。ケミカルサーチに重点を置いているが、LLMアライメントのためのAI教師付きタスクにおいても優れた結果が得られる。

関連論文リスト

Text-Guided Multi-Property Molecular Optimization with a Diffusion Language Model [77.50732023411811]
変換器を用いた拡散言語モデル(TransDLM)を用いたテキスト誘導多目的分子最適化手法を提案する。 TransDLMは標準化された化学命名法を分子の意味表現として利用し、プロパティ要求をテキスト記述に暗黙的に埋め込む。提案手法は, 分子構造類似性を最適化し, ベンチマークデータセットの化学的特性を向上するための最先端手法を超越した手法である。
論文参考訳（メタデータ） (2024-10-17T14:30:27Z)
Data-Driven Parametrization of Molecular Mechanics Force Fields for Expansive Chemical Space Coverage [16.745564099126575]
我々は、薬物様分子のアンバー互換力場であるByteFFを開発した。本モデルでは, 薬物様分子のすべての結合および非結合MM力場パラメータを, 広い化学空間にわたって同時に予測する。
論文参考訳（メタデータ） (2024-08-23T03:37:06Z)
Efficient Evolutionary Search Over Chemical Space with Large Language Models [31.31899988523534]
最適化の目的は区別できない。化学対応大規模言語モデル(LLM)を進化的アルゴリズムに導入する。我々のアルゴリズムは最終解の質と収束速度の両方を改善する。
論文参考訳（メタデータ） (2024-06-23T06:22:49Z)
Accelerating Black-Box Molecular Property Optimization by Adaptively Learning Sparse Subspaces [0.0]
提案手法は,様々なベンチマークや実世界の問題において,既存のMPO手法よりも大幅に優れていることを示す。具体的には,100ドル未満のクエリで100ドル以上の代替品の集合から,ほぼ最適分子を定期的に見つけることができることを示す。
論文参考訳（メタデータ） (2024-01-02T18:34:29Z)
Implicit Geometry and Interaction Embeddings Improve Few-Shot Molecular Property Prediction [53.06671763877109]
我々は, 複雑な分子特性を符号化した分子埋め込みを開発し, 数発の分子特性予測の性能を向上させる。我々の手法は大量の合成データ、すなわち分子ドッキング計算の結果を利用する。複数の分子特性予測ベンチマークでは、埋め込み空間からのトレーニングにより、マルチタスク、MAML、プロトタイプラーニング性能が大幅に向上する。
論文参考訳（メタデータ） (2023-02-04T01:32:40Z)
Retrieval-based Controllable Molecule Generation [63.44583084888342]
制御可能な分子生成のための検索に基づく新しいフレームワークを提案する。我々は、与えられた設計基準を満たす分子の合成に向けて、事前学習された生成モデルを操るために、分子の小さなセットを使用します。提案手法は生成モデルの選択に非依存であり,タスク固有の微調整は不要である。
論文参考訳（メタデータ） (2022-08-23T17:01:16Z)
Exploring Chemical Space with Score-based Out-of-distribution Generation [57.15855198512551]
生成微分方程式(SDE)にアウト・オブ・ディストリビューション制御を組み込んだスコアベース拡散方式を提案する。いくつかの新しい分子は現実世界の薬物の基本的な要件を満たしていないため、MOODは特性予測器からの勾配を利用して条件付き生成を行う。我々はMOODがトレーニング分布を超えて化学空間を探索できることを実験的に検証し、既存の方法で見いだされた分子、そして元のトレーニングプールの上位0.01%までも生成できることを実証した。
論文参考訳（メタデータ） (2022-06-06T06:17:11Z)
Optimizing Molecules using Efficient Queries from Property Evaluations [66.66290256377376]
汎用的なクエリベースの分子最適化フレームワークであるQMOを提案する。 QMOは効率的なクエリに基づいて入力分子の所望の特性を改善する。 QMOは, 有機分子を最適化するベンチマークタスクにおいて, 既存の手法よりも優れていることを示す。
論文参考訳（メタデータ） (2020-11-03T18:51:18Z)
MIMOSA: Multi-constraint Molecule Sampling for Molecule Optimization [51.00815310242277]
生成モデルと強化学習アプローチは、最初の成功をおさめたが、複数の薬物特性を同時に最適化する上で、依然として困難に直面している。本稿では,MultI-Constraint MOlecule SAmpling (MIMOSA)アプローチ,初期推定として入力分子を用いるサンプリングフレームワーク,ターゲット分布からのサンプル分子を提案する。
論文参考訳（メタデータ） (2020-10-05T20:18:42Z)
TorsionNet: A Reinforcement Learning Approach to Sequential Conformer Search [17.2131835813425]
剛性ロータ近似の下での強化学習に基づく効率的なシーケンシャルコンバータ探索手法を提案する。以上の結果から,TorsionNetは大きなアルカンに対して4倍,未探索の生体高分子リグニンでは数桁,高い評価率のケモインフォマティクス法よりも優れていた。
論文参考訳（メタデータ） (2020-06-12T11:03:29Z)
Reinforcement Learning for Molecular Design Guided by Quantum Mechanics [10.112779201155005]
分子設計のための新しいRL式を座標で提示し、構築可能な分子のクラスを拡張した。我々の報酬関数は、高速量子化学法で近似したエネルギーのような基本的な物理的性質に基づいている。本実験では, 翻訳および回転不変状態-作用空間で作業することで, エージェントがスクラッチからこれらの課題を効率的に解けることを示す。
論文参考訳（メタデータ） (2020-02-18T16:43:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。