論文の概要: Entropy-Reinforced Planning with Large Language Models for Drug Discovery
- arxiv url: http://arxiv.org/abs/2406.07025v1
- Date: Tue, 11 Jun 2024 07:29:13 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-12 17:04:09.921945
- Title: Entropy-Reinforced Planning with Large Language Models for Drug Discovery
- Title(参考訳): 薬物発見のための大規模言語モデルを用いたエントロピー強化計画
- Authors: Xuefeng Liu, Chih-chan Tien, Peng Ding, Songhao Jiang, Rick L. Stevens,
- Abstract要約: Entropy-Reinforced Planning for Transformer Decodingは、Entropy-Reinforceed Planningアルゴリズムを用いてTransformer Decodingプロセスを強化する。
我々はSARS-CoV-2ウイルス(3CLPro)とヒト癌細胞標的タンパク質(RTCB)のベンチマークでアルゴリズムを評価した。
- 参考スコア(独自算出の注目度): 4.997009765633157
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The objective of drug discovery is to identify chemical compounds that possess specific pharmaceutical properties toward a binding target. Existing large language models (LLMS) can achieve high token matching scores in terms of likelihood for molecule generation. However, relying solely on LLM decoding often results in the generation of molecules that are either invalid due to a single misused token, or suboptimal due to unbalanced exploration and exploitation as a consequence of the LLMs prior experience. Here we propose ERP, Entropy-Reinforced Planning for Transformer Decoding, which employs an entropy-reinforced planning algorithm to enhance the Transformer decoding process and strike a balance between exploitation and exploration. ERP aims to achieve improvements in multiple properties compared to direct sampling from the Transformer. We evaluated ERP on the SARS-CoV-2 virus (3CLPro) and human cancer cell target protein (RTCB) benchmarks and demonstrated that, in both benchmarks, ERP consistently outperforms the current state-of-the-art algorithm by 1-5 percent, and baselines by 5-10 percent, respectively. Moreover, such improvement is robust across Transformer models trained with different objectives. Finally, to further illustrate the capabilities of ERP, we tested our algorithm on three code generation benchmarks and outperformed the current state-of-the-art approach as well. Our code is publicly available at: https://github.com/xuefeng-cs/ERP.
- Abstract(参考訳): 薬物発見の目的は、特定の医薬特性を有する化合物を結合標的に向けて同定することである。
既存の大規模言語モデル(LLMS)は、分子生成の可能性の観点から高いトークンマッチングスコアを得ることができる。
しかし、LSMの復号化のみに依存すると、単一の誤用トークンによる無効な分子の生成や、LSMの以前の経験による不均衡な探索とエクスプロイトによる準最適分子の生成が生じることが多い。
本稿では, エントロピー強化型トランスフォーマーデコーディングのためのERP, Entropy-Reinforced Planning for Transformer Decodingを提案する。
ERPはTransformerから直接サンプリングするよりも、複数のプロパティの改善を目指している。
我々はSARS-CoV-2ウイルス (3CLPro) とヒト癌細胞標的タンパク質 (RTCB) のベンチマークでERPを評価し,両ベンチマークとも,ERPは現状のアルゴリズムを1~55%,ベースラインを5~10パーセント上回っていることを示した。
さらに、この改善は、異なる目的でトレーニングされたTransformerモデル間で堅牢である。
最後に、ERPの機能をさらに説明するために、私たちはアルゴリズムを3つのコード生成ベンチマークでテストし、現在の最先端アプローチよりも優れています。
私たちのコードは、https://github.com/xuefeng-cs/ERP.comで公開されています。
関連論文リスト
- rule4ml: An Open-Source Tool for Resource Utilization and Latency Estimation for ML Models on FPGA [0.0]
本稿では、FPGA上での合成と実装に先立って、ニューラルネットワーク(NN)のリソース利用と推論遅延を予測する新しい手法を提案する。
NNを高レベル合成(HLS)コードに変換するツールフローであるHLS4MLを活用している。
本手法では, 即時前合成予測に適応した回帰モデルを用いる。
論文 参考訳(メタデータ) (2024-08-09T19:35:10Z) - Comparing Hyper-optimized Machine Learning Models for Predicting Efficiency Degradation in Organic Solar Cells [39.847063110051245]
本研究は,有機太陽電池 (OSC) の電力変換効率 (PCE) に苦しむ時間的劣化を表現するための機械学習モデルを提案する。
製造プロセスと環境条件の両方に関して最大7変数を含む996項目のデータベースを180日間以上作成しました。
一方、根平均二乗誤差(RMSE)、二乗誤差(SSE)の和、および平均絶対誤差(MAE)>1%の目標値であるPCEは、係数決定(R2)の値に達した。
論文 参考訳(メタデータ) (2024-03-29T22:05:26Z) - SOEN-101: Code Generation by Emulating Software Process Models Using Large Language Model Agents [50.82665351100067]
FlowGenは、複数のLarge Language Model (LLM)エージェントに基づいたソフトウェアプロセスモデルをエミュレートするコード生成フレームワークである。
FlowGenScrumをHumanEval、HumanEval-ET、MBPP、MBPP-ETの4つのベンチマークで評価した。
論文 参考訳(メタデータ) (2024-03-23T14:04:48Z) - How Can LLM Guide RL? A Value-Based Approach [68.55316627400683]
強化学習(Reinforcement Learning, RL)は、将来の行動方針をフィードバックで改善することにより、シーケンシャルな意思決定問題の事実上の標準的実践となった。
大規模言語モデル(LLM)の最近の発展は、言語理解と生成において印象的な能力を示したが、探索と自己改善能力に欠けていた。
我々はLINVITというアルゴリズムを開発し、LLMガイダンスを値ベースRLの正規化因子として組み込んで学習に必要なデータ量を大幅に削減する。
論文 参考訳(メタデータ) (2024-02-25T20:07:13Z) - Maximize to Explore: One Objective Function Fusing Estimation, Planning,
and Exploration [87.53543137162488]
我々はtextttMEX というオンライン強化学習(オンラインRL)フレームワークを提案する。
textttMEXは、自動的に探索エクスプロイトのバランスをとりながら、見積もりと計画コンポーネントを統合する。
様々な MuJoCo 環境では,ベースラインを安定的なマージンで上回り,十分な報酬を得られる。
論文 参考訳(メタデータ) (2023-05-29T17:25:26Z) - End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes [52.818579746354665]
本稿では,ニューラルネットワークを一般化し,トランスフォーマーアーキテクチャを用いて獲得関数を学習する,エンド・ツー・エンドの差別化可能な最初のメタBOフレームワークを提案する。
我々は、この強化学習(RL)によるエンドツーエンドのフレームワークを、ラベル付き取得データの欠如に対処できるようにします。
論文 参考訳(メタデータ) (2023-05-25T10:58:46Z) - INVICTUS: Optimizing Boolean Logic Circuit Synthesis via Synergistic
Learning and Search [18.558280701880136]
最先端論理合成アルゴリズムは、多数の論理最小化を持つ。
INVICTUSは、以前に見られた設計のトレーニングデータセットに基づいて、論理最小化のシーケンスを生成する。
論文 参考訳(メタデータ) (2023-05-22T15:50:42Z) - Improvement of Computational Performance of Evolutionary AutoML in a
Heterogeneous Environment [0.0]
グラフ構造を持つパイプラインのモデリングにおける進化的最適化の質を高めるためのモジュラー手法を提案する。
実装されたアルゴリズムは、オープンソースのフレームワークであるFEDOTの一部として利用可能である。
論文 参考訳(メタデータ) (2023-01-12T15:59:04Z) - Tailoring Molecules for Protein Pockets: a Transformer-based Generative
Solution for Structured-based Drug Design [133.1268990638971]
標的タンパク質の構造に基づくデノボ薬物の設計は、新規な薬物候補を提供することができる。
そこで本研究では,特定のターゲットに対して,対象薬物をスクラッチから直接生成できるTamGentという生成ソリューションを提案する。
論文 参考訳(メタデータ) (2022-08-30T09:32:39Z) - Hybrid Graph Models for Logic Optimization via Spatio-Temporal
Information [15.850413267830522]
EDAにおけるプロダクション対応MLアプリケーションを妨げるおもな懸念点は、正確性要件と一般化能力である。
本稿では,高精度なQoR推定に対するハイブリッドグラフニューラルネットワーク(GNN)に基づくアプローチを提案する。
3.3百万のデータポイントの評価によると、トレーニング中に見つからないデザインの絶対パーセンテージエラー(MAPE)は1.2%と3.1%に満たない。
論文 参考訳(メタデータ) (2022-01-20T21:12:22Z) - Reconfigurable Intelligent Surface Assisted Mobile Edge Computing with
Heterogeneous Learning Tasks [53.1636151439562]
モバイルエッジコンピューティング(MEC)は、AIアプリケーションに自然なプラットフォームを提供します。
再構成可能なインテリジェントサーフェス(RIS)の助けを借りて、MECで機械学習タスクを実行するインフラストラクチャを提示します。
具体的には,モバイルユーザの送信パワー,基地局のビームフォーミングベクトル,risの位相シフト行列を共同で最適化することにより,参加ユーザの学習誤差を最小化する。
論文 参考訳(メタデータ) (2020-12-25T07:08:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。