論文の概要: Adopting Reinforcement Learning with Verifiable Rewards for Molecular Generation

• arxiv url: http://arxiv.org/abs/2607.19044v1
• Date: Tue, 21 Jul 2026 12:34:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-22 19:05:05.42382
• Title: Adopting Reinforcement Learning with Verifiable Rewards for Molecular Generation
• Title（参考訳）: 分子生成のための検証可能なリワードを用いた強化学習の導入
• Abstract要約: 分子生成のための大規模言語モデルを活用することは、化学および薬物設計において顕著な可能性を示している。 目的分子生成に対する検証可能な報酬を直接組み込んだ基本強化学習フレームワークである textbfLLMol を提案する。
• 参考スコア（独自算出の注目度）: 17.176795343295854
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Leveraging large language models (LLMs) for molecular generation has shown remarkable potential in chemical and drug design. Current methods primarily rely on supervised training or fine-tuning with limited datasets, which are insufficient to capture complex molecular design objectives. While some approaches attempt to guide generation toward specific goals, they often lack direct optimization mechanisms, making it difficult to align generated molecules with desired properties. To tackle these challenges, we propose \textbf{LLMol}, a principled reinforcement learning framework that directly incorporates verifiable rewards for targeted molecule generation. The key insight is to formulate molecular design as a goal-conditioned sequence prediction task, where verifiable rewards serve as explicit supervision to drive generation toward desired objectives. LLMol follows a two-stage training paradigm combining supervised learning and reinforcement learning. In the first stage, large language models are supervised fine-tuned to capture chemical syntax and molecular distributions. In the second stage, we introduce Reinforcement Learning with Verifiable Rewards (RLVR), which directly integrates property-based reward signals to guide molecular generation toward task-specific objectives. To address the high variance and instability common in discrete sequence optimization, we adopt Group Relative Policy Optimization (GRPO), a stable on-policy algorithm that smooths reward signals and improves training robustness. This framework enables LLMol to effectively handle a range of molecular design tasks, including single-property targeting (e.g., penalized logP, QED) and structure-constrained optimization. Experimental results demonstrate that LLMol consistently outperforms existing methods, achieving higher success rates and improved efficiency across diverse molecular benchmarks.
• Abstract（参考訳）: 分子生成のための大規模言語モデル(LLM)の活用は、化学および薬物設計において顕著な可能性を示している。 現在の手法は主に教師付きトレーニングや限られたデータセットによる微調整に依存しており、複雑な分子設計の目的を捉えるには不十分である。 特定の目標に向けて生成を導こうとするアプローチもあるが、しばしば直接最適化機構が欠如しており、生成分子を望ましい性質と整列させることが困難である。 これらの課題に対処するために、ターゲット分子生成に対する検証可能な報酬を直接組み込む、原則付き強化学習フレームワークである「textbf{LLMol}」を提案する。 鍵となる洞察は、分子設計をゴール条件付きシーケンス予測タスクとして定式化することである。 LLMolは教師付き学習と強化学習を組み合わせた2段階の訓練パラダイムに従う。 第一段階では、化学構文と分子分布を捉えるために、大規模言語モデルを微調整する。 第2段階では,RLVR(Reinforcement Learning with Verifiable Rewards)を導入し,特性に基づく報酬信号を直接統合して,タスク固有の目的に向けて分子生成を誘導する。 離散列最適化に共通する高分散性と不安定性に対処するために,報奨信号のスムーズ化とトレーニングロバスト性の向上を図ったグループ相対ポリシー最適化(GRPO)を採用する。 このフレームワークにより、LLMolは単一プロパティターゲティング(例: Penalized logP, QED)や構造制約付き最適化など、分子設計タスクを効果的に処理できる。 実験結果から, LLMolは既存の手法より一貫して優れ, 高い成功率, 様々な分子ベンチマークにおける効率向上を実現していることがわかった。

関連論文リスト

• Be Your Own Teacher: Steering Protein Language Models via Unsupervised Reward Optimization [85.4863852505905]
  タンパク質言語モデル(PLM)の教師なし報酬最適化を導入する。 我々の重要な洞察は、本質的なモデルの不確実性とタンパク質表現モデルによって誘導される意味的整合性を組み合わせたタスク非依存報酬は、ベースモデルと温度レギュレーションの制御可能性指標と強い相関を示すことである。 我々のフレームワークは、ラベル付けされた好みや実験的なフィードバックが不足したり、利用できないような環境で、制御可能な生体分子設計へのスケーラブルな経路を提供する。
  論文  参考訳（メタデータ） (2026-06-17T11:42:01Z)
• MolRGen: A Training and Evaluation Setting for De Novo Molecular Generation with Reasonning Models [48.34354151490484]
  我々は、推論に基づく大規模言語モデルのトレーニングと評価のためのベンチマークとデータセットであるMorRGenを紹介する。 まず,textitde novo分子生成と特性予測のためのモデルの評価と訓練を行う。 第2に、生成分子の品質と多様性の両方をキャプチャする、多様性を意識した新しいトップ・ドルスコアを導入する。
  論文  参考訳（メタデータ） (2026-03-18T20:21:04Z)
• Reference-guided Policy Optimization for Molecular Optimization via LLM Reasoning [58.644854860003704]
  大規模言語モデル(LLM)は、教師付き微調整(SFT)と、推論タスクにおける検証可能な報酬(RLVR)による強化学習の恩恵を受ける。 基準分子上の応答のみのSFTは推論を崩壊させ、RLVRは類似性制約下でスパースフィードバックを提供する。 本稿では、軌道データを必要としない参照分子から学習する最適化手法である参照誘導政策最適化(RePO)を紹介する。
  論文  参考訳（メタデータ） (2026-03-06T04:39:08Z)
• DrugR: Optimizing Molecular Drugs through LLM-based Explicit Reasoning [24.70952870676648]
  DrugRは、明示的で段階的な薬理学的推論を最適化プロセスに導入する、大きな言語モデルである。 提案手法は, ドメイン固有の事前学習, 逆データ工学による微調整, 自己バランス型多粒性強化学習を統合した。 実験結果から、Dr.Rは構造的類似性や標的結合親和性を損なうことなく、複数の特性を包括的に拡張できることが示された。
  論文  参考訳（メタデータ） (2026-02-09T02:26:25Z)
• Empowering LLMs for Structure-Based Drug Design via Exploration-Augmented Latent Inference [5.052013621974765]
  大言語モデル(LLM)は、表現力と推論能力を持っているが、構造に基づく薬物設計(SBDD)への応用は、タンパク質構造や予測不可能な分子生成の理解が不十分なため制限されている。 本研究では,LLM生成過程を符号化,遅延空間探索,復号化ワークフローとして再解釈するフレームワークであるELILLM(Exploration-Augmented Latent Inference for LLMs)を提案する。 ELILLMは、デコードモジュールを使用して、よく知られた領域を処理し、化学的に有効で合成学的に合理的な分子を生成することで、モデル現在の知識を超えた設計問題の部分を明示的に探求する。
  論文  参考訳（メタデータ） (2026-01-20T08:10:48Z)
• Reasoning-Enhanced Large Language Models for Molecular Property Prediction [19.593493317167646]
  分子特性予測は、薬物発見と物質科学にとって不可欠である。 既存のアプローチは、限定的な解釈可能性、クロスタスクの一般化の貧弱、化学的推論能力の欠如に悩まされている。 分子特性予測に化学推論を組み込んだ多モーダル大言語モデルMPPReasonerを提案する。
  論文  参考訳（メタデータ） (2025-10-11T15:05:45Z)
• Many-Shot In-Context Learning for Molecular Inverse Design [56.65345962071059]
  大規模言語モデル(LLM)は、数ショットのインコンテキスト学習(ICL)において、優れたパフォーマンスを示している。 マルチショットICLで利用可能な実験データの不足を克服する,新しい半教師付き学習手法を開発した。 示すように、この新しい手法は、既存の分子設計のためのICL法を大幅に改善し、科学者にとってアクセスしやすく、使いやすくする。
  論文  参考訳（メタデータ） (2024-07-26T21:10:50Z)
• DecompOpt: Controllable and Decomposed Diffusion Models for Structure-based Molecular Optimization [49.85944390503957]
  DecompOptは、制御可能・拡散モデルに基づく構造に基づく分子最適化手法である。 DecompOptは強いde novoベースラインよりも優れた特性を持つ分子を効率よく生成できることを示す。
  論文  参考訳（メタデータ） (2024-03-07T02:53:40Z)
• Entropy-Regularized Token-Level Policy Optimization for Language Agent Reinforcement [67.1393112206885]
  大規模言語モデル(LLM)は、対話的な意思決定タスクにおいてインテリジェントなエージェントとして期待されている。 本稿では,トークンレベルでのLLMの最適化に適したエントロピー拡張RL法である,エントロピー正規化トークンレベル最適化(ETPO)を導入する。 我々は,データサイエンスコード生成を多段階対話型タスクのシリーズとしてモデル化したシミュレーション環境におけるETPOの有効性を評価する。
  論文  参考訳（メタデータ） (2024-02-09T07:45:26Z)
• Retrieval-based Controllable Molecule Generation [63.44583084888342]
  制御可能な分子生成のための検索に基づく新しいフレームワークを提案する。 我々は、与えられた設計基準を満たす分子の合成に向けて、事前学習された生成モデルを操るために、分子の小さなセットを使用します。 提案手法は生成モデルの選択に非依存であり,タスク固有の微調整は不要である。
  論文  参考訳（メタデータ） (2022-08-23T17:01:16Z)
• Molecular Design in Synthetically Accessible Chemical Space via Deep Reinforcement Learning [0.0]
  既存の生成法は、最適化中に分子特性の分布を好適にシフトできる能力に制限されていると論じる。 本稿では,分子設計のための新しい強化学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-04-29T16:29:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。