論文の概要: Q-Steer: Action-Value Guidance for Molecular Policy Optimization

• arxiv url: http://arxiv.org/abs/2607.26391v1
• Date: Wed, 29 Jul 2026 01:53:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-30 21:06:25.511834
• Title: Q-Steer: Action-Value Guidance for Molecular Policy Optimization
• Title（参考訳）: Q-Steer:分子政策最適化のためのアクションバリューガイダンス
• Abstract要約: Q-Steerは分子言語モデルのためのアクション値ステアリングプリミティブである。 これらの結果から,Q-Steerは8つのバックボーン最適化細胞の平均的ユニクスコアを改善できることが示唆された。
• 参考スコア（独自算出の注目度）: 6.287131598767398
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Oracle-limited molecular optimization gives reward only after a complete molecule is generated, while each rollout requires many local next-token decisions. This delayed-feedback interface makes molecular policy optimization myopic: an optimizer can learn that a molecule was good without knowing which intermediate actions made it good. We introduce Q-Steer, a rollout-time action-value steering primitive for molecular language models. Q-Steer uses an offline-trained and frozen prefix-action value scorer, PAVS-Q, that estimates the downstream reward of taking a candidate next token under a partial SMILES prefix, then adds a normalized value bonus to sampling logits. The optimizer update rule and online oracle budget are unchanged; the claim is fixed-online-oracle performance, not equal total compute. On PMO23 with a fixed 10,000-call online budget, complete factorial studies across two molecular language-model backbones and four optimizers show that Q-Steer improves mean valid-unique score in all eight backbone-optimizer cells, with positive macro mean-score gains between +0.033 and +0.049 and 18-20 task wins per cell. Mechanism controls show that action identity matters: prefix-broadcast values are nearly neutral, while shuffled action values harm performance. These results support Q-Steer as a reusable rollout-time action-value wrapper that improves average molecular optimization reward across optimizer families and policy backbones without changing the online oracle budget.
• Abstract（参考訳）: Oracle限定の分子最適化は、完全な分子が生成された後にのみ報酬を与えるが、各ロールアウトには多くの局所的な次の決定が必要である。 この遅延フィードバックインタフェースは、分子ポリシーの最適化を明るみにする: 最適化者は、どの中間作用が良いかを知らずに、分子が良いことを学習することができる。 分子言語モデルのためのロールアウト時アクション値ステアリングプリミティブであるQ-Steerを紹介する。 Q-Steerはオフラインでトレーニングされ凍結されたプレフィックスアクション値スコアラPAVS-Qを使用して、部分的なSMILESプレフィックスの下で次のトークンを選択した場合の下流の報酬を推定し、ログをサンプリングするために正規化された値ボーナスを追加する。 オープティマイザの更新ルールとオンラインオラクルの予算は変わらない。 PMO23では、2つの分子言語モデルバックボーンと4つのオプティマイザによる完全な因子分析により、Q-Steerは8つのバックボーン最適化細胞において平均的なユニクスコアを改善し、正のマクロ平均スコアは+0.033と+0.049と18-20の順に上昇することが示された。 メカニズムコントロールは、アクションアイデンティティが重要であることを示している:プレフィックスブロードキャストの値は、ほぼ中立であり、シャッフルされたアクション値はパフォーマンスを損なう。 これらの結果はQ-Steerを再利用可能なロールアウト時アクション値ラッパーとしてサポートし、オンラインのオラクル予算を変更することなく、オプティマイザファミリーとポリシーバックボーン間の平均分子最適化報酬を改善する。

関連論文リスト

• Agentic Stage-One Stellarator Optimization: Autonomous Multi-Objective Search for Finite-Beta Equilibria [0.0]
  強調ステージワン最適化の概念実証を行う。 エージェント外ループ制御は有限ベータ・多目的探索を維持でき、繰り返し最適化を改良された平衡のスケーラブルなソースに変えることができる。
  論文  参考訳（メタデータ） (2026-08-02T16:08:52Z)
• Learning Not to Optimize: Physics-Informed Action-Space Reshaping for Intent-Based Network Control [50.46501177871741]
  LNOQRD は小物候補を75.9% で削減し、90.8% でニアオラクルのカバレッジを維持している。 実験の結果、LNOQRDは実用性と意図の満足度が最も高く、かつ、法律違反が最低で、世代後レイテンシが低いことがわかった。
  論文  参考訳（メタデータ） (2026-08-02T00:27:01Z)
• $β$-OPSD: Deriving with Policy Optimization, Training with Self-Distillation [85.07190808882523]
  オンライン自己蒸留は推論言語モデルを改善するための有望なアプローチである。 我々は,$-OPSDがバニラOPSDを一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2026-07-30T17:41:16Z)
• MAGE: Understanding Stability-Performance Trade-offs in Multi-component Prompt Optimization [3.7323766833175718]
  MAGE(Memory-Augmented Goal Prompt Evolution)は、コンポーネント間の相互作用を即時最適化する制御分析フレームワークである。 我々の実験は、複数の最適化信号が閉じた反射ループ内で動作しているときに、以前に報告されていない現象である、Prompt Optimization Coupling Effect (POCE)を発見した。
  論文  参考訳（メタデータ） (2026-07-11T10:05:58Z)
• ACPO: Adaptive Credit Policy Optimization via Fine-Grained Surrogate Entropy [45.28312869386833]
  モードローカル・サロゲート・エントロピーに基づくトークンレベルの信用割当フレームワークを提案する。 ACPOは、成功したロールアウトにおける不確実な決定と失敗したロールアウトにおける過信トークンを強調して、ポリシー更新を非対称に調整する。 AIME 2025やHumanEvalProなどの数学的推論とコーディングベンチマークの実験は、ACPOが強いRLベースラインよりも一貫して改善していることを示している。
  論文  参考訳（メタデータ） (2026-07-03T09:14:27Z)
• On the Design Space of Discrete Diffusion Online Adaptation for Molecular Optimization [55.27368653669229]
  分子最適化は、しばしば、有効な分子構造よりも広い事前をキャプチャする事前訓練された生成モデルから始まる。 離散拡散モデルに対する適応問題について検討する。 獲得、報酬形成、モデル脱バイアスは、特に小さな分子に対して、より高い報酬を得るための補完的な経路を提供する。
  論文  参考訳（メタデータ） (2026-07-03T00:06:31Z)
• Reference-guided Policy Optimization for Molecular Optimization via LLM Reasoning [58.644854860003704]
  大規模言語モデル(LLM)は、教師付き微調整(SFT)と、推論タスクにおける検証可能な報酬(RLVR)による強化学習の恩恵を受ける。 基準分子上の応答のみのSFTは推論を崩壊させ、RLVRは類似性制約下でスパースフィードバックを提供する。 本稿では、軌道データを必要としない参照分子から学習する最適化手法である参照誘導政策最適化(RePO)を紹介する。
  論文  参考訳（メタデータ） (2026-03-06T04:39:08Z)
• AgentDrug: Utilizing Large Language Models in an Agentic Workflow for Zero-Shot Molecular Optimization [23.049663667543815]
  AgentDrugは、構造化された精錬プロセスにおけるLLMを活用するエージェントワークフローで、精度が大幅に向上する。 Qwen-2.5-3Bでは、AgentDrugは6つの単一プロパティタスクで20.7%(ルース)、16.8%(制限)、そして8つのマルチプロパティタスクで7.0%と5.3%の精度向上を実現している。 より大型のQwen-2.5-7Bでは、AgentDrugはさらに6つの単一目的の精度を28.9%(ルース)と29.0%(制限)で改善する。
  論文  参考訳（メタデータ） (2024-10-17T02:04:57Z)
• Correcting the Mythos of KL-Regularization: Direct Alignment without Overoptimization via Chi-Squared Preference Optimization [78.82586283794886]
  $chi2$-Preference Optimization(chi$PO)は、オーバー最適化に対して確実に堅牢なオフラインアライメントアルゴリズムである。 $chi$POは、正規化による不確実性に直面して悲観主義の原理を実装している。 $chi$POの単純さと強力な保証により、オーバー最適化に対して確実に堅牢な、実用的で汎用的なオフラインアライメントアルゴリズムとなった。
  論文  参考訳（メタデータ） (2024-07-18T11:08:40Z)
• Self-Play Preference Optimization for Language Model Alignment [75.83359213697854]
  近年の進歩は、嗜好の確率で直接作業することで、人間の嗜好をより正確に反映できることを示している。 本稿では,言語モデルアライメントのためのセルフプレイ方式を提案する。 我々の手法はSPPO(Self-Play Preference Optimization)と呼ばれ、繰り返しポリシー更新を利用してナッシュ均衡を確実に近似する。
  論文  参考訳（メタデータ） (2024-05-01T17:59:20Z)
• Maximum-Likelihood Inverse Reinforcement Learning with Finite-Time Guarantees [56.848265937921354]
  逆強化学習(IRL)は報酬関数と関連する最適ポリシーを回復することを目的としている。 IRLの多くのアルゴリズムは本質的にネスト構造を持つ。 我々は、報酬推定精度を損なわないIRLのための新しいシングルループアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2022-10-04T17:13:45Z)
• Conditional $\beta$-VAE for De Novo Molecular Generation [0.0]
  本稿では,ポストホック分子最適化を強化するために潜伏空間をアンタングル化する条件付き$beta$-VAEを提案する。 我々は、分子の妥当性を高め、より長いシーケンス生成を促進するために、相互情報駆動トレーニングプロトコルとデータ拡張を作成します。
  論文  参考訳（メタデータ） (2022-05-01T17:38:05Z)
• Efficient Rollout Strategies for Bayesian Optimization [15.050692645517998]
  ほとんどの獲得関数はミオピックであり、次の関数評価の影響のみを考慮することを意味する。 準モンテカルロ, 共通乱数, 制御変数の組み合わせはロールアウトの計算負担を著しく低減することを示した。 次に、ロールアウト獲得関数の最適化の必要性を排除したポリシー検索に基づくアプローチを定式化する。
  論文  参考訳（メタデータ） (2020-02-24T20:54:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。