論文の概要: MARCO: Multi-Round Agentic Reinforcement for Conditional Molecular Optimization

• arxiv url: http://arxiv.org/abs/2609.36683v1
• Date: Tue, 29 Sep 2026 04:21:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.181274
• Title: MARCO: Multi-Round Agentic Reinforcement for Conditional Molecular Optimization
• Title（参考訳）: MARCO:条件付き分子最適化のためのマルチラウンドエージェント強化
• Abstract要約: 我々は分子エディターを訓練する評価器を用いた強化学習フレームワークであるMARCOを紹介する。 MARCOは、形をしたターン報酬を、グループ相対的なポリシー最適化のための未公表の軌道リターンに集約する。 このトレーニングの結果は,一応の予算でトレーニングされたポリシをテストし,同じポリシが検証者フィードバックを利用できるかどうかをSame-5でテストする,という2つの結果が得られた。
• 参考スコア（独自算出の注目度）: 54.020314646710204
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Molecular optimization is inherently iterative: a candidate is proposed, evaluated against several objectives, and revised while preserving a relationship to the source molecule. Most instruction-following models instead emit one edited molecule, forcing validity, property improvement, and similarity control into a single response. We introduce MARCO, an evaluator-grounded reinforcement-learning framework that trains molecular editors on bounded proposal--feedback--revision trajectories. MARCO aggregates shaped turn rewards into an undiscounted trajectory return for group-relative policy optimization. We evaluate two consequences of this training: Same-1 tests the trained policy under a one-response budget, while Same-5 tests whether the same policy can use verifier feedback when up to five responses are available. Across the three-objective MuMOInstruct benchmark, three Qwen backbones, and seen/unseen instruction splits, SFT-initialized MARCO obtains the highest product of property success rate and similarity in every reported primary setting. Same-5 further improves the observed score under the tested budget, while four-objective and public-checkpoint experiments test transfer across constraint sets and initialization regimes.
• Abstract（参考訳）: 分子最適化は本質的に反復的であり、候補が提案され、いくつかの目的に対して評価され、ソース分子との関係を保ちながら修正される。 ほとんどの命令追従モデルは、1つの編集された分子を出力し、妥当性、特性改善、類似性制御を1つの応答に強制する。 MARCOは,分子エディターを有界なプロポーザル-フィードバック-リビジョントラジェクトリで訓練する,評価器による強化学習フレームワークである。 MARCOは、形をしたターン報酬を、グループ相対的なポリシー最適化のための未公表の軌道リターンに集約する。 このトレーニングの結果は,一応,一応,一応,一応,一応,一応,一応,一応,一応,一応,一応,一応、一応、一応、一応、一応、一応、一応、一応、一応、一応、一応、一応、一応、一応、一応、一応。 3目的の MuMOInstruct ベンチマーク,3つの Qwen バックボーン,および see/unseen 命令分割の他,SFT-initialized MARCO は,報告されたプライマリ設定毎に,特性の成功率と類似性の最高の積を得る。 Same-5は、試験された予算の下で観察されたスコアをさらに改善し、一方、4つの目的および公的なチェックポイント実験は制約セットと初期化システマをまたいでテスト転送する。

関連論文リスト

• Beyond Single-Turn Confidence: Trajectory-Adapted Uncertainty Quantification for LLM Agents [0.0]
  単ターンUQ手法の3つの共通ファミリーが対話的軌道設定に遷移するかどうかを検討する。 転送はしばしば有用であるが、不均一であることがわかった。 トークン確率スコアは、各ターンで使用されるアグリゲータの選択に非常に敏感である。 ブラックボックスの自己整合性はしばしば最強のUQファミリーであり、軌跡等価性とアクションセットの整合性は変種の中では最高である。
  論文  参考訳（メタデータ） (2026-08-12T01:39:28Z)
• StructReward: Efficient Structured Process Rewards for Self-Correcting Multimodal Reasoning [3.6795543408370466]
  検証可能な報酬(RLVR)を用いた強化学習は,多モーダル推論を改善するための効果的なアプローチとして現れている。 プロセス報酬モデルはよりきめ細かいフィードバックを提供するが、通常は個別に訓練された検証、コストのかかる連鎖アノテーション、あるいは大規模な言語モデルによるオンライン判断に依存している。 我々はStructRewardを紹介した。StructRewardは、構造化されたステップレベルの報酬アライメントを通じて高密度の強化信号を提供する計算効率のフレームワークである。
  論文  参考訳（メタデータ） (2026-08-08T20:29:32Z)
• Co-Evolving LLM Evaluators and Policies via DynamicRubric [67.2962847914162]
  政策によって引き起こされたサンプルに対する評価者フィードバックによるポストトレーニングは、大きな言語モデルを改善するための主要なメカニズムとなる。 反応条件付き評価器であるDynamicRubricを提案する。 8Bバックボーンを用いた実験では、DynamicRubricは評価器のパフォーマンスを改善し、ベースラインよりも強力なポリシー管理を提供する。
  論文  参考訳（メタデータ） (2026-07-22T12:35:40Z)
• The Flip Side of RLHF: On-Policy Feedback for Reward Model Self-Supervised Improvement [32.29319213544292]
  言語モデルアライメントのための強力な報酬モデル(RM)の構築は、多種多様な信頼性のある嗜好データを取得するコストと難しさによってボトルネックとなる。 本稿では,自己監督型報酬モデルの改善手法であるSAVE(Self-supervised reward model improve via Value-Anchored On-policy feedback)を提案する。
  論文  参考訳（メタデータ） (2026-05-29T06:25:16Z)
• VeriGate: Verifier-Gated Step-Level Supervision for GRPO [51.26100506256885]
  グループ相対政策最適化は、検証者に基づく結果報酬を伴う推論モデルをトレーニングするための効果的なレシピである。 GRPO の検証子付き拡張である VeriGate を提案し,これらの制限を3つの設計選択で解決する。 We show that VeriGate improves average accuracy around 20% and 12% for 1.5B and 7B models respectively。
  論文  参考訳（メタデータ） (2026-05-28T18:20:32Z)
• Utilizing and Calibrating Hindsight Process Rewards via Reinforcement with Mutual Information Self-Evaluation [50.696688705287755]
  我々は、強化学習におけるスパース報酬課題を克服するために、相互情報自己評価を提案する。 MISEにより、エージェントは、疎外的信号を補う高密度な内部報酬から自律的に学習することができる。 我々は、後見自己評価報酬を利用することは、政策と代行報酬政策の間のKL分散項と相互情報を組み合わせた目的を最小化することと等価であることを示す。
  論文  参考訳（メタデータ） (2026-04-13T15:18:51Z)
• CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
  検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。 エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。 CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
  論文  参考訳（メタデータ） (2025-12-22T16:34:21Z)
• From Outcomes to Processes: Guiding PRM Learning from ORM for Inference-Time Alignment [23.463402040567615]
  報酬誘導探索(RGS)にプロセス報酬モデル(PRM)を導入する。 本研究では,SP-PRMを提案する。SP-PRM,SP-PRM,SP-PRM,SP-PRM,SP-PRM,SP-PRM,SP-PRM,SP-PRM,SP-PRM。 対話、要約、推論タスクの実験は、SP-PRMが既存のRGSメソッドを大幅に強化し、全タスクでGPT-4の評価スコアが3.6%-10.3%向上したことを示している。
  論文  参考訳（メタデータ） (2025-06-14T10:58:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。