論文の概要: Single-step Retrosynthesis via Reinforcement Learning from Forward Feedback

• arxiv url: http://arxiv.org/abs/2610.15141v1
• Date: Sat, 10 Oct 2026 19:37:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.168391
• Title: Single-step Retrosynthesis via Reinforcement Learning from Forward Feedback
• Title（参考訳）: 前向きフィードバックからの強化学習による単段階再合成
• Abstract要約: 単段階の逆合成は1対多の逆問題であるが、ほとんどのモデルは単一の記録された反応集合に対して訓練され評価される。 本稿では,RetroRLFFを提案する。RetroRLFFは参照一致と対象製品との前方整合の両方を用いて反応生成を最適化する。 USPTO-50Kでは、RetroRLFFは候補レベルのラウンドトリップ精度がk = 1, 3, 5, 10で14のベースライン全てを上回っている。
• 参考スコア（独自算出の注目度）: 17.74766587422697
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Single-step retrosynthesis is a one-to-many inverse problem, yet most models are trained and evaluated against a single recorded reactant set. Reference-based training gives no explicit positive signal for unrecorded alternatives, and exact-match evaluation rejects non-matching predictions regardless of chemical plausibility. We propose Retrosynthesis via Reinforcement Learning from Forward Feedback (RetroRLFF), which optimizes reactant generation using both reference agreement and forward consistency with the target product. Starting from a supervised decoder-only Transformer, RetroRLFF generates complete reactant candidates and uses a frozen forward reaction model to predict products. A sequence-level reward combines reference agreement and forward consistency while penalizing invalid outputs. Direct Advantage-Based Policy Optimization updates the policy without human preference annotations or a preference-trained reward model. On USPTO-50K, RetroRLFF outperforms all 14 baselines in candidate-level round-trip accuracy at k = 1, 3, 5, and 10. With approximately 50 million parameters, it achieves 90.1% top-1 round-trip accuracy, exceeding R-SMILES, the strongest competing baseline on this metric, by 8.5 percentage points. Compared with its supervised policy, round-trip accuracy increases from 83.1% to 90.1%, while exact-match accuracy is maintained at 57.9% versus 57.5%. In an anonymized expert assessment of 131 randomly selected test cases, organic synthesis experts prefer RetroRLFF over EditRetro in 67.9% of comparisons. These results support forward feedback as a training signal for improving forward consistency while retaining top-1 reference recovery. Expert assessment provides complementary evidence of synthetic feasibility on the selected cases, although neither forward consistency nor expert preference establishes experimental feasibility.
• Abstract（参考訳）: 単段階の逆合成は1対多の逆問題であるが、ほとんどのモデルは単一の記録された反応集合に対して訓練され評価される。 基準ベーストレーニングは、記録されていない代替品に対して明確な正のシグナルを与えず、正確なマッチング評価は、化学的妥当性に関わらず、非マッチング予測を拒絶する。 本稿では、参照一致と対象製品との前方整合性の両方を用いて反応生成を最適化する、フォワードフィードバックからの強化学習(RetroRLFF)による再合成を提案する。 教師付きデコーダのみの変換器から始まり、RetroRLFFは完全な反応候補を生成し、凍結した前方反応モデルを用いて生成物を予測する。 シーケンスレベルの報酬は、不正な出力をペナル化しながら、参照合意と前方整合を結合する。 直接アドバンテージベースのポリシー最適化は、人間好みのアノテーションや優先訓練された報酬モデルなしでポリシーを更新する。 USPTO-50Kでは、RetroRLFFは候補レベルのラウンドトリップ精度がk = 1, 3, 5, 10で14のベースライン全てを上回っている。 約5000万のパラメータで、90.1%のトップ1ラウンドトリップの精度を達成し、この基準で最強の基準であるR-SMILESを8.5ポイント上回る。 監督されたポリシーと比較して、ラウンドトリップの精度は83.1%から90.1%に向上し、正確なマッチの精度は57.9%と57.5%に向上した。 ランダムに選択された131の試験ケースの匿名化された専門家評価では、有機合成の専門家は67.9%の比較でEditRetroよりもRetroRLFFを好む。 これらの結果は、トップ1参照リカバリを維持しつつ、前方整合性を向上させるためのトレーニング信号として前方フィードバックをサポートする。 専門家評価は、前向きの整合性も専門家の選好も実験的な実現性は確立していないが、選択された症例に対する合成可能性の相補的な証拠を提供する。

関連論文リスト

• Bayesian Test-Time Inference of Task-Aligned Similarity from Weak Interactive Feedback [50.42640957891911]
  言語モデルシステムは、類似性を比較することで、繰り返しテスト時の決定を行う。 しかし、類似性はユニークではない:語彙、意味、構造、類似性はNの選択点を取得することができる。 本稿では,現在の意思決定を統括するトレーニングフリーベイズ手法であるAxis Interactive Signalsを紹介する。
  論文  参考訳（メタデータ） (2026-10-13T16:19:49Z)
• GRP v0.1 Technical Report [8.478641096801033]
  産業レコメンデーションシステムは、検索、ランキング、サービスコンポーネントを共同で置き換えるのは難しい多段階カスケードに依存している。 本稿では,単一のエンコーダ-デコーダモデルにおいて,検索,ランキング,報酬モデリングを組み合わせたジェネレーティブレコメンデーションフレームワークであるGRPを提案する。 オンライン実験では、このモデルを検索源として評価し、早期のバイパスと弱い情報源の置き換えを行った。
  論文  参考訳（メタデータ） (2026-09-29T04:30:34Z)
• Cross-Fitted Residual Utility for Primary-Preserving Cognitive Decision Correction in Automatic Modulation Classification [1.547549252134621]
  本稿では,クロスフィット型残効ユーティリティとプライマリ保存型認知決定ポリシーを用いて,推論後の問題について検討する。 構造化されたkan-Fourier分類器はデフォルトの確率を提供し、ニューラルおよび非ニューラル候補は観測可能な証拠を提供する。 RMLA、RMLB、HISARでは、完全なシステムは全体の精度を63.632%から66.332%、65.161%から66.168%、77.769%から79.867%に改善している。
  論文  参考訳（メタデータ） (2026-08-03T11:07:37Z)
• RETROSPECT: RETROsynthesis via Sequential Prediction, and Chemically Transformed-ranking [0.004129405224409433]
  シングルステップのレトロシンセシスには、正確なファーストランクの提案と、下流の選択に十分な候補リストの両方が必要である。 私たちのシステムであるRETROSPECTは、ChemAlign Transformerと呼ばれる単一のTransformer提案モデルとLambdaリランカを組み合わせたものです。 この発電機は、ハイブリッドなルートアライメントとランダムなSMILES増強、Pre-LayerNorm、ボンド埋め込み、指数的な移動平均重量、異なる原子バランスの補助損失で訓練されている。
  論文  参考訳（メタデータ） (2026-06-05T11:45:36Z)
• PEARL: Unbiased Percentile Estimation via Contrastive Learning for Industrial-Scale Livestream Recommendation [12.925115008779166]
  ユーザインタラクションデータに基づいてトレーニングされたレコメンダシステムは,行動強度の不均衡の影響を受けやすい。 この不均衡は、観測された相互作用が真の嗜好を忠実に反映しないようなフィードバックシグナルを歪める。 絶対エンゲージメントの程度ではなく,相対的な選好信号をモデル化する非パラメトリックなパーセンタイル近似フレームワーク PEARL を提案する。
  論文  参考訳（メタデータ） (2026-05-20T21:25:41Z)
• Relational Preference Encoding in Looped Transformer Internal States [0.0]
  ループ変換器は内部の反復状態においてどのように人間の嗜好を符号化するかを検討する。 繰り返し洗練された2.6Bパラメータループ変換器であるOuro-2.6B-Thinkingを用いて,各ループ繰り返しから隠れた状態を抽出する。 我々は、HH-RLHFデータセット上で人間の嗜好を予測するために軽量評価器ヘッドを訓練する。 我々のペアワイズ評価器は8,552個の未確認例に対して95.2%の精度を達成し、ベースモデルは完全に凍結されている間に全バッチのL-BFGSプローブ(84.5%)を上回った。
  論文  参考訳（メタデータ） (2026-04-10T20:00:49Z)
• REAL: Regression-Aware Reinforcement Learning for LLM-as-a-Judge [83.2858110368572]
  回帰報酬を最適化するための原則的RLフレームワークである textbfREAL (underlineREgression-underlineAware Reinforcement underlineLThought) を提案する。 我々は,REALがレグレッション対応SFTベースラインと標準RL法の両方を一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2026-03-17T21:19:08Z)
• RAG-Zeval: Towards Robust and Interpretable Evaluation on RAG Responses through End-to-End Rule-Guided Reasoning [64.46921169261852]
  RAG-Zevalは、ルール誘導推論タスクとして忠実さと正しさの評価を定式化する、新しいエンドツーエンドフレームワークである。 提案手法は、強化学習による評価者を訓練し、コンパクトなモデルにより包括的および音質評価を生成する。 実験では、RAG-Zevalの優れた性能を示し、人間の判断と最も強い相関性を達成した。
  論文  参考訳（メタデータ） (2025-05-28T14:55:33Z)
• Self-Play Preference Optimization for Language Model Alignment [75.83359213697854]
  近年の進歩は、嗜好の確率で直接作業することで、人間の嗜好をより正確に反映できることを示している。 本稿では,言語モデルアライメントのためのセルフプレイ方式を提案する。 我々の手法はSPPO(Self-Play Preference Optimization)と呼ばれ、繰り返しポリシー更新を利用してナッシュ均衡を確実に近似する。
  論文  参考訳（メタデータ） (2024-05-01T17:59:20Z)
• RetCL: A Selection-based Approach for Retrosynthesis via Contrastive Learning [107.64562550844146]
  レトロシンセシスは深層学習の新たな研究分野である。 本稿では, 市販分子の候補群から, 反応物質の選択問題へとレトロシンセシスを再構成する新しいアプローチを提案する。 スコア機能を学ぶために、ハードネガティブマイニングを備えた新しいコントラストトレーニングスキームも提案します。
  論文  参考訳（メタデータ） (2021-05-03T12:47:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。