論文の概要: FREA: A Multi-Source Expert Benchmark for Reaction Feasibility Verification

• arxiv url: http://arxiv.org/abs/2610.06614v1
• Date: Mon, 05 Oct 2026 16:17:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-09 00:13:54.464383
• Title: FREA: A Multi-Source Expert Benchmark for Reaction Feasibility Verification
• Title（参考訳）: FREA: 反応可能性検証のためのマルチソースエキスパートベンチマーク
• Abstract要約: 本稿では,専門家による751反応のベンチマークであるFREAを紹介する。 我々の評価では、検証者がすべての情報源に通じないことが分かる。 負の監督がこれらの弱点に対処するかどうかを調べるため、我々はさらに、記録された1400万件以上の反応のコーパスを公表した。
• 参考スコア（独自算出の注目度）: 24.139244802099373
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As generative models and AI agents propose chemical reactions at a scale beyond expert review, feasibility verifiers decide which proposals enter synthesis planning. But do their decisions agree with chemists across different kinds of candidates? We introduce FREA, a benchmark of 751 reactions labeled by expert chemists under an explicit feasibility criterion, drawn from retrosynthesis model proposals, zero-yield experimental records, edits by large language models (LLMs), and five negative candidate generation methods. Our evaluation finds that no verifier leads across all sources: LLMs given only the criterion are competitive with dedicated verifiers, while forward models perform best on retrosynthesis proposals but reject most feasible edits of recorded reactions at the evaluated operating points. Looking beyond aggregate scores, both forward models perform below chance when separating infeasible alternative disconnections from feasible generated candidates. To study whether negative supervision addresses these weaknesses, we also release a corpus of over 14 million recorded reactions and generated negative candidates. In matched training comparisons, adding a mixture of generated negatives to forward training raises mean AUROC across sources, but these gains do not extend to retrosynthesis proposals. Varying the generation method further shows that the largest gain on generated candidates coincides with worse proposal screening. These findings motivate evaluating verifiers against experts across sources and designing negatives for transfer to model proposals.
• Abstract（参考訳）: 生成モデルとAIエージェントは、専門家のレビュー以上の規模で化学反応を提案するので、実現可能性検証者は、どの提案が合成計画に入るかを決定する。 しかし、彼らの決定は、さまざまな種類の候補者にわたる化学者と一致しているのだろうか? 本稿では, 専門家による751反応のベンチマークであるFREAについて, 再合成モデルの提案, ゼロ収率実験記録, 大規模言語モデル (LLM) による編集, 5つの負の候補生成法から抽出した。 LLMは専用検証器と競合する一方、フォワードモデルはレトロシンセプションの提案で最善を尽くすが、評価された操作点における記録された反応の最も有効な編集を拒否する。 集計スコアを超えて、両方のフォワードモデルは、実現不可能な代替的な接続を、実現不可能な生成候補から切り離す際に、チャンスを低くする。 負の監督がこれらの弱点に対処するかどうかを調べるため、記録された1400万以上の反応のコーパスを公表し、負の候補を生成する。 一致したトレーニング比較では、フォワードトレーニングに生成した負の混合物を加えると、ソース間で平均AUROCが上昇するが、これらの利得はレトロシンセプションの提案には及ばない。 さらに, 生成手法の変更により, 生成した候補に対する最大のゲインが, より悪い提案スクリーニングと一致していることを示す。 これらの知見は、情報源をまたいだ専門家に対する検証結果の評価と、モデル提案への伝達のためのネガティブな設計を動機付けている。

関連論文リスト

• When Debate Helps: Proposal Supply and Verification-Aware Readout in Multi-Agent Reasoning [7.463945838939353]
  マルチエージェントの議論は推論を改善することができるが、単純な多数決に勝てないことが多い。 提案の供給は正しい回答を提示しなければなりませんし、読み出しは、投票が失敗したときにその答えを識別する必要があります。
  論文  参考訳（メタデータ） (2026-10-03T17:59:46Z)
• SoundnessBench: Can Your AI Scientist Really Tell Good Research Ideas from Bad Ones? [51.154921661608675]
  我々は、ICLRの投稿から再構成された1,099の機械学習研究提案のキュレートされたベンチマークであるSoundnessBenchを紹介する。 SoundnessBenchは、完全なレビュー結果の正確な予測よりも、復元可能な提案段階の音質のベンチマークとして解釈されるべきである。
  論文  参考訳（メタデータ） (2026-05-28T17:57:37Z)
• Budgeted Subset Refinement for Execution-Aware LLM Research Ideation [0.0]
  大規模言語モデル(LLM)は、専門家レビュアーにとって新しい研究アイデアを生み出すことができるが、最近の研究は、そのようなアイデアが多様性を欠いていることもしばしば示している。 本稿では,事前実行スキャフォールディング問題に対する制御されたプロキシベンチマークを評価する。 我々は,選択された候補のサブセットのみを洗練させる戦略のファミリーである予算サブセットリファインメントを導入する。
  論文  参考訳（メタデータ） (2026-05-09T14:54:36Z)
• RationalRewards: Reasoning Rewards Scale Visual Generation Both Training and Test Time [51.256131853751754]
  本研究では,多次元的批判を明示的に生成するために報酬モデルを教えることで,受動的評価器から能動的最適化ツールへ変換することを示す。 提案手法では, 嗜好データから高品質な論理を復元する原理的フレームワークであるpreference-Anchored Rationalization (PARROT) を導入する。 その結果、RationalRewards (8B) は、オープンソース報酬モデル間の最先端の好み予測を実現する。
  論文  参考訳（メタデータ） (2026-04-13T15:38:09Z)
• Asking a Language Model for Diverse Responses [16.3136507778455]
  本研究では,祖先(並列)サンプリングと対照的な可塑性応答の集合を生成する候補サンプリング器について,1パスあたり$n$の候補を生成するようモデルに求める列挙法と,現在生成された応答集合を条件付けしながら順次候補を提案する反復サンプリングについて検討する。 本研究は, 生成品質を犠牲にすることなく, 応答多様性を向上させるための単純な非独立サンプリング戦略の可能性を明らかにするものである。
  論文  参考訳（メタデータ） (2025-09-22T11:01:22Z)
• Learning to Refine: Self-Refinement of Parallel Reasoning in LLMs [102.48588475875749]
  本稿では,新しい並列テスト時間スケーリングフレームワークであるGenerative Self-Refinement (GSR)を紹介する。 GSRは一連の候補応答を並列に生成し、その後自己精製を行い、新しい優れた解を合成する。 提案手法は,5つの数学ベンチマークにおいて,最先端性能を実現する。
  論文  参考訳（メタデータ） (2025-08-27T06:51:48Z)
• Scoring Verifiers: Evaluating Synthetic Verification for Code and Reasoning [59.25951947621526]
  本稿では,既存の符号化ベンチマークをスコアとランキングデータセットに変換して,合成検証の有効性を評価する手法を提案する。 我々は4つの新しいベンチマーク(HE-R, HE-R+, MBPP-R, MBPP-R+)を公表し, 標準, 推論, 報酬に基づくLCMを用いて合成検証手法を解析した。 実験の結果, 推論はテストケースの生成を著しく改善し, テストケースのスケーリングによって検証精度が向上することがわかった。
  論文  参考訳（メタデータ） (2025-02-19T15:32:11Z)
• RetCL: A Selection-based Approach for Retrosynthesis via Contrastive Learning [107.64562550844146]
  レトロシンセシスは深層学習の新たな研究分野である。 本稿では, 市販分子の候補群から, 反応物質の選択問題へとレトロシンセシスを再構成する新しいアプローチを提案する。 スコア機能を学ぶために、ハードネガティブマイニングを備えた新しいコントラストトレーニングスキームも提案します。
  論文  参考訳（メタデータ） (2021-05-03T12:47:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。