論文の概要: MiST: Understanding the Role of Mid-Stage Scientific Training in Developing Chemical Reasoning Models
- arxiv url: http://arxiv.org/abs/2512.21231v1
- Date: Wed, 24 Dec 2025 15:15:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-25 19:43:21.812532
- Title: MiST: Understanding the Role of Mid-Stage Scientific Training in Developing Chemical Reasoning Models
- Title（参考訳）: MiST:化学共鳴モデル開発における中級科学教育の役割の理解
- Authors: Andres M Bran, Tong Xie, Shai Pranesh, Jeffrey Meng, Xuan Vu Nguyen, Jeremy Goumaz, David Ming Segura, Ruizhi Xu, Dongzhan Zhou, Wenjie Zhang, Bram Hoex, Philippe Schwaller,
- Abstract要約: 大規模言語モデルは、ルールベースの報酬でオンラインの微調整を通じて推論機能を開発することができる。
強化学習は、ベースモデルが既に答えを正すために無視できない確率を割り当てている場合にのみ成功する。
この研究は、化学推論能力の出現とこれらの前提条件が化学にとって何を意味するかを研究する。
- 参考スコア（独自算出の注目度）: 12.75090175625814
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Large Language Models can develop reasoning capabilities through online fine-tuning with rule-based rewards. However, recent studies reveal a critical constraint: reinforcement learning succeeds only when the base model already assigns non-negligible probability to correct answers -- a property we term 'latent solvability'. This work investigates the emergence of chemical reasoning capabilities and what these prerequisites mean for chemistry. We identify two necessary conditions for RL-based chemical reasoning: 1) Symbolic competence, and 2) Latent chemical knowledge. We propose mid-stage scientific training (MiST): a set of mid-stage training techniques to satisfy these, including data-mixing with SMILES/CIF-aware pre-processing, continued pre-training on 2.9B tokens, and supervised fine-tuning on 1B tokens. These steps raise the latent-solvability score on 3B and 7B models by up to 1.8x, and enable RL to lift top-1 accuracy from 10.9 to 63.9% on organic reaction naming, and from 40.6 to 67.4% on inorganic material generation. Similar results are observed for other challenging chemical tasks, while producing interpretable reasoning traces. Our results define clear prerequisites for chemical reasoning training and highlight the broader role of mid-stage training in unlocking reasoning capabilities.
- Abstract（参考訳）: 大規模言語モデルは、ルールベースの報酬でオンラインの微調整を通じて推論機能を開発することができる。
しかし、最近の研究では、強化学習が成功するのは、ベースモデルが解答を正すために既に無視できない確率を割り当てている場合のみである。
この研究は、化学推論能力の出現とこれらの前提条件が化学にとって何を意味するかを研究する。
RLに基づく化学推論に必要な2つの条件を同定する。
1)シンボリック・コンピテンス、及び
2) 化学知識の欠如。
本研究では,SMILES/CIF対応前処理によるデータミキシング,2.9Bトークンの事前トレーニング,1Bトークンの微調整など,これらを満たすための中段階の科学訓練手法を提案する。
これらのステップは、3Bモデルと7Bモデルにおける潜在可溶性スコアを1.8倍に引き上げ、RLがトップ1の精度を有機反応命名で10.9から63.9%、無機物質生成で40.6から67.4%に引き上げることを可能にする。
同様の結果は、他の難しい化学課題に対して観察され、解釈可能な推論トレースを生成する。
本研究は,化学推論訓練の前提条件を明確に定義し,中間段階における推論能力の解放における幅広い役割を明らかにするものである。
関連論文リスト
- LatentChem: From Textual CoT to Latent Thinking in Chemical Reasoning [107.60117957760794]
テキスト生成から化学的導出を分離する潜在推論インタフェースであるLatntChemを紹介する。
我々は,LatentChemがChemCoTBench上のCoTベースラインの強いベースラインに対して59.88%の非ティー勝利率を達成したことを示す。
その結果, 化学推論は連続潜伏力学としてより自然かつ効果的に実現されているという実証的証拠が得られた。
論文 参考訳（メタデータ） (2026-02-06T01:28:27Z) - ChemATP: A Training-Free Chemical Reasoning Framework for Large Language Models [16.47599278238931]
ChemATPは推論エンジンから化学知識を分離するフレームワークである。
ChemATPはトレーニングなしのベースラインを著しく上回り、最先端のトレーニングベースモデルに匹敵する。
論文 参考訳（メタデータ） (2025-12-22T10:21:40Z) - On the Interplay of Pre-Training, Mid-Training, and RL on Reasoning Language Models [73.10315509190623]
最近の強化学習技術は、言語モデルにおいて顕著な推論改善をもたらした。
ポストトレーニングが、事前トレーニング中に取得したものを超えて、モデルの推論能力を真に拡張するかどうかは不明だ。
プレトレーニング,ミッドトレーニング,およびRLベースのポストトレーニングの因果的貢献を分離する,完全に制御された実験フレームワークを開発した。
論文 参考訳（メタデータ） (2025-12-08T18:12:10Z) - Reasoning-Enhanced Large Language Models for Molecular Property Prediction [19.593493317167646]
分子特性予測は、薬物発見と物質科学にとって不可欠である。
既存のアプローチは、限定的な解釈可能性、クロスタスクの一般化の貧弱、化学的推論能力の欠如に悩まされている。
分子特性予測に化学推論を組み込んだ多モーダル大言語モデルMPPReasonerを提案する。
論文 参考訳（メタデータ） (2025-10-11T15:05:45Z) - oMeBench: Towards Robust Benchmarking of LLMs in Organic Mechanism Elucidation and Reasoning [44.36582860924775]
有機化学における有機機構推論のための,最初の大規模で専門家によるベンチマークであるoMeBenchを紹介する。
また,ステップレベルの論理と化学的類似性を組み合わせた動的評価フレームワークoMeSを提案する。
論文 参考訳（メタデータ） (2025-10-09T03:13:31Z) - ChemOrch: Empowering LLMs with Chemical Intelligence via Synthetic Instructions [52.79349601462865]
ChemOrchは化学的に接地した命令応答対を合成するフレームワークである。
ChemOrchは、生成したタスクに対して、制御可能な多様性と難易度を実現する。
論文 参考訳（メタデータ） (2025-09-20T05:43:58Z) - AceReason-Nemotron: Advancing Math and Code Reasoning through Reinforcement Learning [50.02117478165099]
大規模強化学習は, 強大・中小モデルの推論能力を大幅に向上させることができることを示す。
まずは算数のみのプロンプト、次にコードのみのプロンプトのトレーニングを行う。
論文 参考訳（メタデータ） (2025-05-22T08:50:47Z) - Exploring the Limit of Outcome Reward for Learning Mathematical Reasoning [65.2421542320293]
推論能力は汎用知能の重要な構成要素である。
OpenAIのoシリーズモデルなどのプロプライエタリ企業による最近の進歩は、推論タスクに顕著な進歩をもたらした。
本稿では、数学的推論タスクのための textbfOutcome textbfREwtextbfArd ベースの強化 textbfLearning により達成できる性能限界を追求する新しい RL フレームワーク OREAL を提案する。
論文 参考訳（メタデータ） (2025-02-10T18:57:29Z) - Are large language models superhuman chemists? [4.87961182129702]
大規模言語モデル(LLM)は、人間の言語を処理し、明示的に訓練されていないタスクを実行する能力によって、広く関心を集めている。
本稿では,最新のLCMの化学知識と推論能力を評価する自動化フレームワークであるChemBenchを紹介する。
我々は2700以上の質問応答ペアをキュレートし、主要なオープンソースとクローズドソースのLCMを評価し、最良のモデルが最高の化学者より優れていることを発見した。
論文 参考訳（メタデータ） (2024-04-01T20:56:25Z) - ChemAlgebra: Algebraic Reasoning on Chemical Reactions [16.93639996082923]
ディープラーニングモデルが推論タスクに取り組む能力を持っているかどうかは不明だ。
ChemAlgebraは、ディープラーニングモデルの推論能力を測定するためのベンチマークである。
論文 参考訳（メタデータ） (2022-10-05T08:34:44Z) - Unassisted Noise Reduction of Chemical Reaction Data Sets [59.127921057012564]
本稿では,データセットから化学的に間違ったエントリを除去するための,機械学習に基づく無支援アプローチを提案する。
その結果,クリーン化およびバランスの取れたデータセットでトレーニングしたモデルの予測精度が向上した。
論文 参考訳（メタデータ） (2021-02-02T09:34:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。