論文の概要: Distillation, Self-Training, and the Fragility of Learned Chemical Reasoning

• arxiv url: http://arxiv.org/abs/2610.24199v1
• Date: Fri, 16 Oct 2026 20:19:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-26 10:17:13.916286
• Title: Distillation, Self-Training, and the Fragility of Learned Chemical Reasoning
• Title（参考訳）: 学習化学推論の蒸留, 自己学習, および脆弱性
• Abstract要約: フォワード反応予測におけるオープンモデルのブートストラップとして,フロンティア監視が有効であることを示す。 私たちのモデルであるResonanceは、オープンウェイトな教師の推論トレースを蒸留し、検証されたアウトプットから学習します。
• 参考スコア（独自算出の注目度）: 1.1702883213371806
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Automating synthesis planning for small-molecule drug design requires chemical reasoners that are accurate as well as open to inspection and adaptation, yet frontier language models remain unreliable at predicting reaction outcomes and difficult to deploy, while small open-weight models lack the necessary domain reasoning. We show that frontier supervision can serve as a one-time bootstrap for open models on forward reaction prediction. Our models, Resonance, distill an open-weight teacher's reasoning traces and then learn from their own verified outputs, turning a small base model with near-zero accuracy into a capable reaction predictor, while a stronger student surpasses its teacher through distillation alone. Accuracy, however, does not bring robust reasoning: the small student inherits its teacher's single-pass style, self-training mainly sharpens answers it could already reach, and it readily abandons correct answers under pushback, suggesting that chemical reasoning models should be evaluated on the robustness of their reasoning as well as on the accuracy of their answers.
• Abstract（参考訳）: 小分子の医薬品設計のための合成計画の自動化には、検査や適応のために正確かつ正確な化学推論器が必要であるが、フロンティア言語モデルは反応結果の予測には信頼性が低く、展開が困難でありながら、小さなオープンウェイトモデルは必要なドメイン推論を欠いている。 フォワード反応予測におけるオープンモデルのブートストラップとして,フロンティア監視が有効であることを示す。 我々のモデルであるResonanceは、オープンウェイトな教師の推論トレースを蒸留し、検証されたアウトプットから学習し、ほぼゼロの精度で小さなベースモデルを有能な反応予測器に変える。 しかし、正確性にはロバストな推論をもたらすものではない:小学生は教師のシングルパススタイルを継承し、自己学習は主に到達可能な答えを鋭くし、プッシュバックの下では容易に正しい答えを放棄し、化学的推論モデルは彼らの推論の堅牢性と、彼らの答えの正確性に基づいて評価されるべきである、と示唆する。

関連論文リスト

• Learning from Partial Chain-of-Thought via Truncated-Reasoning Self-Distillation [15.338493974763471]
  本稿では,部分的推論トレースから正しい予測を生成するための軽量なポストトレーニング手法であるTrncated-Reasoning Self-Distillation(TRSD)を紹介する。 TRSDは, 様々な推論モデルに適用した場合, 精度のトレードオフをはるかに低減し, 絡み合った推論に対するロバスト性の向上を実証する。
  論文  参考訳（メタデータ） (2026-02-27T06:08:22Z)
• Long-Chain Reasoning Distillation via Adaptive Prefix Alignment [57.130176131042965]
  本稿では,教師のCoTを適応的接頭辞アライメントによる蒸留に活用するフレームワークを提案する。 P-ALIGNは、残りの接尾辞が簡潔かどうかを判断することで、教師生成の推論軌道を適応的に切り離す。 複数の数学的推論ベンチマークの実験では、P-ALIGNはすべてのベースラインを3%以上上回っている。
  論文  参考訳（メタデータ） (2026-01-15T04:40:45Z)
• Socrates-Mol: Self-Oriented Cognitive Reasoning through Autonomous Trial-and-Error with Empirical-Bayesian Screening for Molecules [10.161713741692568]
  本稿では,言語モデルを経験的ベイズ推論に変換するフレームワークであるSocrates-Molを紹介する。 産業スクリーニングの優先順位に合わせたランキングタスクを導入し、5つの言語モデルにまたがる相互モデルの自己整合性を適用し、分散を低減する。 このフレームワークは、完全な微調整に比べてデプロイコストを70%以上削減し、分子特性予測のためのスケーラブルなソリューションを提供する。
  論文  参考訳（メタデータ） (2025-11-14T08:02:47Z)
• Prime Implicant Explanations for Reaction Feasibility Prediction [2.756429113262742]
  化学反応の実現可能性を予測する機械学習モデルは、自動合成計画の中心となっている。 素因果説明の新規な定式化(最小限の理由としても知られる)をこの領域に合わせて導入する。 予備実験では、素因果説明という概念が、根底的な真理説明を保守的に捉えていることが示されている。
  論文  参考訳（メタデータ） (2025-10-10T10:13:39Z)
• NaturalThoughts: Selecting and Distilling Reasoning Traces for General Reasoning Tasks [65.70224757972068]
  本研究では,NaturalReasoningからの質問のプールに基づいて,強力な教師モデルから推論トレースを選択する。 データサイズをランダムサンプリングでスケールアップすることは、安定したパフォーマンス向上を伴う強力なベースラインであることに気付きました。 より多様な推論戦略を必要とする難しい事例を選択することは、教師モデルの推論スキルを伝達するよりサンプル効率が高いことが判明した。
  論文  参考訳（メタデータ） (2025-07-02T17:30:24Z)
• Chemist-aligned retrosynthesis by ensembling diverse inductive bias models [5.47805641978534]
  RetroChimeraは、相補的誘導バイアスを持つ2つの新たに開発されたコンポーネント上に構築されたフロンティア再合成モデルである。 トレーニングデータの外部で堅牢性を実証し、主要なモデルを大きなマージンで上回ります。 また、大手製薬会社から内部データセットへのゼロショット転送を実証する。
  論文  参考訳（メタデータ） (2024-12-06T18:55:19Z)
• SCOTT: Self-Consistent Chain-of-Thought Distillation [68.40232422158569]
  大規模言語モデル(LM)は、チェーン・オブ・シークレット・プロンプトを通じて予測のための自由テキスト論理を生成する。 そこで本研究では,教師モデルから,小規模で自己整合的なCoTモデルを学習するための忠実な知識蒸留法を提案する。 忠実蒸留を確実にするために,教師生成の合理性を用いて,反実的推論目的の学生LMを学習する。
  論文  参考訳（メタデータ） (2023-05-03T03:47:00Z)
• HomoDistil: Homotopic Task-Agnostic Distillation of Pre-trained Transformers [49.79405257763856]
  本稿では,タスク非依存蒸留に焦点をあてる。 これは、計算コストとメモリフットプリントを小さくして、様々なタスクで簡単に微調整できるコンパクトな事前訓練モデルを生成する。 本稿では, 反復刈り込みによる新規なタスク非依存蒸留法であるHomotopic Distillation (HomoDistil)を提案する。
  論文  参考訳（メタデータ） (2023-02-19T17:37:24Z)
• Explain, Edit, and Understand: Rethinking User Study Design for Evaluating Model Explanations [97.91630330328815]
  我々はクラウドソーシング研究を行い、真偽のホテルレビューと偽のホテルレビューを区別するために訓練された詐欺検出モデルと対話する。 単語の線形バッグモデルでは、トレーニング中に特徴係数にアクセスした参加者は、非説明制御と比較して、テストフェーズにおいてモデルの信頼性が大幅に低下する可能性があることを観察する。
  論文  参考訳（メタデータ） (2021-12-17T18:29:56Z)
• Learning Graph Models for Retrosynthesis Prediction [90.15523831087269]
  再合成予測は有機合成の基本的な問題である。 本稿では,前駆体分子のグラフトポロジーが化学反応中にほとんど変化しないという考え方を生かしたグラフベースのアプローチを提案する。 提案モデルでは,テンプレートフリーおよび半テンプレートベースの手法よりも高い5,3.7%の精度でトップ1の精度を実現している。
  論文  参考訳（メタデータ） (2020-06-12T09:40:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。