論文の概要: ChemOPD: Multi-Teacher On-Policy Distillation for Multi-Task Chemical Reasoning
- arxiv url: http://arxiv.org/abs/2609.33838v1
- Date: Sun, 27 Sep 2026 18:43:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-04 16:21:27.846659
- Title: ChemOPD: Multi-Teacher On-Policy Distillation for Multi-Task Chemical Reasoning
- Title（参考訳）: ChemOPD:マルチタスク化学推論のためのマルチ教師オンポリティ蒸留
- Abstract要約: 我々はChemOPDを導入し、特殊化をどのように組織化し、専門的なガイダンスを統合するべきかについて論じる。
ChemCoTBenchでは、親和性に基づく特殊化は、ジェネラリストの教師よりもタスク依存的な利得を生み出し、セマンティックなタスクグループ化を超えていくつかの能力を改善する。
これらの結果から, 化学推論における設計上の問題として, 特殊化と機能統合が注目される。
- 参考スコア（独自算出の注目度）: 8.964177843474411
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models are increasingly expected to support diverse chemical reasoning capabilities within a unified model. One approach is to develop specialized capabilities separately and consolidate them through multi-teacher on-policy distillation, but this raises two questions: how should specialization be organized, and how should specialist guidance be integrated? We introduce ChemOPD, which addresses both. We estimate task affinities from supervised fine-tuning gradients and solve a constrained mixed-integer program(MIP) to construct partially overlapping specialist groups. During distillation, we retain a generalist teacher trained on all tasks so that specialist guidance supplements rather than replaces its supervision. Our anchor-residual objective gradually increases the routed specialist's contribution on student-generated responses. On ChemCoTBench, affinity-guided specialization produces task-dependent gains over the generalist teacher and improves several capabilities beyond semantic task grouping. Yet stronger teacher-side performance does not automatically yield stronger students: with the same specialists and routes, anchor-residual OPD improves most reported metrics over specialist-only distillation and realizes a larger share of the available teacher gains. These results highlight specialization and capability integration as connected but distinct design problems in chemical reasoning.
- Abstract（参考訳）: 大規模言語モデルは、統一モデル内で様々な化学的推論機能をサポートすることがますます期待されている。
1つのアプローチは、個別に専門的な能力を開発し、マルチティーチングオン・ポリティクス蒸留を通じて統合することだが、これはどのように専門化を組織化すべきか、どのように専門的なガイダンスを統合するべきかという2つの疑問を提起する。
両方に対処するChemOPDを紹介します。
我々は、教師付き微調整勾配からタスク親和性を推定し、制約付き混合整数プログラム(MIP)を解くことにより、部分的に重複するスペシャリストグループを構築する。
蒸留の過程では、監督を代行するのではなく、専門的な指導を補うように、あらゆるタスクで訓練されたジェネリストの教師を留保する。
我々のアンカー残余目的は、学生が生成した反応に対するルートスペシャリストの貢献を徐々に増大させていく。
ChemCoTBenchでは、親和性に基づく特殊化は、ジェネラリストの教師よりもタスク依存的な利得を生み出し、セマンティックなタスクグループ化を超えていくつかの能力を改善する。
教師側のパフォーマンスは、同じ専門家とルートで、アンカー・レジデンシャルPDは、専門家のみの蒸留よりも最も報告された指標を改善し、利用可能な教師の利益の大部分を実現している。
これらの結果から, 化学推論における設計上の問題として, 特殊化と機能統合が注目される。
関連論文リスト
- TeacherGRPO: Closing the Capacity Gap in Reasoning Distillation via Teacher Alignment [70.40748464576045]
強力な教師モデルから小さな学生への蒸留はギャップカースに面している。
教師がより高度に成長するにつれて、複雑な分布は生徒が近似できるものから多様化し、パフォーマンスが低下する。
本研究では,教師がデータを捨てたり,推論品質を劣化させたりすることなく,直接生徒の分布に適応する教師アライメントを提案する。
論文 参考訳（メタデータ） (2026-09-27T10:13:54Z) - Who Teaches Which Token? Verifier-Gated Multi-Expert On-Policy Distillation for Scientific Reasoning [19.276963328809092]
複数教師によるオンライン蒸留は, 専門的能力を一つのモデルに統合する標準的な方法になりつつある。
その代わりに、教師の有用な信号は、推論軌道に沿ってスパースで不均一であることがわかった。
Verifier-Gated Multi-Expert On-Policy Distillation (VG-OPD) は検証によって答える。
論文 参考訳（メタデータ） (2026-09-14T11:34:22Z) - Training Specialist Models without Reasoning Trajectories for Domain Expert Distillation [21.279730413366007]
専門的な蒸留は、教師が生成した推論軌道を介して、学生モデルにドメインの専門知識を伝達する。
この潜在軌道空間から特殊最適化が暗黙的に選択されることを示す。
本研究は,金の推理が欠如している場合,下流モデルに渡される潜伏監督を調整選択が直接制御する,新たな専門訓練の視点を確立した。
論文 参考訳（メタデータ） (2026-09-12T07:29:08Z) - Every Coin Has Two Sides: On the Dual Nature of Generalization in On-Policy Distillation of Large Language Models [68.52262705081098]
オンライン蒸留は、生徒自身の方針からサンプリングされた軌跡を監督することによって、教師の能力を伝達する。
OPDは,特定の問題に対する回答よりも,教師の推論行動を伝達することがわかった。
論文 参考訳（メタデータ） (2026-08-17T14:46:53Z) - Co-Evolving Policy Distillation [56.500154041818746]
Co-Evolving Policy Distillation (CoPD)は専門家の並行トレーニングを促進し、各専門家のRLVRトレーニング中にOPDを導入する。
実験では、CoPDがテキスト、画像、ビデオの推論機能のオールインワン統合を実現することを検証する。
論文 参考訳（メタデータ） (2026-04-29T18:24:11Z) - Predicting Multi-Agent Specialization via Task Parallelizability [8.465921582175426]
タスクレギュラーやチームサイズに応じて、特殊化がパフォーマンスを改善することを予測したクローズドフォーム境界を示す。
反対のベンチマークを表す2つの標準MARLベンチマークでモデルを検証した。
Overcooked-AIにおける3つのフォローアップ実験は、このモデルがより複雑な空間的および資源的ボトルネックを持つ環境で動作することを示した。
論文 参考訳（メタデータ） (2025-03-19T21:33:48Z) - UNIC: Universal Classification Models via Multi-teacher Distillation [29.299698704883813]
我々は、いくつかの補完的な事前訓練されたモデルから得られるユニークなエンコーダを学ぼうとしている。
このようなエンコーダをマルチティーチンガー蒸留により学習することを提案する。
論文 参考訳（メタデータ） (2024-08-09T14:18:57Z) - Co-Supervised Learning: Improving Weak-to-Strong Generalization with
Hierarchical Mixture of Experts [81.37287967870589]
我々は,一貫した生徒を統括する,一貫した一貫した教師ではなく,多様な専門教師の集合を活用することを提案する。
我々のアプローチは、古典的な階層的な専門家の混合に似ている。
提案手法は,OpenAIの弱強ベンチマークと追加のマルチドメインデータセットを用いて,視覚認識タスクにより検証する。
論文 参考訳（メタデータ） (2024-02-23T18:56:11Z) - Supervision Complexity and its Role in Knowledge Distillation [65.07910515406209]
蒸留した学生の一般化行動について検討する。
この枠組みは、教師の精度、教師の予測に対する生徒の差、教師の予測の複雑さの間の微妙な相互作用を強調している。
オンライン蒸留の有効性を実証し,様々な画像分類ベンチマークとモデルアーキテクチャに関する理論的知見を検証した。
論文 参考訳（メタデータ） (2023-01-28T16:34:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。