論文の概要: Audit Before You Distill: A Controlled Workflow for Reasoning Transfer into Compact Medical Language Models

• arxiv url: http://arxiv.org/abs/2610.16713v1
• Date: Mon, 12 Oct 2026 12:47:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.372603
• Title: Audit Before You Distill: A Controlled Workflow for Reasoning Transfer into Compact Medical Language Models
• Title（参考訳）: 消化前の監査:コンパクトな医療用言語モデルへの移動を推論するための制御されたワークフロー
• Abstract要約: 教師の合理性は、小さなモデルが医療専門家の質問に答えるのに役立つが、エラーを補強することもできる。 教師が正しい答えを選択する確率をいかに変化させたかを測定した。 教師の回答を正し,回答のみの学習,ステップバイステップ蒸留,提案手法であるDistill-SFT法を比較した。
• 参考スコア（独自算出の注目度）: 1.4856472820492366
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Teacher rationales can help a smaller model answer health professions questions, but they can also reinforce errors. We examined when they help and how this evidence can guide training using Brazilian Portuguese questions from medical and multiprofessional residency examinations. First, we measured how a teacher rationale changed the student's probability of selecting the correct answer and compared this effect with rationales drawn from other questions. The complete rationale increased this probability by 21~p.p. when the teacher was correct and decreased it by 14~p.p. when the teacher was wrong. By intervening on the reasoning content, we showed that shuffled rationales did not produce the same pattern. Guided by this result, we trained only with rationales attached to correct teacher answers and compared answer-only training, step-by-step distillation, and our proposed Distill-SFT method. Distill-SFT showed a modest advantage over step-by-step distillation on previously missed questions under reasoning, while using fewer training instances by combining the answer and rationale into a single target. We also investigated catastrophic forgetting using the out-of-domain ENEM dataset. Answer-only training reduced reasoning accuracy by 12~p.p. relative to baseline, compared with approximately 4~p.p. for either rationale-based training method. Together, these findings support a workflow that audits rationale content before distillation, verifies teacher answers before supervision, and trains compact models efficiently for health professions question answering.
• Abstract（参考訳）: 教師の合理性は、小さなモデルが医療専門家の質問に答えるのに役立つが、エラーを補強することもできる。 ブラジルのブラジルの質問紙を用いて, 医療・多職種を対象とした研修を指導する上で, どのような効果があるかを検討した。 まず,教師が正しい回答を選択する確率を,他の質問からの有理性と比較した。 完全な合理性は、教師が正しかったときの21～p.p.の確率を増加させ、教師が間違っていたときの14～p.p.の確率を減少させた。 推論内容の介入により,シャッフルされた有理数は同じパターンを生成できないことを示した。 この結果から,教師の回答を正し,回答のみの学習,ステップバイステップ蒸留,提案手法であるDistill-SFT法を比較した。 Distill-SFTは, 解答と合理性を1つのターゲットに組み合わせることで, 学習事例を減らした。 また,領域外ENEMデータセットを用いた破滅的忘れ込みについて検討した。 解答者のみの訓練では、基準値に対して12〜p.p.の推理精度が低下し、いずれの合理性に基づく訓練法も約4～p.p.の推理精度が低下した。 これらの知見は、蒸留前の合理的な内容を監査し、教師の回答を監督前に検証し、医療専門家の質問応答のためのコンパクトなモデルを効率的に訓練するワークフローを支援する。

関連論文リスト

• Better Accuracies, Worse Reasoning: A Step-Level Audit of Medical Chain-of-Thought Distillation [14.101636730819175]
  チェーン・オブ・シンクレット(CoT)蒸留は、教師の推論の痕跡を模倣するために、より小さなモデルを訓練する。 回答の品質向上とトレースの改善が伴うかどうかを問う。
  論文  参考訳（メタデータ） (2026-05-27T10:55:24Z)
• On-Policy Distillation with Best-of-N Teacher Rollout Selection [54.91780727674628]
  本報告では, オンライン蒸留のためのベスト・オブ・Nロールアウト教員選抜フレームワークBRTSを提案する。 BRTSは、教師軌道から構築された教師コンテキスト管理ブランチで、標準の学生コンテキストOPDを強化する。 BRTSは、挑戦的な推論ベンチマークにおいて、標準的なPDよりも改善されており、より難しいデータセットに対して最大の利益がある。
  論文  参考訳（メタデータ） (2026-05-10T19:49:00Z)
• Long-Chain Reasoning Distillation via Adaptive Prefix Alignment [57.130176131042965]
  本稿では,教師のCoTを適応的接頭辞アライメントによる蒸留に活用するフレームワークを提案する。 P-ALIGNは、残りの接尾辞が簡潔かどうかを判断することで、教師生成の推論軌道を適応的に切り離す。 複数の数学的推論ベンチマークの実験では、P-ALIGNはすべてのベースラインを3%以上上回っている。
  論文  参考訳（メタデータ） (2026-01-15T04:40:45Z)
• Mitigating Spurious Correlations Between Question and Answer via Chain-of-Thought Correctness Perception Distillation [25.195244084313114]
  CoPeD (Chain-of-Thought Correctness Perception Distillation) は,学生モデルの推論品質の向上を目的としている。 CoPeDは学生モデルに対して、正しい合理性に基づいて回答を予測し、誤ったときに修正するよう推奨する。
  論文  参考訳（メタデータ） (2025-09-06T05:33:17Z)
• Learning from Committee: Reasoning Distillation from a Mixture of Teachers with Peer-Review [11.756344944226495]
  ピアリビュー(FAIR)アプローチによる新しいフォールト・アウェア・ディストイレーション(Fact-Aware DistIllation)を導入する。 本手法は,教師から合理性を得るのではなく,教師に生徒の過ちを特定・説明するよう求めている。 本手法は,教師が正しい推理を行う確率を低くする。
  論文  参考訳（メタデータ） (2024-10-04T17:59:41Z)
• On student-teacher deviations in distillation: does it pay to disobey? [54.908344098305804]
  知識蒸留は「学生」ネットワークのテスト精度を向上させるために広く用いられている。 教師の確率に合うように訓練されているにもかかわらず、生徒は教師の確率から大きく逸脱するだけでなく、パフォーマンスにおいて教師を上回ることもある。
  論文  参考訳（メタデータ） (2023-01-30T14:25:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。