論文の概要: Self-Distillation for Supervised Fine-Tuning

• arxiv url: http://arxiv.org/abs/2610.25497v1
• Date: Sun, 18 Oct 2026 19:35:08 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:25:12.266471
• Title: Self-Distillation for Supervised Fine-Tuning
• Title（参考訳）: スーパービジョンファインチューニングのための自己蒸留
• Abstract要約: 監督された微調整は、専門家のデモンストレーションや金の反応を1ホットターゲットとして扱う。 我々は、専門家によるデモンストレーションをモデルネイティブな監視に変換する手法であるGold-Conditioned Distillation (GCD)を提案する。
• 参考スコア（独自算出の注目度）: 90.029570179446
• License:
• Abstract: Supervised fine-tuning treats the expert demonstration or gold response as a one-hot target, suppressing valid alternative continuations that the model would otherwise assign probability to. We propose Gold-Conditioned Distillation (GCD), a method that turns expert demonstrations into model-native supervision. GCD uses one model as both teacher and student: the teacher conditions on a prompt containing the gold response in context, the student conditions on the original prompt as at inference, and the student is trained to minimize the forward KL divergence to the teacher's next-token distribution at each gold response token. This lets the model use its prior knowledge to teach itself the new task: correctness is anchored by the gold response, while the soft target preserves plausible alternatives. Across various training tasks on Qwen and Llama models, GCD improves new-task accuracy over SFT and generally reduces degradation on general benchmarks.
• Abstract（参考訳）: 監督された微調整は、専門家のデモンストレーションや金の反応を1ホットターゲットとして扱い、モデルがそれ以外は確率を割り当てるような有効な代替継続を抑える。 我々は、専門家によるデモンストレーションをモデルネイティブな監視に変換する手法であるGold-Conditioned Distillation (GCD)を提案する。 GCDは教師と学生の両方に1つのモデルを用いる: 教師条件は、文脈において金の反応を含むプロンプト、学生条件は、推論時と同様に、元のプロンプト、学生条件は、各金の反応トークンにおける教師の次トーケン分布への前方KLの偏差を最小限に抑えるよう訓練される。 これにより、モデルが以前の知識を使って新しいタスクを教えることができる。 Qwen と Llama のモデルの様々なトレーニングタスク全体で、GCD は SFT よりも新しいタスク精度を改善し、一般に一般的なベンチマークの劣化を減らす。

関連論文リスト

• Beam Search as Test-Time Self-Distillation via Counterfactual Contexts [13.653054459848347]
  SDFT (Self-Distillation Fine-Tuning) は、言語モデルを独自の教師として機能させる。 本稿では,自己蒸留フレームワークからステアリング信号を抽出するデコード時自己蒸留法を提案する。
  論文  参考訳（メタデータ） (2026-09-29T08:50:24Z)
• Self-OPD: On-Policy Distillation for Flow Matching Models without Teacher [36.07614733558147]
  フローマッチングモデルのための教師なしOPDフレームワークである textbfSelf-OPD を紹介する。 Self-OPDは決定論的次状態予測を$K$SDE候補に分割し、ODEサンプルとロールアウトして、決定論的自己参照ベースラインと比較する。 単品と混合報酬のベンチマーク実験により、セルフOPDはタスク固有の教師を伴わずに、以前のRLとOPDメソッドよりも優れていた。
  論文  参考訳（メタデータ） (2026-08-27T09:34:23Z)
• H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
  検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。 既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。 本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
  論文  参考訳（メタデータ） (2026-07-21T10:47:27Z)
• Learning beyond Teacher: Generalized On-Policy Distillation with Reward Extrapolation [57.524909883706556]
  オンライン蒸留(OPD)は、学生のパフォーマンス向上に強い経験的利益をもたらしている。 この研究は、フレキシブルな参照モデルと報酬項の相対重みをKL正規化に対して制御する報酬スケーリング係数を導入している。 特に、同じ学生モデルにドメイン固有RLを適用して得られた異なるドメインエキスパートの知識をマージする環境では、ExOPDは生徒が教師のパフォーマンス境界を越えられるようにします。
  論文  参考訳（メタデータ） (2026-02-12T16:14:29Z)
• REDistill: Robust Estimator Distillation for Balancing Robustness and Efficiency [0.0]
  本稿では、ロバスト統計に基づく原則化されたフレームワークであるREDistillを紹介する。 レディスティルは標準のKD目標をKL分散の一般化であるパワー分散損失に置き換える。 CIFAR-100 と ImageNet-1k の実験では、REDistill は多様な教師/学生アーキテクチャにおける生徒の精度を一貫して向上することを示した。
  論文  参考訳（メタデータ） (2026-02-04T15:50:53Z)
• Self-regulating Prompts: Foundational Model Adaptation without Forgetting [112.66832145320434]
  本稿では,PromptSRCと呼ばれる自己正規化フレームワークを提案する。 PromptSRCはタスク固有の汎用表現とタスクに依存しない汎用表現の両方に最適化するプロンプトを導く。
  論文  参考訳（メタデータ） (2023-07-13T17:59:35Z)
• On-Policy Distillation of Language Models: Learning from Self-Generated Mistakes [44.97759066341107]
  一般知識蒸留(GKD)は、教師からのフィードバックを活用して、学生を自己生成出力シーケンスで訓練する。 本稿では,自動回帰言語モデルの要約,翻訳,算術的推論におけるGKDの有効性を示す。
  論文  参考訳（メタデータ） (2023-06-23T17:56:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。