論文の概要: How Much Do Teacher Bridges Matter in Interleaved On-Policy Distillation?

• arxiv url: http://arxiv.org/abs/2610.38383v1
• Date: Wed, 28 Oct 2026 07:19:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-31 05:25:12.3808
• Title: How Much Do Teacher Bridges Matter in Interleaved On-Policy Distillation?
• Title（参考訳）: インリーブオン・ポリケーションにおける教師の橋渡しはどの程度重要か?
• Abstract要約: いくつかのメソッドは教師が書いたセグメントやブリッジを挿入するが、それらのトークンのトレーニング方法には同意しない。 我々は,学生としてQwen3-1.7B,教師としてQwen3-4B-Instruct-2507を用いて同一軌道上の損失,前方KL,逆KLを比較した。
• 参考スコア（独自算出の注目度）: 1.9484496199458554
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: On-policy distillation (OPD) trains a student using teacher predictions on student-generated responses. Some methods insert teacher-written segments, or bridges, but disagree on how to train on those tokens. We compare no loss, forward KL and reverse KL on identical trajectories using Qwen3-1.7B as student and Qwen3-4B-Instruct-2507 as teacher. We separate gradients by which model wrote each token. Under our short training runs and BF16 inference, pre-specified tests detected no added accuracy benefit from teacher text as context or as a training target. A one-paragraph bridge after the student's first paragraph is only 2.7% of the tokens and contributes a small gradient nearly orthogonal to the student-token gradient. In this main comparison, the three loss treatments gave similar gradient directions and were statistically equivalent in accuracy within a +/-5 percentage-point margin. An exploratory pilot placing the bridge where failed responses disagreed most with the teacher suggested a benefit from teacher-token loss. A pre-specified replication did not confirm this, and fourfold weighting showed no significant accuracy benefit. Two limitations bound these findings. Among the tested amounts of training on fixed responses, gains peaked after four updates before the student increasingly failed to stop generating. None of the tested online training variants met the criteria for stable stopping and improved accuracy. Our evaluations used BF16 inference, which rounds away most of the small weight changes. When evaluated in exact FP32, the tested replication models frequently reached the response-length limit. Our accuracy findings therefore concern BF16 inference; they do not establish that teacher-token supervision is generally unnecessary.
• Abstract（参考訳）: オンライン蒸留(On-policy distillation、OPD)は、学生が生成した反応に関する教師の予測を用いて学生を訓練する。 いくつかのメソッドは教師が書いたセグメントやブリッジを挿入するが、それらのトークンのトレーニング方法には同意しない。 我々は,学生としてQwen3-1.7B,教師としてQwen3-4B-Instruct-2507を用いて同一軌道上の損失,前方KL,逆KLを比較した。 私たちはどのモデルがそれぞれのトークンを書いたかで勾配を分けました。 短時間のトレーニング実行とBF16推論では、教師のテキストを文脈として、あるいは訓練対象として、付加的な精度のメリットは検出されなかった。 学生の1段目以降の1パラグラフ橋はトークンの2.7%に過ぎず、学生の直交勾配にほぼ直交する小さな勾配に寄与している。 主な比較では, 3つの損失処理は同様の勾配を与え, 統計的にa+/-5パーセンテージ・ポイント・マージンの精度で等価であった。 回答が得られなかった橋を設置する探索パイロットは、教師の損失の恩恵を示唆した。 事前の複製ではこれを確認できず、4倍の重み付けでは有意な精度の利益が得られなかった。 2つの制限がこれらの発見を束縛した。 固定された反応に関する試験的なトレーニングの中で、学生が生成をやめる前に、4回の更新後にピークに達した。 試験されたオンライントレーニングの変種はいずれも、安定的な停止と精度の向上の基準を満たしていない。 評価では,小さめの変化の大部分を丸めるBF16推論を用いた。 FP32を正確に評価すると、テストされた複製モデルは応答長の制限に頻繁に到達した。 以上より,BF16推論は,教師の指導が一般的に不要であることを示すものではない。

関連論文リスト

• Reward-Aligned Distillation [16.014147554503495]
  Reward-Aligned Distillation weights signals based on predict effect on the post-update reward。 RADは6つの競合候補ベンチマークの平均精度を最強のベースラインよりも向上させる。 単純化されたRAD-Simpleは、同じトレーニングとレスポンスの予算で同等の計算精度を達成している。
  論文  参考訳（メタデータ） (2026-10-10T04:43:04Z)
• DIAL-OPD: Learning More from Fewer Tokens in On-Policy Distillation [18.033930178537783]
  トークンの少ないトレーニングは完全なPDよりも優れており、より多くの監督が学習を改善するという直感に挑戦する。 教師と学生の確率の対数平均と報酬の大きさを重み付けすることで、ログ確率と確率空間を橋渡しするトークン選択法であるDIAL-OPDを提案する。
  論文  参考訳（メタデータ） (2026-10-08T10:36:00Z)
• LastOPD: Taming Collapse in Latent On-Policy Distillation [31.27206955259948]
  我々は,LastOPDを提案する。LastOPDは,最後の層状態,LMヘッドの両方の共通インタフェース,トークンレベルPDへの10ステップのクロスフェード中のみに適用する。 これは潜伏信号の有用な部分を保持し、崩壊が起こる前に学生にトークンレベルの監督を任せる。 実験の結果、LastOPDは4Bと8Bの教師と5.55点と4.02点のトークンオンリーのPDよりもMATH-500を改善し、ほとんどの保持されたデータセットを導き、トークンオンリーのPDの最終スコアを約半分に到達した。
  論文  参考訳（メタデータ） (2026-09-23T23:22:21Z)
• What Does Privileged Information Add to On-Policy Self-Distillation? [57.872246350931306]
  オンラインの自己蒸留(On-policy self-distillation)により、言語モデルは、答や解決方法を見る、自分自身の凍結したコピーから学ぶことができる。 AMPLE-Mathは、5,319の数学的問題からなる再利用可能なスイートで、同じ答えを6つの推論ビューで共有する。 直接応答型ロールアウトを監督する思考能力のある教師によって、Qwen3-1.7Bの改良の大部分は参照レス蒸留によるものである。
  論文  参考訳（メタデータ） (2026-09-17T15:57:10Z)
• Mismatch Matters: On-Policy Distillation Beyond Token Agreement [27.396104103072844]
  ミスマッチトークンは,主に学生不足トークンと学生不足トークンの2種類に分類される。 そこで本研究では,有界ヘリンジャー成形法を応用し,最も重大なサンプル過剰を抑えるためのTIDEと,欠陥のある確率質量を復元するための分析教師の上位K$インジェクションを提案する。
  論文  参考訳（メタデータ） (2026-08-10T16:53:14Z)
• Outcome-Confounded Local Supervision in On-Policy Distillation [0.5937989874256571]
  オンライン蒸留は生徒を自身の軌道で訓練し、教師は生徒が訪問する接頭辞に密集したトークンレベルを供給している。 いずれの読解も、完成した軌跡の結果によって構築されていることを示す。 最終回答の正しさを両立させた結果解決診断法を提案する。
  論文  参考訳（メタデータ） (2026-07-26T16:03:33Z)
• H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
  検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。 既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。 本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
  論文  参考訳（メタデータ） (2026-07-21T10:47:27Z)
• On-Policy Distillation with Best-of-N Teacher Rollout Selection [54.91780727674628]
  本報告では, オンライン蒸留のためのベスト・オブ・Nロールアウト教員選抜フレームワークBRTSを提案する。 BRTSは、教師軌道から構築された教師コンテキスト管理ブランチで、標準の学生コンテキストOPDを強化する。 BRTSは、挑戦的な推論ベンチマークにおいて、標準的なPDよりも改善されており、より難しいデータセットに対して最大の利益がある。
  論文  参考訳（メタデータ） (2026-05-10T19:49:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。