論文の概要: Better Supervision Is Nearby: Neighborhood On-Policy Self-Distillation

• arxiv url: http://arxiv.org/abs/2609.39687v1
• Date: Wed, 30 Sep 2026 13:14:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.825126
• Title: Better Supervision Is Nearby: Neighborhood On-Policy Self-Distillation
• Title（参考訳）: より良いスーパービジョンが近づきつつある。近隣の公共の自己蒸留
• Abstract要約: On-policy Self-distillation (OPSD) は、参照ソリューションと学生サンプルの接頭辞を見ることができる特権教師を用いて数学的推論モデルを訓練する。 局所的なパラメータ摂動は、同じ参照コンテキスト下で補完的な参照整列補正を示す。 近隣のOPSDを導入し、学生が訪問する州でこれらの修正を監督する。
• 参考スコア（独自算出の注目度）: 23.75915752388583
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: On-policy self-distillation (OPSD) trains mathematical reasoning models using a privileged teacher that sees a reference solution and supervises student-sampled prefixes. Standard OPSD uses one fixed parameter setting at every state, but nearby settings may offer additional supervision. We find that local parameter perturbations reveal complementary reference-aligned corrections under the same reference context. Different experts supply these corrections at different reference positions. Their pool covers more such positions than the unperturbed privileged teacher. We introduce Neighborhood OPSD (N-OPSD) to turn these corrections into supervision at student-visited states. Offline, greedy selection builds a compact pool of frozen experts by rewarding filtered reference-token gains beyond the pool's current best at each position. The highest-peak expert need not provide the best training target. Online routing therefore separates the anchor direction from its level of support. MaxPeak selects the anchor token, and quantile selection chooses among experts whose top token matches it. The student learns from the chosen expert's full next-token distribution through the clipped forward-KL objective inherited from OPSD. We evaluate on AIME 2024, AIME 2025, and HMMT February 2025. Across three independent runs per method, Neighborhood OPSD improves the three-benchmark Average@12 over OPSD by 2.75, 1.67, and 1.94 points on Qwen3-1.7B, 4B, and 8B, respectively. Student-prefix continuations support using the pool beyond the reference trajectories used for selection. Matched ablations support filtered reference-token gains as a selection criterion. Accounting for overlap within the pool and routing by state further improve student accuracy. Inference uses only the distilled student.
• Abstract（参考訳）: On-policy Self-distillation (OPSD) は、教師が参照ソリューションを確認し、学生サンプルの接頭辞を監督する特権を持つ教師を用いて数学的推論モデルを訓練する。 標準OPSDは、すべての状態に1つの固定パラメータ設定を使用するが、近くの設定は追加の監視を提供する可能性がある。 局所的なパラメータ摂動は、同じ参照コンテキスト下で補完的な参照整列補正を示す。 異なる専門家が異なる基準位置でこれらの補正を行う。 彼らのプールは、未熟な特権教師よりも多くのポジションをカバーしています。 我々は,これらの修正を学生訪問状態の監督に向け,近隣OPSD(N-OPSD)を導入している。 オフラインでは、グリーディ・セレクションは、各位置におけるプールの現在の最高点を超えるフィルター付き参照利得を報酬することで、凍結専門家のコンパクトなプールを構築する。 最高レベルの専門家は、最高のトレーニングターゲットを提供する必要はありません。 オンラインルーティングは、アンカー方向をサポートレベルから分離する。 MaxPeakはアンカートークンを選択し、量子選択はトップトークンにマッチする専門家の中から選択する。 学生は、OPSDから受け継いだクリップされた前方KL目標を通して、選択した専門家の完全な次点分布から学習する。 AIME 2024, AIME 2025, HMMT 2月について検討した。 OPSDは、メソッドごとに3つの独立した実行で、それぞれQwen3-1.7B、4B、8Bの3つのベンチマークAverage@12をOPSDに対して2.75、1.67、および1.94ポイント改善する。 選択に使用される参照トラジェクトリ以外のプールを使用する学生-修正継続のサポート。 マッチングアブレーションは、選択基準としてフィルタされた参照トークンゲインをサポートする。 プール内の重複の会計と州ごとのルーティングにより、さらに生徒の精度が向上する。 推論は蒸留された学生のみを使用します。

関連論文リスト

• OPSRD: On-Policy Self-Role Distillation [7.947611649764756]
  OPSRDは、参照ソリューションを使わずに、政治上の自己蒸留のための特権的な教育コンテキストとして、固定された専門家の役割を使用する。 ロールフリーの学生は軌道を生成し、同じベースモデルの凍結インスタンスはその正確なプレフィックスにロール条件の分布を提供する。 フォワードKLは、個々の語彙への貢献を制限するクリッピングによって、学生が過小評価する代替案をターゲットにしている。
  論文  参考訳（メタデータ） (2026-09-30T14:56:10Z)
• Overcoming Scaling Limits in On-Policy Self-Distillation for LLM Reasoning [0.9310784559313475]
  オンラインの自己蒸留は、生徒に自分のサンプルの軌跡に沿って特権ある教師の分布に合わせるように訓練する。 標準OPSDは、教師を特権的文脈で条件付けしながら、この監督を証明されていない学生のロールアウトに適用する。 その結果,足場精度は文脈精度よりも下流の精度に強い影響を及ぼすことがわかった。
  論文  参考訳（メタデータ） (2026-09-29T16:08:54Z)
• From Dissonance to Orchestration: Teacher Intervention in On-Policy Distillation [43.75423570055352]
  オンライン蒸留(OPD)は、より強い教師からのフィードバックを用いて、学生を独自の推論軌道で訓練する。 より深い介入により、ロールアウトの精度が低下し、非政治負荷が増大する。 MaESTROは、教師が受け継いだときとそれが生成する時間に共同で適応するために、ローカルポリシーの不一致を使用する。
  論文  参考訳（メタデータ） (2026-09-29T13:06:14Z)
• BOUND: Brief-Guided Corrective Preference Distillation at Search-Control Boundaries [82.41764922522565]
  BOUNDは、永続的な探索ドリフトのための短いガイド付き修正選好蒸留フレームワークである。 Trajectory SFT は Bamboogle で 5.6 EM 、BrowseComp-Plus で 4.8 の精度で上回っている。
  論文  参考訳（メタデータ） (2026-08-09T15:32:16Z)
• Prefix-Guided On-Policy Distillation: Mining Golden Trajectories from Rollouts [48.550535291129584]
  Prefix-Guided On-Policy Distillation (PG-OPD) は、固定長プレフィックスを用いて、高価な長距離発生前に軌跡値を推定する単純なロールアウト・アロケーションフレームワークである。 AMC、AIME、HMMTベンチマークの様々な教師/学生の組み合わせで、PG-OPDはトレーニング時間を最大2.46倍にし、平均精度を4.80ポイントまで改善している。
  論文  参考訳（メタデータ） (2026-06-20T11:18:34Z)
• When Are Teacher Tokens Reliable? Position-Weighted On-Policy Self-Distillation for Reasoning [45.79647925282674]
  On-policy Self-distillation (OPSD) は、特権教師を使って生徒を自身のロールアウトで訓練する。 既存のエントロピーに基づくPD手法は、教師エントロピーによるトークンレベルの監督を調節することで、この一様性を緩和する。 そこで我々は,PW-OPSD(Pight-Weighted On-Policy Self-Distillation)を提案する。
  論文  参考訳（メタデータ） (2026-05-20T18:14:03Z)
• Prefix Teach, Suffix Fade: Local Teachability Collapse in Strong-to-Weak On-Policy Distillation [49.117085054884676]
  オンライン蒸留は、より強い教師からの強いフィードバックを使って、学生モデルを独自のロールアウトで訓練する。 我々は、この原則を軌跡固有のリリースルールで運用する。 強弱蒸留作業による実験結果から, この放出規則は標準全軌道PDよりも一貫して優れていたことが示唆された。
  論文  参考訳（メタデータ） (2026-05-13T15:05:30Z)
• On-Policy Distillation with Best-of-N Teacher Rollout Selection [54.91780727674628]
  本報告では, オンライン蒸留のためのベスト・オブ・Nロールアウト教員選抜フレームワークBRTSを提案する。 BRTSは、教師軌道から構築された教師コンテキスト管理ブランチで、標準の学生コンテキストOPDを強化する。 BRTSは、挑戦的な推論ベンチマークにおいて、標準的なPDよりも改善されており、より難しいデータセットに対して最大の利益がある。
  論文  参考訳（メタデータ） (2026-05-10T19:49:00Z)
• PAINT: Partial-Solution Adaptive Interpolated Training for Self-Distilled Reasoners [9.324642081509756]
  大規模言語モデル(LLM)推論には、モデル自身のテスト時間状態とトークンレベルの情報の両方に整合した監視が必要である。 近年の独占型自己蒸留は,同じモデルによる学生のロールアウトを,検証済みのソリューションコンテキスト下で評価することによって中等地を探索している。 ロールアウト-参照重なりに応じて検証された解を隠蔽し、エントロピー-ミスマッチトークンのスパースセットに小さなエネルギー空間を適用したPAINTを提案する。
  論文  参考訳（メタデータ） (2026-04-29T11:56:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。