論文の概要: Compatibility Matters: A Framework for Token-Level Teacher Selection in On-Policy Distillation

• arxiv url: http://arxiv.org/abs/2610.21234v1
• Date: Thu, 15 Oct 2026 04:26:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:16.177975
• Title: Compatibility Matters: A Framework for Token-Level Teacher Selection in On-Policy Distillation
• Title（参考訳）: コンパチビリティの問題:オンデマンド蒸留における token-Level Teacher 選択のためのフレームワーク
• Abstract要約: 我々は,教師と学生をオンライン蒸留(OPD)に適合させるものについて検討する。 特に,本研究の枠組みは,教師が学習する推論パターン,教師の能力,学生の多様性など,PDのためのデシラタを取り入れている。 我々は、数学、コーディング、カーネル生成、視覚的推論といった分野における広範な実験結果を用いて、この研究結果を裏付ける。
• 参考スコア（独自算出の注目度）: 10.774348481056085
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: On-policy distillation (OPD) has recently been introduced as a promising paradigm for continual learning, where a student policy can be supervised at the token-level. Typically, OPD is performed using a single teacher per prompt rollout (or even per training run). However, this ignores a whole other axis of flexibility that is available due to the on-policy nature - token-level teacher selection during rollouts. Building on this insight, we theoretically explore what makes a teacher and a student compatible for OPD, and leverage our findings to derive several empirical heuristics for teacher selection. In particular, our framework captures several desiderata for OPD: compatible teacher-student reasoning patterns, teacher competence, and induced student diversity. Theoretically, we categorize several types of teacher routing schemes, and we prove that under different scenarios, different routing schemes are likely to be beneficial for optimization and student diversity. We back up our findings with extensive experimental results in domains such as math, coding, kernel generation, and visual reasoning, where we find upwards of 10 percentage points of improvement on pass@$k$ when compared to vanilla OPD and the teacher experts on certain tasks, indicating both capability improvement and diversity over high-quality responses.
• Abstract（参考訳）: オンライン蒸留(OPD)は,近年,学生政策をトークンレベルで管理する継続的学習のパラダイムとして紹介されている。 通常、OPDは即時ロールアウト(またはトレーニングラン毎に)毎に1人の教師を使って実行される。 しかし、これは、ロールアウト中のトークンレベルの教師選択という、政治上の性質のために利用できる柔軟性の他の軸を無視します。 この知見に基づいて,教師と学生がOPDに適合する要因を理論的に探求し,その知見を活用して,教師選択のための経験的ヒューリスティックスを導出する。 特に,本研究の枠組みは,教師が学習する推論パターン,教師の能力,学生の多様性など,PDのためのデシラタを取り入れている。 理論的には、いくつかのタイプの教師ルーティングスキームを分類し、異なるシナリオ下では、異なるルーティングスキームが最適化や学生の多様性に有用であることを示す。 私たちは、数学、コーディング、カーネル生成、視覚的推論などの領域で、バニラOPDや教師のタスクの専門家と比較して、パス@k$で10ポイント以上の改善が得られ、高品質な応答よりも能力の向上と多様性が示されます。

関連論文リスト

• Stochastic Teacher Intervention for Agentic On-Policy Distillation [54.79076551646515]
  オンライン蒸留(OPD)は、学生が生み出すロールアウトのトークンレベルの密接な監督を通じて、より強い教師から学生言語モデルへの能力の伝達を効率的に行う。 マルチターンエージェントタスクでは、学生の判断がその後の観察を形作るため、ターン毎に早期エラーが蓄積される。 マルチターンエージェントOPDのための教師介入フレームワークであるSTI-OPDを紹介する。
  論文  参考訳（メタデータ） (2026-10-07T20:29:29Z)
• Is Better Teacher Supervision Enough? Unlocking Student-side Learning in Multimodal On-Policy Distillation [38.496745535296945]
  オンライン蒸留(OPD)は、学生自身の軌道上の教師からトークンレベルの監督を提供することにより、推論を改善する。 S-OPDは,学生の知覚学習を明示的に強化するシンプルなマルチモーダルオンライン蒸留フレームワークである。 我々のメソッドは既存のOPDフレームワークにシームレスにプラグインすることができ、追加のデータアノテーション、モデルパラメータ、推論操作を必要としない。
  論文  参考訳（メタデータ） (2026-09-30T06:55:48Z)
• Teacher-Student Gaps Are Not Enough: Outcome-Guided On-Policy Distillation for Multi-Turn Autonomous Agents [18.008085411758177]
  オンライン蒸留は、教師の監督が密集した独自の軌道で学生を訓練する。 大きなギャップは無視できるが、小さなギャップは結果クリティカルである。 教師の指導に軌道相対重み付けを適用したOG-OPD(Outcome-Guided On-Policy Distillation)を提案する。
  論文  参考訳（メタデータ） (2026-09-28T14:49:13Z)
• TeacherGRPO: Closing the Capacity Gap in Reasoning Distillation via Teacher Alignment [70.40748464576045]
  強力な教師モデルから小さな学生への蒸留はギャップカースに面している。 教師がより高度に成長するにつれて、複雑な分布は生徒が近似できるものから多様化し、パフォーマンスが低下する。 本研究では,教師がデータを捨てたり,推論品質を劣化させたりすることなく,直接生徒の分布に適応する教師アライメントを提案する。
  論文  参考訳（メタデータ） (2026-09-27T10:13:54Z)
• Dense Is Not Enough: Hierarchical Supervision Allocation for Long-Horizon On-Policy Distillation [18.000801125017357]
  生産的なガイダンスは将来のユーティリティと現在の学習可能性の交差点にあると我々は主張する。 本稿では,LENS-OPDを提案する。LENS-OPDは,ロケート,リファイン,内在化による監視を組織する粗大なフレームワークである。 以上の結果から, 有効長期蒸留には, 適切な深さ, 正しい決定, 正しいトークンの指導が必要であることが示唆された。
  論文  参考訳（メタデータ） (2026-09-27T09:44:55Z)
• Every Coin Has Two Sides: On the Dual Nature of Generalization in On-Policy Distillation of Large Language Models [68.52262705081098]
  オンライン蒸留は、生徒自身の方針からサンプリングされた軌跡を監督することによって、教師の能力を伝達する。 OPDは,特定の問題に対する回答よりも,教師の推論行動を伝達することがわかった。
  論文  参考訳（メタデータ） (2026-08-17T14:46:53Z)
• Multi-Turn On-Policy Distillation with Prefix Replay [73.10000453999088]
  エージェントタスクに対するReplayed-Prefix On-Policy Distillation (ReOPD)を提案する。 ReOPDは、プレコンパイルされた教師の軌跡を再生プレフィックスとして再利用する。 OPDレベルの精度を保存または改善し、学生のトレーニング中にゼロツールコールを使用し、PDよりもトレーニングステップあたり最低4$times$高速である。
  論文  参考訳（メタデータ） (2026-07-06T07:56:53Z)
• H-OPD: Confidence Aware Heterogeneous Multi-Teacher Multimodal On-policy Distillation [31.41588745047352]
  H-OPDはマルチモーダル推論のための信頼度を考慮したヘテロジニアスマルチテラーPDフレームワークとして提案されている。 同じ推論プロセスで異種教員の相補性を検証することにより、H-OPDはタスクやサンプルレベルの教師ルーティングを置き換える。 H-OPDは、テキストのみの教師が重要な視覚的意味論にアクセスできるようにするために、視覚から言語への記述転送を利用する。
  論文  参考訳（メタデータ） (2026-07-01T07:37:10Z)
• Active teacher selection for reinforcement learning from human feedback [12.823935200868846]
  人間のフィードバックからの強化学習(RLHF)により、機械学習システムは人間のフィードバックから目的を学ぶことができる。 教師の合理性、専門性、コストの相違をモデル化するHidden Utility Banditフレームワークを提案する。 我々は、さまざまなソリューションアルゴリズムを開発し、それらを紙レコメンデーションシステムと新型コロナウイルスワクチンテストという2つの現実世界の領域に適用する。
  論文  参考訳（メタデータ） (2023-10-23T18:54:43Z)
• Faculty Distillation with Optimal Transport [53.69235109551099]
  本稿では,教師の課題と生徒の課題を最適な輸送手段で結びつけることを提案する。 ラベル空間間の意味的関係に基づき、出力分布間の支持ギャップを埋めることができる。 各種条件下での実験は,提案手法の簡潔さと汎用性を示すものである。
  論文  参考訳（メタデータ） (2022-04-25T09:34:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。