論文の概要: Dense Is Not Enough: Hierarchical Supervision Allocation for Long-Horizon On-Policy Distillation

• arxiv url: http://arxiv.org/abs/2609.33409v1
• Date: Sun, 27 Sep 2026 09:44:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-05 17:11:04.477474
• Title: Dense Is Not Enough: Hierarchical Supervision Allocation for Long-Horizon On-Policy Distillation
• Title（参考訳）: Denseは十分ではない: 長期のオン・ポリケーション蒸留のための階層的スーパービジョンの配置
• Abstract要約: 生産的なガイダンスは将来のユーティリティと現在の学習可能性の交差点にあると我々は主張する。 本稿では,LENS-OPDを提案する。LENS-OPDは,ロケート,リファイン,内在化による監視を組織する粗大なフレームワークである。 以上の結果から, 有効長期蒸留には, 適切な深さ, 正しい決定, 正しいトークンの指導が必要であることが示唆された。
• 参考スコア（独自算出の注目度）: 18.000801125017357
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: On-policy distillation (OPD) transfers the capabilities of a large language model to a smaller student by providing teacher supervision on the student's own rollouts. In long-horizon agentic tasks, however, uniform token-level matching can allocate supervision poorly: a large local discrepancy need not improve future behavior, while consequential guidance may be beyond the current student's reach or fail to persist without privileged input. We formulate long-horizon OPD as hierarchical supervision allocation and argue that productive guidance lies at the intersection of future utility and current learnability. Crucially, this intersection evolves as the student learns. Based on this principle, we propose LENS-OPD, a coarse-to-fine framework that organizes supervision through Locate, Validate, and Refine. Locate adapts trajectory exposure to the student's evolving competence and proposes a candidate decision for intervention. Validate tests whether teacher guidance at that decision improves the same student's subsequent behavior. Refine internalizes the beneficial guided behavior into the deployable policy and concentrates token-level supervision on decisive teacher-student conflicts within the validated turn. These stages are nested: each finer allocation is conditioned on the coarser decision, rather than being optimized as an independent importance score. Experiments across multiple long-horizon agent benchmarks and student-teacher configurations show that LENS-OPD consistently improves task performance over vanilla OPD and strong curriculum- and selection-based baselines. Our results suggest that effective long-horizon distillation requires teaching at the right depth, the right decision, and the right token.
• Abstract（参考訳）: オンライン蒸留(OPD)は、学生自身のロールアウトを教師に監督することで、大きな言語モデルの能力をより小さな学生に伝達する。 しかし、長期のエージェントタスクでは、均一なトークンレベルのマッチングは監督を不十分に割り当てることができる: 大きなローカルな不一致は将来の行動を改善する必要はない。 我々は,長期のOPDを階層的な監督割当として定式化し,生産的指導は将来の実用性と現在の学習可能性の交差にあると主張している。 重要なことに、この交差点は学生が学ぶにつれて進化する。 LENS-OPDは,ロケート,バリデート,リファインによる監督を組織する,粗大できめ細いフレームワークである。 ローカテは、学生の進化する能力に軌跡の露出を適応させ、介入の候補決定を提案する。 その決定における教師の指導が、同じ生徒のその後の行動を改善するかどうかを検証する。 Refineは、有益な指導的行動をデプロイ可能なポリシーに内包し、検証されたターン内の決定的な教師と学生の対立にトークンレベルの監督を集中させる。 これらのステージはネストされる: 個々の微調整は、独立した重要度スコアとして最適化されるのではなく、粗い決定で条件付けられる。 複数のロングホライズンエージェントベンチマークと学生-教師構成による実験では、LENS-OPDはバニラOPDと強力なカリキュラムと選択ベースラインよりもタスクパフォーマンスを一貫して改善している。 以上の結果から, 有効長期蒸留には, 適切な深さ, 正しい決定, 正しいトークンの指導が必要であることが示唆された。

関連論文リスト

• Teacher-Student Gaps Are Not Enough: Outcome-Guided On-Policy Distillation for Multi-Turn Autonomous Agents [18.008085411758177]
  オンライン蒸留は、教師の監督が密集した独自の軌道で学生を訓練する。 大きなギャップは無視できるが、小さなギャップは結果クリティカルである。 教師の指導に軌道相対重み付けを適用したOG-OPD(Outcome-Guided On-Policy Distillation)を提案する。
  論文  参考訳（メタデータ） (2026-09-28T14:49:13Z)
• TeacherGRPO: Closing the Capacity Gap in Reasoning Distillation via Teacher Alignment [70.40748464576045]
  強力な教師モデルから小さな学生への蒸留はギャップカースに面している。 教師がより高度に成長するにつれて、複雑な分布は生徒が近似できるものから多様化し、パフォーマンスが低下する。 本研究では,教師がデータを捨てたり,推論品質を劣化させたりすることなく,直接生徒の分布に適応する教師アライメントを提案する。
  論文  参考訳（メタデータ） (2026-09-27T10:13:54Z)
• Teacher Should Think Ahead: Adaptive Continuations for Reliable On-Policy Distillation [29.726128117466956]
  不完全または低品質の学生接頭辞を条件にした場合,教師の指導は信頼できないことを示す。 本稿では,教師の継続を伴って学生のロールアウトに伴う情報伝達状態を増強する適応継続オン・ポリティ蒸留(AC-OPD)を提案する。
  論文  参考訳（メタデータ） (2026-09-06T07:08:41Z)
• DOPD: Dual On-policy Distillation [59.65986569617147]
  オンライン蒸留は、高密度のトークンレベルの信号で学生サンプルの軌跡を監督することで、優れた容量転送を提供する。 特権教師と特権学生の政策の間のトークンレベルの監督を動的にルーティングするアドバンテージ・アウェアな二重蒸留パラダイムであるDOPDを提案する。 大きな言語モデル(LLM)と視覚言語モデル(VLM)の両方の実験は、DOPDがバニラPDを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2026-06-29T17:55:53Z)
• SAGE-OPD: Selective Agent-Guided Intervention for Multi-Turn On-Policy Distillation [25.25989941933095]
  マルチターンOPD用に設計された検証不要な選択的介入フレームワークであるSAGE-OPDを提案する。 SAGE-OPDは、教師の監督を全ターンで均一に行うのではなく、まず環境フィードバックを観察し、各生徒の反応をスキップするか介入するかを決定するために教師の判断を使用する。 エージェントタスクの実験では、SAGE-OPDはベースラインよりも一貫して改善され、ALFWorldの13.3%の相対的な改善を実現している。
  論文  参考訳（メタデータ） (2026-06-17T23:58:14Z)
• Prefix Teach, Suffix Fade: Local Teachability Collapse in Strong-to-Weak On-Policy Distillation [49.117085054884676]
  オンライン蒸留は、より強い教師からの強いフィードバックを使って、学生モデルを独自のロールアウトで訓練する。 我々は、この原則を軌跡固有のリリースルールで運用する。 強弱蒸留作業による実験結果から, この放出規則は標準全軌道PDよりも一貫して優れていたことが示唆された。
  論文  参考訳（メタデータ） (2026-05-13T15:05:30Z)
• TCOD: Exploring Temporal Curriculum in On-Policy Distillation for Multi-turn Autonomous Agents [55.27396165691312]
  マルチターンエージェント設定におけるバニラOPDの鍵となる制限を,トラジェクトリレベルKL不安定(Trajectory-Level KL Instability)と呼ぶ。 学生に露出する軌道深度を制御し,カリキュラムのスケジュールを段階的に拡張するフレームワークであるTCODを提案する。 4組の生徒と教師のペアによる実験結果から,TCODはKLのエスカレーションを軽減し,トレーニングを通してKLの安定性を高め,バニラPDよりも最大18ポイントのエージェント性能を向上させることが示された。
  論文  参考訳（メタデータ） (2026-04-27T03:38:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。