論文の概要: Do As I Do, Not As I Say: On-Policy Distillation Inherits the Teacher in Vision-Language Models

• arxiv url: http://arxiv.org/abs/2610.20989v1
• Date: Wed, 14 Oct 2026 22:04:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:16.096956
• Title: Do As I Do, Not As I Say: On-Policy Distillation Inherits the Teacher in Vision-Language Models
• Title（参考訳）: オンライン蒸留は教師を視覚言語モデルに導いてくれる
• Abstract要約: 2つの一般的な戦略は、教師付き微調整(SFT)とオンライン蒸留(OPD)である。 OPDは、学生自身が生成した軌跡に対する教師のフィードバックを提供する。 OPDは、学生が生成した軌跡を監督することでよりデータ効率が向上するが、各州における教師の監督が生徒の学習行動にどのような影響を及ぼすかは明らかでない。
• 参考スコア（独自算出の注目度）: 4.85243141676332
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Improving the reasoning capabilities of vision-language models (VLMs) often relies on post-training with supervision from stronger models. Two common strategies are supervised fine-tuning (SFT), which trains on teacher-generated demonstrations, and on-policy distillation (OPD), which provides teacher feedback on trajectories generated by the student itself. While OPD can be more data-efficient by supervising student-generated trajectories, it is unclear how the teacher's supervision at each state affects the student's learned behavior. To study this question, we conduct a controlled comparison of OPD and filtered SFT across data budgets and tasks where the teacher exhibits different levels of reliability, and analyze how these differences shape student accuracy and completion behavior. Across the two tasks, we find that OPD is effective only when the teacher remains reliable on student-generated trajectories. On ChartQA, where the teacher completes 99% of its solutions, OPD trained on only 10% of the data comes within 1.4 accuracy points of full-data SFT. In contrast, on Geometry3K, where the teacher fails to complete 22% of its solutions, OPD underperforms SFT by 7.9 points, with most of the gap explained by incomplete responses. More strikingly, starting OPD from an SFT student reduces its completion rate from 76% to 62%, effectively erasing the completion behavior learned through SFT. Filtering teacher demonstrations for completeness alone recovers much of SFT's advantage. These results show that on-policy supervision can transfer not only teacher knowledge but also persistent failure modes on student-visited states. Code is available at https://github.com/ffy208/opd-inherits-teacher-vlm.
• Abstract（参考訳）: 視覚言語モデル(VLM)の推論能力の改善は、しばしば、より強力なモデルからの監督によるポストトレーニングに依存している。 教師が生み出す実演の指導的微調整(SFT)と、学生自身が生み出す軌跡に対する教師のフィードバックを提供するオンライン蒸留(OPD)の2つの一般的な戦略がある。 OPDは、学生が生成した軌跡を監督することでよりデータ効率が向上するが、各州における教師の監督が生徒の学習行動にどのような影響を及ぼすかは明らかでない。 そこで本研究では,教師が信頼性のレベルが異なるデータ予算やタスクに対して,OPDとフィルタSFTの制御された比較を行い,これらの違いが学生の正確さと完成行動にどのように影響するかを分析した。 2つの課題にまたがって, OPD が有効であることは, 教師が学生が生成した軌跡に信頼性を保ったままである場合に限られる。 教師が99%のソリューションを完了したChartQAでは、データの10%しかトレーニングされていないPDは、完全なデータSFTの1.4の精度ポイント以内である。 対照的に、教師が解の22%を完遂できなかったGeometry3Kでは、PDはSFTを7.9ポイント下回っている。 さらに、SFT学生からOPDを開始すると、完成率が76%から62%に低下し、SFTで学んだ完成行動が効果的に消去される。 完全性だけで教師のデモンストレーションをフィルタリングすることは、SFTの利点の多くを回復させる。 これらの結果から,教師の知識だけでなく,学生訪問状態の持続的障害モードの移譲も可能であることが示唆された。 コードはhttps://github.com/ffy208/opd-inherits-teacher-vlmで入手できる。

関連論文リスト

• Teacher-Student Gaps Are Not Enough: Outcome-Guided On-Policy Distillation for Multi-Turn Autonomous Agents [18.008085411758177]
  オンライン蒸留は、教師の監督が密集した独自の軌道で学生を訓練する。 大きなギャップは無視できるが、小さなギャップは結果クリティカルである。 教師の指導に軌道相対重み付けを適用したOG-OPD(Outcome-Guided On-Policy Distillation)を提案する。
  論文  参考訳（メタデータ） (2026-09-28T14:49:13Z)
• iSDFT: Information-Proximal Self-Distillation for Continual Learning in LLMs [14.98696153981461]
  自己蒸留ファインチューニングは、忘れを減らしながらデモから新しいスキルを学ぶが、常に実演条件の完全な教師に向かわせる。 本稿では,教師を情報源として扱う情報プロクシマルSDFTについて紹介する。
  論文  参考訳（メタデータ） (2026-09-21T14:21:50Z)
• Data-free On-policy Distillation [49.537587070291444]
  オンライン蒸留(OPD)は、フロンティア・ポストトレーニングパイプラインの標準コンポーネントとなっている。 しかし、そのトレーニングデータが実際にどれだけ貢献するかは、ほとんど検討されていない。 我々はこのことをtextbfData-free On-policy Distillation (DF-OPD) で制限する。 DF-OPDは実際のデータと一致し、さらにそのデータを生成する質問は、教師自身のポストトレーニングデータを追跡する。
  論文  参考訳（メタデータ） (2026-09-12T23:51:35Z)
• On-Policy Distillation with Best-of-N Teacher Rollout Selection [54.91780727674628]
  本報告では, オンライン蒸留のためのベスト・オブ・Nロールアウト教員選抜フレームワークBRTSを提案する。 BRTSは、教師軌道から構築された教師コンテキスト管理ブランチで、標準の学生コンテキストOPDを強化する。 BRTSは、挑戦的な推論ベンチマークにおいて、標準的なPDよりも改善されており、より難しいデータセットに対して最大の利益がある。
  論文  参考訳（メタデータ） (2026-05-10T19:49:00Z)
• TCOD: Exploring Temporal Curriculum in On-Policy Distillation for Multi-turn Autonomous Agents [55.27396165691312]
  マルチターンエージェント設定におけるバニラOPDの鍵となる制限を,トラジェクトリレベルKL不安定(Trajectory-Level KL Instability)と呼ぶ。 学生に露出する軌道深度を制御し,カリキュラムのスケジュールを段階的に拡張するフレームワークであるTCODを提案する。 4組の生徒と教師のペアによる実験結果から,TCODはKLのエスカレーションを軽減し,トレーニングを通してKLの安定性を高め,バニラPDよりも最大18ポイントのエージェント性能を向上させることが示された。
  論文  参考訳（メタデータ） (2026-04-27T03:38:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。