論文の概要: Redirecting Teacher Supervision: Temporal-Response-Guided Latent Distillation for Video-Language Models

• arxiv url: http://arxiv.org/abs/2610.13045v1
• Date: Fri, 09 Oct 2026 06:01:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.416567
• Title: Redirecting Teacher Supervision: Temporal-Response-Guided Latent Distillation for Video-Language Models
• Title（参考訳）: 教師監督のリダイレクト:ビデオ言語モデルにおける時間応答型潜水蒸留
• Abstract要約: オンライン蒸留(OPD)は、教師による学生生成シーケンスの予測を通じて能力の伝達を行う。 本稿では,局所時間に対する表現応答を測定するテンポラル・レスポンス・ガイダンス(TRG)を提案する。 タンジェントプロジェクターと切り離されたターゲットにより、TRGは目標構築時のノルムを保ちながらコサインロス勾配を変化させる。
• 参考スコア（独自算出の注目度）: 13.591180937797388
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: On-policy distillation (OPD) transfers capabilities through teacher predictions on student-generated sequences, as studied by GKD and MiniLLM for language models and Video-OPD for video tasks. We ask how internal supervision can further support temporal learning. Direct hidden-state alignment does not explicitly use the student's temporal responses to choose a supervision direction. We propose Temporal-Response Guidance (TRG), which measures representation responses to local temporal perturbations, adds the teacher correction's projection onto their span back to the original correction, and restores its original norm. The projection is not normalized separately, and correction components outside the response space are retained. With an orthogonal tangent projector and a detached target, TRG changes the supervision direction while preserving the cosine-loss value and aligned-representation gradient norm at target construction. On TempCompass, Video-MME, MVBench, and Video-MMMU, TRG improves the 4B student's macro accuracy by 2.86 percentage points over the reported output-only OPD baseline.
• Abstract（参考訳）: オンライン蒸留(OPD)は、GKDとMiniLLMが言語モデルで、ビデオ-OPDがビデオタスクで、教師が生成したシーケンスの予測を通じて機能を伝達する。 我々は、内部の監督が時間的学習をさらに支援できるかを問う。 直接隠蔽状態アライメントは、学生の時間的反応を監督方向を選択するために明示的に使用しない。 本稿では,局所的な時間的摂動に対する表現応答を計測し,教師の補正のプロジェクションを元の補正に付加し,元の規範を復元するテンポラル・レスポンス・ガイダンス(TRG)を提案する。 投影は別々に正規化されず、応答空間外の補正成分を保持する。 直交タンジェントプロジェクタと切り離されたターゲットとで、TRGは、目標構築時にコサインロス値とアライメント表現勾配ノルムを保持しながら、監督方向を変更する。 TempCompass、Video-MME、MVBench、Video-MMMUでは、TRGは報告された出力のみのPDベースラインに対して、4Bの学生のマクロ精度を2.86ポイント改善する。

関連論文リスト

• Counterfactual Attention Policy Distillation for Temporal Video Grounding [27.961321368433318]
  時間的ビデオグラウンドディングは、高度マルチモーダル大言語モデル(MLLM)の重要な機能である 我々は,CAPD(Conserfactal Attention Policy Distillation)と呼ばれるMLLMの新たなトレーニング体制を提案する。
  論文  参考訳（メタデータ） (2026-09-28T08:24:34Z)
• TTSD-FAR: Test-Time Self-Distillation with Fisher-Anchored Restoration for Missing-Modality Emotion Recognition in LVLMs [83.78708832901194]
  大規模ビデオ言語モデル(LVLM)は、野生のマルチモーダル感情認識(ER)のようなマルチモーダルタスクにおいて顕著なパフォーマンスを示している。 しかし、現実のデプロイメントは依然として困難であり、テスト時にモダリティが欠落したりうる。 凍結した教師が自己蒸留により適応的な低学級の生徒を指導する手法を提案する。 MELD, DFEW, BAHを0%-50%のモダリティで実験した結果, この統一型適応復元設計はエントロピーベースの適応, RAG, およびパープレキシティベースの生成より一貫して優れていた。
  論文  参考訳（メタデータ） (2026-08-18T23:40:28Z)
• Context-Matched Distillation: Teacher Causality for Autoregressive Video Distillation [97.02922768457239]
  Context-Matched Distillation (CMD) は、教師の監督と、各ターゲットが生成される際に利用可能な情報とを整合させる因果的MDDフレームワークである。 Prefix Corruptionは、このターゲットコンテキストアライメントを維持しながら、トレーニングの初期段階で生成された信頼性の低いプレフィックスを摂動することで、トレーニングを安定化させる。 ショートビデオとロングビデオの両方のベンチマークで、自己回帰手法における最先端の集約性能を実証した。
  論文  参考訳（メタデータ） (2026-08-13T15:51:31Z)
• Purified OPSD: On-Policy Self-Distillation Without Losing How to Think [52.879387744920415]
  オンライン自己蒸留(OPSD)は長いチェーン・オブ・ソート(Long-CoT)推論モデルでは一貫して失敗する。 まず,教師が指導信号の非伝達可能成分を分離するために,参照のみの教師を構築する。 第2に、この残差をよく形成されたPMIターゲット分布に変換するメカニズムとして、ポイントワイズ相互情報(PMI)を用いる。
  論文  参考訳（メタデータ） (2026-07-02T14:33:07Z)
• Prefix Teach, Suffix Fade: Local Teachability Collapse in Strong-to-Weak On-Policy Distillation [49.117085054884676]
  オンライン蒸留は、より強い教師からの強いフィードバックを使って、学生モデルを独自のロールアウトで訓練する。 我々は、この原則を軌跡固有のリリースルールで運用する。 強弱蒸留作業による実験結果から, この放出規則は標準全軌道PDよりも一貫して優れていたことが示唆された。
  論文  参考訳（メタデータ） (2026-05-13T15:05:30Z)
• VISD: Enhancing Video Reasoning via Structured Self-Distillation [4.8876574457819855]
  複雑な推論のためのビデオLLMの訓練は、レベルレベルの報酬の順序と、長期的、時間的基盤の推論軌道上のきめ細かいクレジット割り当ての欠如により、依然として困難である。 ビデオ推論のための診断に意味のある特権情報を導入した自己蒸留フレームワークであるVISDを提案する。
  論文  参考訳（メタデータ） (2026-05-07T12:13:15Z)
• Siamese Learning with Joint Alignment and Regression for Weakly-Supervised Video Paragraph Grounding [70.31050639330603]
  ビデオ段落の接頭辞は、意味的関係と時間的順序を持つ複数の文を、トリミングされていないビデオからローカライズすることを目的としている。 既存のVPGアプローチは、かなりの数の時間ラベルに大きく依存している。 我々は、時間的アノテーションの必要性を排除するために、Wakly-Supervised Video paragraph Grounding (WSVPG)を導入し、探索する。
  論文  参考訳（メタデータ） (2024-03-18T04:30:31Z)
• Transform-Equivariant Consistency Learning for Temporal Sentence Grounding [66.10949751429781]
  ビデオ毎により差別的な表現を学習するために,新しい同変一貫性規則学習フレームワークを導入する。 私たちのモチベーションは、クエリ誘導アクティビティの時間的境界を一貫して予測することにある。 特に,ビデオの完全性と滑らか性を高めるために,自己教師付き一貫性損失モジュールを考案した。
  論文  参考訳（メタデータ） (2023-05-06T19:29:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。