論文の概要: MeSD: Multi-Evidence Self-Distillation for VideoLLM

• arxiv url: http://arxiv.org/abs/2610.06342v1
• Date: Mon, 05 Oct 2026 13:46:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-09 09:05:04.377515
• Title: MeSD: Multi-Evidence Self-Distillation for VideoLLM
• Title（参考訳）: MeSD: VideoLLMのためのマルチエビデンス自己蒸留
• Abstract要約: 我々は,ビデオLLMのためのマルチエビデンス自己蒸留フレームワークであるMeSDを提案する。 MeSDは3つのエビデンス条件の教師を共通パラメータで構成する。 MeSDは軌道を成功、失敗、不決定と分類する。
• 参考スコア（独自算出の注目度）: 30.427962354142966
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While reinforcement learning with verifiable rewards provides reliable outcome supervision for VideoLLMs, sequence-level rewards offer limited token-level guidance. On-policy self-distillation addresses this limitation by conditioning a self-teacher on privileged information to provide dense token-level supervision. However, aggregating heterogeneous evidence within a single teacher context obscures cross-evidence agreement and conflict. A further challenge lies in determining whether teacher guidance should refine reward-based updates or provide corrective supervision for failed trajectories. To address these issues, we propose MeSD, a multi-evidence self-distillation framework for VideoLLMs. MeSD constructs three evidence-conditioned teachers with shared parameters, using the ground-truth answer as a common semantic context while separately incorporating temporal and spatial evidence. Given the same student-generated prefixes, MeSD evaluates evidence-specific preferences relative to the Answer Teacher and fuses teacher-common preferences with gated teacher-specific residuals. Furthermore, MeSD introduces Verification-Guided Optimization to classify trajectories as Success, Failure, or Indeterminate. For Success and Indeterminate trajectories, MeSD refines token-level advantage magnitudes while preserving reward-derived signs. For verified failure trajectories that contain the required evidence, MeSD applies failure-conditioned distillation, using reverse-KL correction toward the fused distribution. Experiments on multiple video benchmarks demonstrate consistent gains over reinforcement learning and self-distillation baselines.
• Abstract（参考訳）: 検証可能な報酬を用いた強化学習は、ビデオLLMの信頼性の高い結果管理を提供するが、シーケンスレベルの報酬はトークンレベルのガイダンスに制限がある。 On-policy self-distillationは、特権情報に自己教師を条件付け、トークンレベルの集中的な監視を提供することによって、この制限に対処する。 しかし、教師のコンテキスト内で異質な証拠を集約することは、クロスエビデンス合意と紛争を曖昧にする。 さらなる課題は、教師の指導が報酬ベースの更新を洗練すべきか、または失敗した軌道に対する修正的な監督を提供するべきかを決定することである。 これらの問題に対処するため,ビデオLLMのためのマルチエビデンス自己蒸留フレームワークであるMeSDを提案する。 MeSDは, 時間的・空間的証拠を別々に取り入れつつ, 基本真実解を共通意味文脈として用いて, 共通パラメータを持つエビデンス条件の教師を3人構成する。 学生が生成した同じ接頭辞が与えられた場合、MeSDはAnswer Teacherと比較してエビデンス固有の嗜好を評価し、教師に共通する嗜好を教師固有の残差と融合させる。 さらに、MeSDは、軌道を成功、失敗、不決定と分類するための検証誘導最適化を導入している。 成功と不決定の軌跡のために、MeSDは報酬由来の標識を保存しながらトークンレベルの有利度を洗練する。 必要な証拠を含む検証された故障軌跡に対して、MeSDは、融合分布に対する逆KL補正を用いて、故障条件付き蒸留を適用する。 複数のビデオベンチマークの実験では、強化学習と自己蒸留ベースラインよりも一貫した利得を示している。

関連論文リスト

• TeacherGRPO: Closing the Capacity Gap in Reasoning Distillation via Teacher Alignment [70.40748464576045]
  強力な教師モデルから小さな学生への蒸留はギャップカースに面している。 教師がより高度に成長するにつれて、複雑な分布は生徒が近似できるものから多様化し、パフォーマンスが低下する。 本研究では,教師がデータを捨てたり,推論品質を劣化させたりすることなく,直接生徒の分布に適応する教師アライメントを提案する。
  論文  参考訳（メタデータ） (2026-09-27T10:13:54Z)
• H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
  検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。 既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。 本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
  論文  参考訳（メタデータ） (2026-07-21T10:47:27Z)
• Purified OPSD: On-Policy Self-Distillation Without Losing How to Think [52.879387744920415]
  オンライン自己蒸留(OPSD)は長いチェーン・オブ・ソート(Long-CoT)推論モデルでは一貫して失敗する。 まず,教師が指導信号の非伝達可能成分を分離するために,参照のみの教師を構築する。 第2に、この残差をよく形成されたPMIターゲット分布に変換するメカニズムとして、ポイントワイズ相互情報(PMI)を用いる。
  論文  参考訳（メタデータ） (2026-07-02T14:33:07Z)
• OGLS-SD: On-Policy Self-Distillation with Outcome-Guided Logit Steering for LLM Reasoning [19.98950359294245]
  本研究は,教師の特権分布を自己の自給自足軌道に沿って蒸留することにより,言語モデルによる推論能力の向上を図ることを目的とする。 OPSDの性能向上にもかかわらず,教師と生徒の反応のミスマッチがよく見過ごされがちである。
  論文  参考訳（メタデータ） (2026-05-12T17:00:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。