論文の概要: VAD: Attributing Visual Evidence for Target Reconstruction in Multimodal On-Policy Distillation
- arxiv url: http://arxiv.org/abs/2607.28590v1
- Date: Thu, 30 Jul 2026 17:43:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-31 21:37:00.705546
- Title: VAD: Attributing Visual Evidence for Target Reconstruction in Multimodal On-Policy Distillation
- Title（参考訳）: マルチモーダルon-policy蒸留におけるターゲット再構築のための視覚的エビデンス
- Abstract要約: マルチモーダル・オン・ポリティクス蒸留は、生徒が生成した軌跡を教師に監督することで、きめ細かい視覚的知識を伝達する。
主な課題は、どの補正が、どのように蒸留するかだけでなく、視覚的証拠によって支えられているかを推定することである。
本稿では,教師の補正の視覚的帰属部分を推定する対物目標再構成アルゴリズムである視覚属性蒸留(VAD)を紹介する。
- 参考スコア（独自算出の注目度）: 46.347555076026964
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multimodal on-policy distillation (OPD) transfers fine-grained visual knowledge by supervising student-generated trajectories with a privileged-view teacher. Yet its next-token corrections are source-mixed, combining visual signals with linguistic priors and teacher-specific effects. The key challenge is to estimate which corrections are supported by visual evidence, not merely where or how strongly to distill. We introduce Visual Attribution Distillation (VAD), a counterfactual target-reconstruction algorithm that estimates the visually attributable part of a teacher correction. At each student-generated prefix, VAD evaluates the same fixed teacher with the relevant evidence present and removed. The corresponding change in centered log-probabilities defines ut, a signed proxy for the visual evidence direction that estimates how revealing the evidence supports or refutes candidate tokens. VAD projects the original correction onto this proxy to obtain an intervention-aligned component and a proxy-unexplained residual, then reconstructs a student-anchored target from the former. During training, this reconstructed target supplies the primary supervision signal, while the privileged teacher contributes a weak regularizer. Across six fine-grained visual benchmarks at 4B and 9B scales, VAD outperforms direct privileged-view distillation and visual-advantage weighting. Token- level and controlled-target analyses show that the proxy-aligned component is enriched in task-relevant visual corrections and yields stronger target shifts, especially when evidence refutes a mistaken answer. These results support counterfactual target reconstruction as an effective alternative to source-mixed supervision.
- Abstract（参考訳）: マルチモーダルオンライン蒸留(OPD)は、学生が生成した軌跡を特権的な視点の教師に監督することで、きめ細かい視覚的知識を伝達する。
しかし、その次となる補正は、視覚信号と言語的先行と教師固有の効果を組み合わせたソースミックスである。
鍵となる課題は、どの補正が単に蒸留する場所や強さではなく、視覚的証拠によって支えられているかを推定することである。
本稿では,教師の補正の視覚的帰属部分を推定する対物目標再構成アルゴリズムである視覚属性蒸留(VAD)を紹介する。
学生が作成した各接頭辞において、VADは、関連するエビデンスが存在して取り除かれた同じ固定された教師を評価する。
中心的ログ確率の対応する変更は ut を定義する。これは視覚的エビデンス方向の署名されたプロキシで、そのエビデンスを明らかにすることが、候補トークンをどのように支持するか、あるいは反証するかを見積もる。
VADは、このプロキシにオリジナルの修正を投影し、介入整合コンポーネントとプロキシ非説明残高を取得し、前者から学生が選択したターゲットを再構築する。
訓練中、この再構成されたターゲットは主要な監視信号を供給し、特権教師は弱い正規化に寄与する。
4Bおよび9Bスケールの6つのきめ細かいビジュアルベンチマークにおいて、VADは直接の特権的なビュー蒸留と視覚的アドバンテージの重み付けより優れている。
Token-level and controlled-target analysis shows that the proxy-aligned component is enriched in task-relevant visual corrects and yields stronger target shifts、特にエビデンスが誤答した場合には。
これらの結果は、ソース混在型監視の効果的な代替手段として、対物目標再構築を支援する。
関連論文リスト
- OPD-Aha: From Linguistic Momentum to Visual Reflection in Multimodal On-Policy Distillation [15.986808086256792]
プリヴィレグドオン政治蒸留は、教師がリッチで訓練のみの視覚的証拠を用いて学生の軌跡を評価することによってマルチモーダル推論を改善する。
この誤解を招く合意の下では,教師の視覚的矯正的嗜好は失われないことがわかった。
我々は,この分離された視覚的嗜好から直接蒸留ターゲットを再構築するOPD-Ahaを紹介する。
論文 参考訳（メタデータ） (2026-09-15T00:25:28Z) - CA-OPD: Confidence-Aware On-Policy Distillation for Structured Visual Prediction [12.346416465825627]
信頼できるオン・ポリシィ蒸留(CA-OPD)は、信頼性の高いロールアウト構築と適応的な監視を結合するフレームワークである。
GUIグラウンディングと光学文字認識のためのマルチ教師設定で評価され、CA-OPDはQwen3.5-0.8Bベースラインを大幅に改善する。
論文 参考訳（メタデータ） (2026-09-02T10:11:59Z) - H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。
既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。
本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
論文 参考訳（メタデータ） (2026-07-21T10:47:27Z) - Purified OPSD: On-Policy Self-Distillation Without Losing How to Think [52.879387744920415]
オンライン自己蒸留(OPSD)は長いチェーン・オブ・ソート(Long-CoT)推論モデルでは一貫して失敗する。
まず,教師が指導信号の非伝達可能成分を分離するために,参照のみの教師を構築する。
第2に、この残差をよく形成されたPMIターゲット分布に変換するメカニズムとして、ポイントワイズ相互情報(PMI)を用いる。
論文 参考訳（メタデータ） (2026-07-02T14:33:07Z) - Token-level Response-visual Attention Guidance for Multimodal LLMs Knowledge Distillation [36.9736177938003]
token-level Response-visual Attention Guidance (TRAG)を紹介する。
TRAGは、フォーカスをレスポンス・ツー・ビジョンの信号にシフトし、トークン固有の目的を使用する。
複数のベンチマークによる実験結果から,TRAGは蒸留前のベースラインを著しく上回ることがわかった。
論文 参考訳（メタデータ） (2026-07-01T08:03:30Z) - HERO: Hindsight-Enhanced Reflection from Environment Observations for Agentic Self-Distillation [50.53459634301361]
HEROは、次の環境観測を局所的に整列したフィードバックとして利用する、後向きの自己蒸留フレームワークである。
HEROはタスク成功を改善し、環境フィードバックのみの自己蒸留とGRPOに対する不要なターンを減らす。
論文 参考訳（メタデータ） (2026-06-10T01:35:34Z) - Trajectory-Refined Distillation [25.346810464266497]
トラジェクトリ精製蒸留(Trjectory-Refined Distillation, TRD)は、教師指導下で生徒のロールアウトをオンライン支援中に修正するトラジェクトリレベルの補正法である。
TRDは、特権情報に規定された学生モデルを教師として使用するパラメータ共有型である、オンライン自己蒸留(OPSD)にも適用することができる。
論文 参考訳（メタデータ） (2026-06-07T03:17:25Z) - AVSD: Adaptive-View Self-Distillation by Balancing Consensus and Teacher-Specific Privileged Signals [65.71225905458182]
自己蒸留は、生徒と教師の両方と同じモデルを用いて、言語モデルが自身の軌道から政治学を学ぶことを可能にする。
このセットアップは、別の外部モデルに頼ることなく、密集したトークンレベルのフィードバックを提供する。
複数の特権情報ビューを持つ自己蒸留法であるAVSDを紹介する。
論文 参考訳（メタデータ） (2026-05-20T03:06:36Z) - Molecular Identifier Visual Prompt and Verifiable Reinforcement Learning for Chemical Reaction Diagram Parsing [52.825281124618535]
反応図解析(RxnDP)は、文献から化学合成情報を抽出するために重要である。
近年の視覚言語モデル(VLM)はこの複雑な視覚的推論タスクを自動化するための有望なパラダイムとして登場した。
この研究はVLMベースのRxnDPを2つの相補的視点、すなわち表現の促進と学習パラダイムから強化する。
論文 参考訳（メタデータ） (2026-03-16T09:17:05Z) - Look As You Think: Unifying Reasoning and Visual Evidence Attribution for Verifiable Document RAG via Reinforcement Learning [55.232400251303794]
Look As You Think (LAT)は、モデルをトレーニングし、一貫した帰属性を持った検証可能な推論パスを生成するための強化学習フレームワークである。
LATはシングルイメージとマルチイメージの両方でバニラモデルを一貫して改善し、平均ゲインは8.23%、IoU@0.5では47.0%となる。
論文 参考訳（メタデータ） (2025-11-15T02:50:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。