論文の概要: Decomposed On-Policy Distillation for Vision-Language Reasoning: Steering Gradients for Visual Grounding
- arxiv url: http://arxiv.org/abs/2606.00564v1
- Date: Sat, 30 May 2026 06:34:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-02 21:34:28.527006
- Title: Decomposed On-Policy Distillation for Vision-Language Reasoning: Steering Gradients for Visual Grounding
- Title（参考訳）: ビジョンランゲージ推論のためのオンライン蒸留の分解:視覚接地のためのステアリンググラディエント
- Abstract要約: 我々は,視覚言語モデル (VLM) 蒸留の標準的なモノリシックな見方に挑戦し,損失を2つの異なるコンポーネント(言語先行と視覚接地)に数学的に分解する。
本稿では、更新ベクトルを動的に並べ替えて視覚的な部分空間を優先順位付けするVisual Gradient Steering(VGS)を紹介する。
複数の蒸留条件と複雑なマルチモーダルベンチマークの実験結果は、VGSがオン・ポリケート蒸留の標準的なモノリシックな定式化を著しく上回っていることを示している。
- 参考スコア（独自算出の注目度）: 76.37424140943456
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While on-policy distillation offers dense supervision for training small reasoning models, its optimization dynamics in the multimodal domain remain under-explored. In this work, we challenge the standard monolithic view of Vision-Language Model (VLM) distillation by mathematically decomposing the loss into two distinct components: the language prior and visual grounding. Our analysis uncovers that gradient vectors for these components are nearly orthogonal, indicating that the objective of aligning with the teacher's language distribution is geometrically independent from the objective of matching its visual perception. Consequently, standard optimization passively follows a suboptimal compromise trajectory that implicitly balances the two objectives. Hypothesizing that visual grounding constitutes the primary bottleneck for vision-language reasoning, we introduce Visual Gradient Steering (VGS), a method that dynamically reorients the update vector to prioritize the visual subspace. Experimental results on multiple distillation settings and complex multimodal benchmarks demonstrate that VGS significantly outperforms the standard monolithic formulation of on-policy distillation, achieving superior grounding with minimal training overhead.
- Abstract（参考訳）: オンライン蒸留は、小さな推論モデルを訓練するための厳密な監督を提供するが、マルチモーダル領域における最適化のダイナミクスは未探索のままである。
本研究では,視覚・言語モデル (VLM) 蒸留の標準的なモノリシックな見方に挑戦する。
分析の結果、これらの成分の勾配ベクトルはほぼ直交していることが判明し、教師の言語分布と整合する目的が視覚的知覚と一致する目的から幾何学的に独立していることが判明した。
その結果、標準最適化は2つの目的を暗黙的にバランスさせる最適以下の妥協軌道を受動的に追従する。
視覚的グラウンドディングが視覚言語推論の主要なボトルネックとなることを仮定し、視覚的部分空間の優先順位付けのために更新ベクトルを動的に再配置するVisual Gradient Steering (VGS)を導入する。
複数の蒸留条件と複雑なマルチモーダルベンチマークの実験結果から、VGSはオン・ポリケート蒸留の標準的なモノリシックな定式化を著しく上回り、訓練のオーバーヘッドを最小限に抑えられることを示した。
関連論文リスト
- ExACT: Exemplar-Driven Calibrated Refinement for Training-Free Visual Grounding in Remote Sensing Images [51.53960096934913]
リモートセンシングビジュアルグラウンドティング(RSVG)は、自由形式の自然言語記述を用いて、高解像度のRS画像中の特定の物体を特定することを目的としている。
マルチモーダル大言語モデル(MLLM)の最近の進歩は、そのようなオープン語彙RSVGに大きな可能性を示している。
Inemplar-driven Calibrated Refinement (ExACT)を提案する。
論文 参考訳（メタデータ） (2026-06-27T13:50:39Z) - PointVG-R: Internalizing Geometric Reasoning in MLLMs for Precise Pointing Localization via Visual Chain of Thought [19.680475189691965]
ポインティングに基づく視覚的グラウンドリングでは、視覚シーンとポインティングジェスチャの間の複雑な空間的関係を解読することで、ターゲットオブジェクトを正確に特定する必要がある。
推論誘導型マルチモーダル言語モデル(MLLM)であるPointVG-Rを提案する。
我々は,人間の指し示すジェスチャーを解釈する際に使用する反復的認知過程をシミュレートする,新しい幾何学的推論パイプラインを設計する。
論文 参考訳（メタデータ） (2026-06-23T13:06:51Z) - GEM: Generative Supervision Helps Embodied Intelligence [60.28190143133428]
VLM(Embodied Vision-Language Models)は、ロボット工学における優れた性能と一般化を実証している。
標準的なテキスト誘導事前学習パラダイムの高レベルのセマンティックフォーカスと、エンボディ環境での実行に不可欠な低レベルの空間的および物理的知識との間には、大きなギャップが残っている。
我々は、この分割を橋渡しするために設計された、ジェネレーティブ制御されたエンボディード視覚言語モデルであるGEMを紹介する。
論文 参考訳（メタデータ） (2026-05-27T14:39:42Z) - Visually-Guided Policy Optimization for Multimodal Reasoning [60.035908460318126]
本稿では,VGPO(Visually-Guided Policy Optimization)を提案する。
VGPOは当初、視覚的類似性を活用して視覚的手がかりをローカライズし増幅する視覚的注意補償機構を導入した。
VGPOは、数学的多モーダル推論や視覚依存タスクにおいて、より優れた視覚的活性化と優れた性能を実現する。
論文 参考訳（メタデータ） (2026-04-10T14:22:38Z) - ProVG: Progressive Visual Grounding via Language Decoupling for Remote Sensing Imagery [20.725910735285762]
リモートセンシングビジュアルグラウンドティングは、自然言語表現によるリモートセンシング画像中のオブジェクトのローカライズを目的としている。
言語表現をグローバルな文脈,空間関係,オブジェクト属性に分解することで,局所化の精度を向上させる新しいRSVGフレームワークである textbfProVG を提案する。
ProVGは既存のメソッドを一貫して上回り、新しい最先端のパフォーマンスを実現している。
論文 参考訳（メタデータ） (2026-04-02T10:59:19Z) - ThinkJEPA: Empowering Latent World Models with Large Vision-Language Reasoning Model [53.15040805435013]
視覚言語モデル(VLM)は、一様にサンプリングされたフレームを解析することで、強力なセマンティックグラウンドと一般的な知識を提供する。
本稿では,高密度フレーム・ダイナミックス・モデリングと長軸意味指導を組み合わせたVLM誘導型JEPA型潜在世界モデリングフレームワークを提案する。
論文 参考訳（メタデータ） (2026-03-23T17:59:42Z) - Perception-Aware Multimodal Spatial Reasoning from Monocular Images [57.42071289037214]
単眼画像からの空間的推論は 自律運転には不可欠です
現在のヴィジュアルランゲージモデル(VLM)は、微粒な幾何学的知覚に苦慮している。
本稿では,VLMを明示的な対象中心の接地能力を持つ知覚認識型マルチモーダル推論フレームワークを提案する。
論文 参考訳（メタデータ） (2026-03-07T02:05:12Z) - Dynamic Multimodal Activation Steering for Hallucination Mitigation in Large Vision-Language Models [22.535916867005955]
LVLM(Large Vision-Language Models)は、視覚言語タスクにおいて優れた性能を示すが、幻覚に苦しむ。
本研究では,幻覚軽減のためのトレーニング不要アプローチである動的マルチモーダルアクティベーションステアリングを提案する。
論文 参考訳（メタデータ） (2026-02-25T09:10:00Z) - FRISM: Fine-Grained Reasoning Injection via Subspace-Level Model Merging for Vision-Language Models [20.47311573790516]
FRISM(Fine-fine Reasoning Injection via Subspace-level Model Merging)を提案する。
実験により、FRISMはモデルの本来の視覚能力を損なうことなく推論能力を効果的に改善することが示された。
論文 参考訳（メタデータ） (2026-01-29T02:36:19Z) - GoViG: Goal-Conditioned Visual Navigation Instruction Generation [69.79110149746506]
本稿では,Goal-Conditioned Visual Navigation Instruction Generation (GoViG)を紹介する。
GoViGは生のエゴセントリックな視覚データのみを活用し、目に見えない非構造環境への適応性を大幅に改善する。
論文 参考訳（メタデータ） (2025-08-13T07:05:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。