論文の概要: Perception Before Supervision: Self-Contained Visual Distillation from Counterfactual Blind Spots
- arxiv url: http://arxiv.org/abs/2608.09931v1
- Date: Mon, 10 Aug 2026 17:59:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:37.430675
- Title: Perception Before Supervision: Self-Contained Visual Distillation from Counterfactual Blind Spots
- Title（参考訳）: スーパービジョン前の知覚:非現実的盲点からの自己完結型視覚蒸留
- Abstract要約: textbfCVPD (Contrastive Counterfactual Visual Process Distillation) はMLLMの高密度・高密度・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細の視覚的自己蒸留のためのフレームワークである。
CVPDは、ある領域にズームインする視覚盲点を特定し、モデルの回答分布を鋭くする一方で、同じ領域を削除することで、フルイメージの振る舞いがほとんど変わらない。
- 参考スコア（独自算出の注目度）: 28.035029653746335
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Self-improvement for multimodal large language models (MLLMs) is typically driven by reward-based methods that provide only coarse scalar feedback. Distillation offers a richer alternative through dense token-level supervision, but in the visual domain it usually depends on privileged context constructed using external annotations and tools, or stronger models. We introduce \textbf{CVPD} (Contrastive Counterfactual Visual Process Distillation), which, to the best of our knowledge, is the first fully self-contained framework for dense, on-policy, token-level visual self-distillation for MLLMs. CVPD identifies visual blind spots where zooming into a region changes and sharpens the model's answer distribution, while removing the same region leaves the full-image behavior largely unchanged. Such regions reveal perceptual information that the model can encode but fails to consistently utilize under full-image conditioning. We propose a three-gate Counterfactual Criterion that identifies these regions directly from the model's own responses and converts them into dense contrastive supervision for self-distillation. On Qwen3-VL-8B-Instruct, CVPD outperforms six self-evolving baselines across twelve benchmarks, including methods that rely on external GPT-4o supervision, without a single regression. It achieves gains of $+3.60$ on OCRBench, $+3.38$ on MMStar Fine-Grained Perception, and $+3.08$ on MMStar Logical Reasoning, while maintaining or improving performance on broader multimodal benchmarks.
- Abstract（参考訳）: マルチモーダル大言語モデル(MLLM)の自己改善は通常、粗いスカラーフィードバックのみを提供する報酬ベースの手法によって駆動される。
蒸留は、密集したトークンレベルの監視を通じて、よりリッチな代替手段を提供するが、ビジュアルドメインでは、通常、外部アノテーションやツールを使用して構築された特権付きコンテキスト、あるいはより強力なモデルに依存する。
本稿では,MLLMの高密度・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精・高精細・高精細・高精細・高精細・高精・高精
CVPDは、ある領域にズームインする視覚盲点を特定し、モデルの回答分布を鋭くする一方で、同じ領域を削除することで、フルイメージの振る舞いがほとんど変わらない。
このような領域は、モデルをエンコードできるが、フルイメージの条件下で一貫して利用できない知覚情報を明らかにする。
本稿では,これらの領域をモデル自身の反応から直接識別し,自己蒸留のための厳密なコントラストに変換する3ゲート対物基準を提案する。
Qwen3-VL-8B-Instructでは、CVPDは1回の回帰なしに外部のGPT-4o監視に依存する方法を含む12のベンチマークで6つの自己進化ベースラインを上回っている。
OCRBenchでは$3.60ドル、MMStar Fine-Grained Perceptionでは$3.38ドル、MMStar Logical Reasoningでは$3.08ドル、より広範なマルチモーダルベンチマークではパフォーマンスを維持または改善している。
関連論文リスト
- Failure-Informed Image Self-Augmentation for Multimodal Large Language Model Self-Improvement [50.97806700110183]
フェールインフォームドイメージの自己拡張(textbfFISA)はMLLMの自己改善のためのフレームワークで、モデル自身の障害ケースから拡張イメージを構築する。
本手法は,視覚的に難解だが解答保存画像のコンプリケーションを生成し,自己検査によりその有用性を検証し,意味的歪みを避けるために二重忠実度フィルタリングを適用する。
論文 参考訳（メタデータ） (2026-08-04T14:28:42Z) - Paying More Attention to Visual Tokens in Self-Evolving Large Multimodal Models [54.097381112138]
現在の自己進化型LMMは、イメージキャプションや視覚的質問応答といった視覚言語理解タスクに苦慮している。
モデルの視覚条件を直接正規化する,純粋に教師なしの自己進化型フレームワークであるVISEを提案する。
VISEは、専門的な役割、外部報酬モデル、アノテーションなしで単一のモデル内で動作します。
論文 参考訳（メタデータ） (2026-06-25T17:59:55Z) - DeltaRubric: Generative Multimodal Reward Modeling via Joint Planning and Verification [38.65432183778467]
一つのMLLM内でのプラン・アンド・エグゼキュートプロセスとしてマルチモーダルな選好評価を再構成するアプローチであるDeltaRubricを導入する。
DeltaRubricは2つのステップで動作する。まずは$textitDisagreement Planner$として動作し、中立でインスタンス固有のチェックリストを生成する。
我々はDeltaRubricをマルチロール強化学習問題として定式化し、計画と検証機能を共同で最適化する。
論文 参考訳（メタデータ） (2026-05-10T02:32:19Z) - Difference Feedback: Generating Multimodal Process-Level Supervision for VLM Reinforcement Learning [10.473880989969844]
本稿では,誤った推論軌道を修復することでトークン/ステップレベルの監視マスクを自動構築する差分フィードバックを提案する。
当社のアプローチは、正確なビジョン-推論プロセスアライメントに対して、効果的で低コストなソリューションを提供する。
論文 参考訳（メタデータ） (2026-03-29T02:31:12Z) - Learning Accurate Segmentation Purely from Self-Supervision [87.78965637247107]
Selfmentは完全に自己管理型のフレームワークで、人間のラベルなしでオブジェクトを生画像から直接分割する。
Selfmentは、複数のベンチマークで新しい最先端(SoTA)結果を設定する。
論文 参考訳（メタデータ） (2026-02-27T07:36:32Z) - Thinking with Deltas: Incentivizing Reinforcement Learning via Differential Visual Reasoning Policy [75.66913260900726]
検証可能なリワードによる強化学習は、大規模言語モデルにおいてかなり高度な推論能力を持っている。
既存のパラダイムは、テキスト中心の成果報酬によって推進され、モデルが視覚的知覚をバイパスすることを奨励します。
我々はtextbfDifferential Visual Reasoning Policy によって駆動されるフレームワーク Deltas を用いた textbfThinking を提案する。
論文 参考訳（メタデータ） (2026-01-11T08:25:34Z) - VOGUE: Guiding Exploration with Visual Uncertainty Improves Multimodal Reasoning [62.09195763860549]
検証可能な報酬(RLVR)による強化学習は、大きな言語モデル(LLM)の推論を改善するが、探索に苦労する。
出力(テキスト)から入力(視覚)空間へ探索をシフトする新しい手法である$textbfVOGUE(Visual Uncertainty Guided Exploration)を紹介した。
本研究は,視覚入力の本質的不確実性における基盤探索が,マルチモーダル推論を改善するための効果的な戦略であることを示す。
論文 参考訳（メタデータ） (2025-10-01T20:32:08Z) - GrAInS: Gradient-based Attribution for Inference-Time Steering of LLMs and VLMs [56.93583799109029]
GrAInSは推論時ステアリングのアプローチで、言語のみのモデルと視覚言語の両方のモデルとタスクで動作する。
推論中、GrAInSはトークンレベルの属性信号によって誘導されるトランスフォーマー層で隠されたアクティベーションを隠蔽し、アクティベーションを正規化し、表現スケールを保存する。
微調整と既存のステアリングベースラインの両方を一貫して上回る。
論文 参考訳（メタデータ） (2025-07-24T02:34:13Z) - Dual-Stage Value-Guided Inference with Margin-Based Reward Adjustment for Fast and Faithful VLM Captioning [23.851747078717473]
We introduced textbfValue-guided Inference with Margin-based Reward (ViMaR), a two-stage inference framework that improves efficiency and output fidelity。
ViMaRは、より信頼性が高く、事実的正確で、詳細で、解説的なキャプションを生成し、しかも4$times$ Speedupを達成している。
論文 参考訳（メタデータ） (2025-06-18T17:23:36Z) - Backdoor Cleaning without External Guidance in MLLM Fine-tuning [76.82121084745785]
Believe Your Eyes (BYE)は、アテンションエントロピーパターンを自己教師信号として活用して、バックドアサンプルを特定してフィルタリングするデータフィルタリングフレームワークである。
クリーンタスクのパフォーマンスを維持しながら、ほぼゼロの攻撃成功率を達成する。
論文 参考訳（メタデータ） (2025-05-22T17:11:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。