論文の概要: KVE-KD: Key Visual Evidence-Guided Knowledge Distillation for Vision-Language Models

• arxiv url: http://arxiv.org/abs/2610.03842v1
• Date: Fri, 02 Oct 2026 15:59:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:48:29.9898
• Title: KVE-KD: Key Visual Evidence-Guided Knowledge Distillation for Vision-Language Models
• Title（参考訳）: KVE-KD:視覚言語モデルのためのキービジュアルエビデンス誘導知識蒸留
• Abstract要約: キービジュアルエビデンス誘導知識蒸留(英: Key Visual Evidence-Guided Knowledge Distillation, KVE-KD)は、タスク関連視覚トークンに特徴蒸留に焦点を当てたフレームワークである。 6つのベンチマーク実験により、KVE-KDは最先端のクロスモーダル蒸留法より優れていることが示された。
• 参考スコア（独自算出の注目度）: 15.62377855332341
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge distillation is crucial for deploying vision-language models on resource-constrained devices. However, existing methods typically impose uniform supervision across visual tokens or rely on static token selection, which confuses task-relevant cues with background noise and degrades cross-modal reasoning. To address this limitation, we propose Key Visual Evidence-guided Knowledge Distillation (KVE-KD), a framework that dynamically focuses feature distillation on task-relevant visual tokens identified by the teacher model. Specifically, KVE-KD appoints the final pre-generation textual token as a unified semantic anchor and identifies the target cross-modal fusion layer by analyzing changes in the anchor representation through iterative visual-token contribution removal. Within this layer, KVE-KD ranks visual tokens via the anchor-conditioned attention distribution and selects the most informative visual tokens as key visual evidence with normalized entropy. The key visual evidence subsequently guides focused visual feature distillation, making the student align closely with the teacher's task-relevant visual representations while suppressing irrelevant background information. Extensive experiments on six benchmarks demonstrate that KVE-KD outperforms state-of-the-art cross-modal distillation methods, with particularly pronounced gains on tasks requiring complex reasoning and fine-grained visual understanding. Importantly, these improvements are achieved without introducing any inference-time overhead. The source code is available at https://github.com/zhangjianbin07/KVE-KD.
• Abstract（参考訳）: 知識蒸留は、資源制約されたデバイスに視覚言語モデルをデプロイするために重要である。 しかし、既存の手法では一般的に、視覚的トークンの統一的な監視や静的トークンの選択に依存しており、これはタスク関連キューとバックグラウンドノイズを混同し、クロスモーダル推論を劣化させる。 この制限に対処するため,教師モデルによって識別されるタスク関連視覚トークンに機能蒸留を動的に焦点を絞ったキービジュアルエビデンス誘導知識蒸留(KVE-KD)を提案する。 具体的には、KVE-KDは、最終世代前のテキストトークンを統一的なセマンティックアンカーとして指定し、反復的な視覚的コントリビューション除去によってアンカー表現の変化を分析することにより、ターゲット間の融合層を識別する。 この層の中で、KVE-KDはアンカー条件の注意分布を介して視覚トークンをランク付けし、最も情報性の高い視覚トークンを正規化されたエントロピーを持つ重要な視覚的証拠として選択する。 その後、重要な視覚的証拠は視覚的特徴の蒸留に焦点を合わせ、教師のタスク関連視覚表現と密接に一致させ、無関係な背景情報を抑圧する。 6つのベンチマークでの大規模な実験により、KVE-KDは最先端のクロスモーダル蒸留法よりも優れており、複雑な推論ときめ細かな視覚的理解を必要とするタスクにおいて特に顕著である。 重要なのは、これらの改善は推論時のオーバーヘッドを導入することなく達成されることだ。 ソースコードはhttps://github.com/zhangjianbin07/KVE-KDで入手できる。

関連論文リスト

• Token-level Response-visual Attention Guidance for Multimodal LLMs Knowledge Distillation [36.9736177938003]
  token-level Response-visual Attention Guidance (TRAG)を紹介する。 TRAGは、フォーカスをレスポンス・ツー・ビジョンの信号にシフトし、トークン固有の目的を使用する。 複数のベンチマークによる実験結果から,TRAGは蒸留前のベースラインを著しく上回ることがわかった。
  論文  参考訳（メタデータ） (2026-07-01T08:03:30Z)
• Beyond Static Visual Tokens: Structured Sequential Visual Chain-of-Thought Reasoning [8.10005273393957]
  構造系列型ビジュアルCoT SSV-CoTを提案する。 まず,重要な視覚領域を特定し整理し,視覚的重要性の空間分布を明示的にモデル化する。 第二に、この識別順序に従って推論が行われ、一次から二次へとカリキュラムのようなセマンティックな進行を誘導する。
  論文  参考訳（メタデータ） (2026-03-21T20:13:15Z)
• Focus-Scan-Refine: From Human Visual Perception to Efficient Visual Token Pruning [78.75062483648243]
  視覚言語モデル(VLM)は、しばしば大量の視覚トークンを生成し、推論遅延とメモリフットプリントを大幅に増加させる。 視覚的質問に対して人間がどのように答えるかを模倣する,人間にインスパイアされたプラグアンドプレイプルーニングフレームワークであるFSRを提案する。 FSRは、既存の最先端プルーニング法よりも精度と効率のトレードオフを一貫して改善する。
  論文  参考訳（メタデータ） (2026-02-05T16:02:48Z)
• HERO: Rethinking Visual Token Early Dropping in High-Resolution Large Vision-Language Models [60.028070589466445]
  本稿では,コンテンツ適応型トークン予算配分と関数対応トークン選択を統合したフレームワークHEROを提案する。 本研究は、HR-LVLMにおける効率的な推論に対する経験的洞察と実践的解決策の両方を提供する。
  論文  参考訳（メタデータ） (2025-09-16T13:22:08Z)
• VIKSER: Visual Knowledge-Driven Self-Reinforcing Reasoning Framework [9.117968563144464]
  視覚推論とは、視覚情報に関する問題を解くタスクである。 我々はこれらの問題に対処するためにVIKSER(Visual Knowledge-Driven Self-Reinforcing Reasoning Framework)を提案する。 VIKSERは、視覚関係検出技術の助けを借りて、きめ細かい視覚知識を抽出する。 我々は、解釈可能な推論機能を備えたVIKSERを実現するために、Chain-of-Evidence(CoE)と呼ばれる新しいプロンプト手法を設計する。
  論文  参考訳（メタデータ） (2025-02-02T07:54:55Z)
• KNN Transformer with Pyramid Prompts for Few-Shot Learning [52.735070934075736]
  Few-Shot Learningはラベル付きデータで新しいクラスを認識することを目的としている。 近年の研究では、視覚的特徴を調節するためのテキストプロンプトを用いたまれなサンプルの課題に対処しようと試みている。
  論文  参考訳（メタデータ） (2024-10-14T07:39:30Z)
• Attend and Enrich: Enhanced Visual Prompt for Zero-Shot Learning [114.59476118365266]
  視覚表現豊か化のための意味強調プロンプトを抽出するための視覚的プロンプトに意味情報を付与するAENetを提案する。 AENetは、2つの重要なステップから構成される: 1) 視覚的・属性的モダリティの概念調和トークンを探索し、一貫した視覚的セマンティックな概念を表す様相共有トークンに基づく。
  論文  参考訳（メタデータ） (2024-06-05T07:59:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。