論文の概要: DVTR-KD: Distilling Vision-Language Models via Intermediate Visual Token Reconstruction

• arxiv url: http://arxiv.org/abs/2610.17853v1
• Date: Tue, 13 Oct 2026 07:18:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 08:32:10.401757
• Title: DVTR-KD: Distilling Vision-Language Models via Intermediate Visual Token Reconstruction
• Title（参考訳）: DVTR-KD:中間視力再構成による視覚言語モデルの蒸留
• Abstract要約: 我々は,textbfDense textbfVisual textbfToken textbfReconstructionに基づく知識蒸留フレームワークDVTR-KDを提案する。 視覚情報読取に重要な中間層への入力において,最後のLCM層以降の視覚状態を再構成する。
• 参考スコア（独自算出の注目度）: 12.942185708706115
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal large language models (MLLMs) have achieved strong performance on diverse vision-language tasks, but their computational demands limit deployment under constrained budgets, particularly on edge devices. Many works focus on Knowledge Distillation (KD) and try to transfer knowledge from powerful teacher models to students. In addition to reducing model size, visual token compression provides a complementary route to efficiency, but introduces mismatched visual token counts that complicate direct token-wise knowledge transfer. To mitigate this, we propose DVTR-KD, a knowledge distillation framework based on \textbf{D}ense \textbf{V}isual \textbf{T}oken \textbf{R}econstruction, which reconstructs the teacher's dense visual tokens from the student's compressed tokens. We reconstruct visual states after the final LLM layer and at the input to an intermediate layer identified as important for visual-information readout. At the intermediate layer, reconstruction is supervised through the teacher's response predictions rather than by direct token-wise KL or MSE matching. An auxiliary attention-readout loss complements this response-level supervision by aligning how the student and the original teacher integrate contextual information when predicting responses. Evaluations on diverse benchmarks demonstrate that DVTR-KD improves the performance of token-compressed students while retaining the inference efficiency afforded by visual token compression.
• Abstract（参考訳）: MLLM(Multimodal large language model)は、様々な視覚言語タスクにおいて高い性能を達成しているが、その計算要求は制約された予算、特にエッジデバイスでのデプロイメントを制限する。 多くの作品は知識蒸留(KD)に焦点を当てており、強力な教師モデルから生徒に知識を移そうとしている。 モデルサイズの削減に加えて、視覚的トークン圧縮は効率を補完する経路を提供するが、直接的なトークン単位の知識伝達を複雑にする、ミスマッチした視覚的トークン数を導入する。 そこで本稿では,教師の高密度な視覚トークンを圧縮トークンから再構成する,知識蒸留フレームワークであるDVTR-KDを提案する。 視覚情報読取に重要な中間層への入力において,最後のLCM層以降の視覚状態を再構成する。 中間層では、直接トークンワイドKLやMSEマッチングではなく、教師の反応予測によって再構成を監督する。 補助的な注意読出損失は、学生と原教師が応答を予測する際に、どのように文脈情報を統合するかを調整することで、この応答レベルの監督を補完する。 各種ベンチマークによる評価から,DVTR-KDは,視覚的トークン圧縮による推論効率を維持しつつ,トークン圧縮された学生のパフォーマンスを向上させることが示された。

関連論文リスト

• Metric-Driven Reinforcement Learning for Object Hallucination Reduction in LVLM-Based Image Captioning [39.05194972798784]
  LVLM(Large Vision-Language Models)は、特に画像キャプションにおいて、視覚的および言語的理解において優れている。 データセットを強化した教師付きトレーニングや、人間のフィードバックからの強化学習を含む、以前の治療法は、約束を示しているが、コストのかかる人間の関与に大きく依存している。 自然言語処理(NLP)メトリクスによって駆動されるLVLM画像キャプションにおける物体の幻覚を軽減するための強化学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-10-10T14:47:47Z)
• KVE-KD: Key Visual Evidence-Guided Knowledge Distillation for Vision-Language Models [15.62377855332341]
  キービジュアルエビデンス誘導知識蒸留(英: Key Visual Evidence-Guided Knowledge Distillation, KVE-KD)は、タスク関連視覚トークンに特徴蒸留に焦点を当てたフレームワークである。 6つのベンチマーク実験により、KVE-KDは最先端のクロスモーダル蒸留法より優れていることが示された。
  論文  参考訳（メタデータ） (2026-10-02T15:59:41Z)
• Self-Supervised Learning as Discrete Communication [3.33876524834826]
  ほとんどの自己教師付き学習(SSL)メソッドは、同じ入力の異なるビューを整列させることで、連続的な視覚表現を学習する。 我々は,教師と学生ネットワーク間の個別のコミュニケーションプロセスとして,視覚的自己教師型学習の枠組みを定めている。 プロジェクションヘッドの周期的再起動は、予測的のままの埋め込みを促進することによって、この効果を高めることを示す。
  論文  参考訳（メタデータ） (2026-02-10T13:24:06Z)
• CoViPAL: Layer-wise Contextualized Visual Token Pruning for Large Vision-Language Models [75.88232735646018]
  LVLM(Large Vision-Language Models)は、画像やビデオから抽出されたテキストトークンとビジョントークンからなるマルチモーダル入力を処理する。 既存の手法は冗長な視覚トークンを創りだそうとしており、視覚表現のかなりの冗長性を明らかにしている。 我々は,LVLMで処理される前に冗長な視覚トークンを予測・削除するために,Plug-and-Play Pruning Module (PPM) を用いるレイヤワイズなコンテキスト対応型視覚トークンプルーニング手法であるCoViPALを提案する。
  論文  参考訳（メタデータ） (2025-08-24T07:47:00Z)
• Rethinking Visual Token Reduction in LVLMs under Cross-modal Misalignment [38.04426918886084]
  視覚言語モデル(LVLM)は、視覚入力をパッチレベルのトークンの密度の高いシーケンスとしてエンコードし、微細なセマンティクスをキャプチャする。 これまでは、大型言語モデル(LLM)の前か中のいずれかで、視覚トークンの削減を検討してきた。 トレーニングフリーで視覚のみのプルーニングフレームワークであるVisionDropを導入し、モーダル内(視覚から視覚への)注目に基づいて情報的視覚トークンを選択する。
  論文  参考訳（メタデータ） (2025-06-27T14:55:40Z)
• "Principal Components" Enable A New Language of Images [79.45806370905775]
  証明可能なPCAのような構造を潜在トークン空間に組み込む新しい視覚トークン化フレームワークを導入する。 提案手法は、最先端の再構築性能を実現し、人間の視覚システムとの整合性を向上する。
  論文  参考訳（メタデータ） (2025-03-11T17:59:41Z)
• Efficient Large Multi-modal Models via Visual Context Compression [23.966237939194514]
  本稿では,視覚トークンに関する冗長性の解析と,大規模言語モデルにおける効率的な訓練について述べる。 最初の実験では、単に平均プーリングによってテスト段階で最大70%の視覚トークンを除去することは、視覚的質問応答精度の最小3%の低下にしか至らないことが示された。 GQAベンチマークにビジュアルコンテキストを導入し、視覚トークンの数を減らし、性能を犠牲にすることなくトレーニングと推論効率を向上させる。
  論文  参考訳（メタデータ） (2024-06-28T17:57:14Z)
• IntCoOp: Interpretability-Aware Vision-Language Prompt Tuning [94.52149969720712]
  IntCoOpは、プロンプトチューニング中に属性レベルの帰納バイアスとクラス埋め込みを共同で調整することを学ぶ。 IntCoOpは10種類のデータセットの平均パフォーマンスを7.35%改善した。
  論文  参考訳（メタデータ） (2024-06-19T16:37:31Z)
• Object Relational Graph with Teacher-Recommended Learning for Video Captioning [92.48299156867664]
  本稿では,新しいモデルと効果的なトレーニング戦略の両方を含む完全なビデオキャプションシステムを提案する。 具体的には,オブジェクトリレーショナルグラフ(ORG)に基づくエンコーダを提案する。 一方,教師推薦学習(TRL)手法を設計し,成功した外部言語モデル(ELM)をフル活用し,豊富な言語知識をキャプションモデルに統合する。
  論文  参考訳（メタデータ） (2020-02-26T15:34:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。