論文の概要: EM-KD: Distilling Efficient Multimodal Large Language Model with Unbalanced Vision Tokens
- arxiv url: http://arxiv.org/abs/2511.21106v1
- Date: Wed, 26 Nov 2025 06:45:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-27 18:37:58.996511
- Title: EM-KD: Distilling Efficient Multimodal Large Language Model with Unbalanced Vision Tokens
- Title（参考訳）: EM-KD:非平衡ビジョントークンを用いた効率的な多モード大言語モデルの蒸留
- Abstract要約: 効率的なマルチモーダル大言語モデル(MLLM)は、リソース消費を減らすために視覚トークンを圧縮するが、視覚情報の喪失は理解能力を低下させる可能性がある。
学生モデルを強化するために知識蒸留を導入した先駆者もいるが、細粒度の視覚理解の根本的な違いを見落としている。
本稿では,知識蒸留による効率的なMLLMを実現する新しいパラダイムであるEM-KDを提案する。
- 参考スコア（独自算出の注目度）: 37.11253070112327
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Efficient Multimodal Large Language Models (MLLMs) compress vision tokens to reduce resource consumption, but the loss of visual information can degrade comprehension capabilities. Although some priors introduce Knowledge Distillation to enhance student models, they overlook the fundamental differences in fine-grained vision comprehension caused by unbalanced vision tokens between the efficient student and vanilla teacher. In this paper, we propose EM-KD, a novel paradigm that enhances the Efficient MLLMs with Knowledge Distillation. To overcome the challenge of unbalanced vision tokens, we first calculate the Manhattan distance between the vision logits of teacher and student, and then align them in the spatial dimension with the Hungarian matching algorithm. After alignment, EM-KD introduces two distillation strategies: 1) Vision-Language Affinity Distillation (VLAD) and 2) Vision Semantic Distillation (VSD). Specifically, VLAD calculates the affinity matrix between text tokens and aligned vision tokens, and minimizes the smooth L1 distance of the student and the teacher affinity matrices. Considering the semantic richness of vision logits in the final layer, VSD employs the reverse KL divergence to measure the discrete probability distributions of the aligned vision logits over the vocabulary space. Comprehensive evaluation on diverse benchmarks demonstrates that EM-KD trained model outperforms prior Efficient MLLMs on both accuracy and efficiency with a large margin, validating its effectiveness. Compared with previous distillation methods, which are equipped with our proposed vision token matching strategy for fair comparison, EM-KD also achieves better performance.
- Abstract（参考訳）: 効率的なマルチモーダル大言語モデル(MLLM)は、リソース消費を減らすために視覚トークンを圧縮するが、視覚情報の喪失は理解能力を低下させる可能性がある。
学生モデルを強化するために知識蒸留を導入した先駆者もいたが、効率の良い生徒とバニラ教師の非バランスな視覚トークンに起因する微粒化視覚理解の根本的な違いを見落としている。
本稿では,知識蒸留による効率的なMLLMを実現する新しいパラダイムであるEM-KDを提案する。
まず,教師と生徒の視線ロジット間のマンハッタン距離を計算し,その空間次元をハンガリーマッチングアルゴリズムと整合させる。
アライメント後、EM-KDは2つの蒸留戦略を導入した。
1)Vision-Language Affinity Distillation(VLAD)と
2)視覚セマンティック蒸留(VSD)
具体的には、VLADは、テキストトークンとアライメントされたビジョントークンとの間の親和性行列を算出し、学生と教師親和性行列のスムーズなL1距離を最小化する。
最終層における視覚ロジットのセマンティックリッチ性を考慮すると、VSDは逆KL分岐を用いて、語彙空間上のアライメントされた視覚ロジットの離散確率分布を測定する。
多様なベンチマークに関する総合的な評価は、EM-KD訓練されたモデルは、高いマージンで精度と効率の両方において、より効率的なMLLMよりも優れた性能を示し、その有効性を検証している。
提案手法は, 従来の蒸留法と比較し, 良好な比較を行うため, EM-KDは優れた性能を発揮する。
関連論文リスト
- LearnPruner: Rethinking Attention-based Token Pruning in Vision Language Models [8.039490357019801]
VLM(Vision-Language Models)は近年,視覚的理解と推論において顕著な能力を示した。
また、長い視覚的シーケンス入力による計算負荷も大きい。
近年の研究では、重要でない視覚トークンを抽出し、計算量を大幅に削減することでこの問題に対処している。
論文 参考訳（メタデータ） (2026-04-27T01:56:59Z) - Dual-Space Knowledge Distillation with Key-Query Matching for Large Language Models with Vocabulary Mismatch [2.752817022620644]
大規模言語モデル(LLM)は、言語タスク全体にわたって最先端(SOTA)のパフォーマンスを達成するが、そのサイズとリソース要求のため、デプロイにはコストがかかる。
知識蒸留(KD)は、より小さな学生モデルを訓練して、より大きな教師モデルを模倣し、大きなパフォーマンス損失を伴わずに効率を向上することで、この問題に対処する。
論文 参考訳（メタデータ） (2026-03-23T14:53:55Z) - Attention Guided Alignment in Efficient Vision-Language Models [56.20286899428444]
VLM(Large Vision-Language Models)は、事前訓練された視覚エンコーダとLLM(Large Language Models)の効果的なマルチモーダルアライメントに依存している。
本稿では,効率的なVLMにおける注意パターンの包括的解析について述べる。
本稿では,Attention-Guided Efficient Vision-Language Models (AGE-VLM)を紹介する。
論文 参考訳（メタデータ） (2025-11-21T21:36:48Z) - Learning Compact Vision Tokens for Efficient Large Multimodal Models [11.212952256422609]
本稿では,短時間の視覚トークンシーケンスに対して,コンパクトな視覚トークンを学習する手法を提案する。
また,マルチブロックトークン融合 (MBTF) モジュールを導入し,トークン列の低減のために多粒度機能を補う。
提案手法は,8つの人気視線ベンチマークのベースラインに匹敵する,あるいはさらに優れた性能を達成している。
論文 参考訳（メタデータ） (2025-06-08T13:36:06Z) - VladVA: Discriminative Fine-tuning of LVLMs [67.14293827774827]
CLIPのような対照的に訓練された視覚言語モデル(VLM)は、識別的視覚言語表現学習の事実上のアプローチとなっている。
我々は,LVLMの識別的微調整のための新たな訓練手法である「両世界のベスト」を組み合わせることを提案する。
論文 参考訳（メタデータ） (2024-12-05T17:54:27Z) - FoPru: Focal Pruning for Efficient Large Vision-Language Models [11.36025001578531]
本稿では、視覚エンコーダから導出される注目に基づくトークンの重要度に基づいて、視覚トークンを抽出する訓練不要なFocal Pruning(FoPru)を提案する。
提案手法は,高い精度を維持しつつ多数の冗長トークンを抽出し,推論効率を大幅に向上させる。
論文 参考訳（メタデータ） (2024-11-21T14:22:38Z) - VideoLLM-MoD: Efficient Video-Language Streaming with Mixture-of-Depths Vision Computation [66.00245701441547]
我々は、視覚トークンの数を減らさずに、冗長な視覚トークンを「スキップ層」として活用することで、視覚計算を減らし、新しいアプローチを導入する。
提案手法であるVideoLLM-MoDは深度混合LLMにインスパイアされ,長期・ストリーミングビデオにおける多数の視覚トークンの課題に対処する。
論文 参考訳（メタデータ） (2024-08-29T17:21:58Z) - Machine Vision Therapy: Multimodal Large Language Models Can Enhance Visual Robustness via Denoising In-Context Learning [67.0609518552321]
本稿では,視覚モデルからノイズ予測を補正するマシンビジョンセラピーを提案する。
復調ラベルを微調整することにより、教師なしの方法で学習モデルの性能を高めることができる。
論文 参考訳（メタデータ） (2023-12-05T07:29:14Z) - Planting a SEED of Vision in Large Language Model [73.17530130368053]
このSEEDは,大規模言語モデル(LLM)とSEEとDrawを同時に実現する,精巧な画像トークンである。
このバージョンのSEEDは、64のV100 GPUと5Mのパブリックな画像テキストペアを使用して、5.7日間でトレーニングされた。
論文 参考訳（メタデータ） (2023-07-16T13:41:39Z) - Distilling Large Vision-Language Model with Out-of-Distribution
Generalizability [43.984177729641615]
本稿では,大規模教師の視覚言語モデルから軽量学生モデルへの視覚表現の蒸留について検討する。
本稿では,いくつかの指標を提案し,その手法を検証するための広範囲な実験を行う。
その結果,オープン・ボキャブラリ・アウト・オブ・ディストリビューションの分類において,ゼロショットと少数ショットの学生のパフォーマンスが著しく向上した。
論文 参考訳（メタデータ） (2023-07-06T17:05:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。