SAB-LVLM: Significance-Aware Binarization for Large Vision-Language Models
Abstractの概要
本論文は、マルチモーダル展開時のメモリおよび遅延の負担を軽減するため、約1ビットの圧縮条件における大規模視覚言語モデル（LVLM）の訓練後重み2値化について研究している。核となるアイデアは、すべての重みを等しく扱うのではなく、2値化処理において重みの「重要度を認識（significance-aware）」させることである。この手法は、キャリブレーションデータに基づくヘッセ行列の統計を用いてテキストおよび視覚に対する重みの感度を推定し、空間的シグニフィカンスマップを構築して主に単一モーダルな重みとクロスモーダルな重みを分離した上で、これらの信号を重要度認識2値化マップへと統合する。得られたマップを用いて2値化の目的関数を再重み付けし、交互の重要度重み付け更新スキームによって低ビットの重みを最適化する。Qwen2.5-VLおよびInternVL3.5ファミリーを用いたMMStar、DocVQA、TextVQA、Video-MME、VSI-Benchでの実験により、このアプローチが従来の1ビット訓練後2値化ベースラインよりもマルチモーダル能力を良好に保持することが示された。
新規性
本論文の主な新規性は、重みの重要度が層全体およびテキストと視覚のモダリティ両方で統合的にモデル化される、LVLM専用に設計された重要度を認識する2値化フレームワークを提案した点にある。その特徴的な構成要素は、空間的シグニフィカンスマップ、モダリティ主導の重要度統合、およびこれらの重要度の重みを2値化の目的関数に直接組み込む交互更新手順である。
成果
複数のQwen2.5-VLおよびInternVL3.5モデルにおいて、SAB-LVLMはほぼ同じ約1.07ビットのストレージ容量を維持しながら、PB-LLM、BiLLM、ARB-LLMなどの従来の1ビットベースラインを一貫して上回った。例えば、Qwen2.5-VL-32B-Instructでは、同等の10.28 GBのメモリにおいてMMStarでARB-LLMの48.48に対し54.77を達成し、Qwen2.5-VL-72B-InstructではVideo-MMEでARB-LLMの61.15に対し64.93を達成した。さらにアブレーション実験により、適応型のモダリティ主導統合と完全な空間的シグニフィカンスマップが性能向上に重要な役割を果たしていることが示されている。
論文の注目点
- SAB-LVLMは、ヘッセ行列に基づく感度を用いてテキストと画像入力に対する重みの重要性を個別に推定し、空間的シグニフィカンスマップを通じて単一モーダルおよびマルチモーダルな活性化パターンを区別する。
- 本手法は、単に大域的な量子化誤差を最小化するのではなく、重要度認識マップを用いて2値化損失を再重み付けし、交互の重要度重み付け更新によって2値重みを最適化する。
- 実証評価において、SAB-LVLMは約1ビットの圧縮効率を維持しつつ、5つのマルチモーダルベンチマークおよび複数のサイズのQwen2.5-VL・InternVL3.5モデルで1ビットLVLMの2値化性能を向上させた。