論文の概要: Delta-LLaVA: Base-then-Specialize Alignment for Token-Efficient Vision-Language Models

• arxiv url: http://arxiv.org/abs/2512.18910v1
• Date: Sun, 21 Dec 2025 23:02:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-23 18:54:32.554945
• Title: Delta-LLaVA: Base-then-Specialize Alignment for Token-Efficient Vision-Language Models
• Title（参考訳）: Delta-LLaVA:Token-Efficient Vision-Language Modelのためのベーステーマ特化アライメント
• Authors: Mohamad Zamini, Diksha Shukla,
• Abstract要約: MLLM(Multimodal Large Language Models)は、視覚とテキストの表現を組み合わせてリッチな推論機能を実現する。 トークン効率のよいプロジェクタであるDelta-LLaVAについて述べる。
• 参考スコア（独自算出の注目度）: 0.6015898117103069
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal Large Language Models (MLLMs) combine visual and textual representations to enable rich reasoning capabilities. However, the high computational cost of processing dense visual tokens remains a major bottleneck. A critical component in this pipeline is the visual projector, which bridges the vision encoder and the language model. Standard designs often employ a simple multi-layer perceptron for direct token mapping, but this approach scales poorly with high-resolution inputs, introducing significant redundancy. We present Delta-LLaVA, a token-efficient projector that employs a low-rank DeltaProjection to align multi-level vision features into a compact subspace before further interaction. On top of this base alignment, lightweight Transformer blocks act as specialization layers, capturing both global and local structure under constrained token budgets. Extensive experiments and ablations demonstrate that this base-then-specialize design yields consistent gains across multiple benchmarks with only 144 tokens, highlighting the importance of token formation prior to scaling interaction capacity. With Delta-LLaVA, inference throughput improves by up to 55%, while end-to-end training accelerates by nearly 4-5x in pretraining and over 1.5x in finetuning, highlighting the dual benefits of our design in both efficiency and scalability.
• Abstract（参考訳）: MLLM(Multimodal Large Language Models)は、視覚とテキストの表現を組み合わせてリッチな推論機能を実現する。 しかし、高精細な視覚トークン処理の計算コストは依然として大きなボトルネックとなっている。 このパイプラインの重要なコンポーネントは、ビジョンエンコーダと言語モデルをブリッジするビジュアルプロジェクタである。 標準設計では、直接トークンマッピングに単純な多層パーセプトロンを用いることが多いが、この手法は高解像度入力ではスケールが悪く、冗長性も優れている。 トークン効率のよいプロジェクタであるDelta-LLaVAについて述べる。 このベースアライメントに加えて、軽量なTransformerブロックが特殊化レイヤとして機能し、制約付きトークン予算の下でグローバル構造とローカル構造の両方をキャプチャする。 大規模な実験と改善により、この基本テーマ-特殊化設計は、たった144個のトークンを持つ複数のベンチマークで一貫した利得が得られることが示され、相互作用能力のスケーリングに先立ってトークン形成の重要性が強調された。 Delta-LLaVAでは、推論のスループットが最大55%向上し、事前トレーニングでは4～5倍、微調整では1.5倍向上し、効率性とスケーラビリティの両方において、私たちの設計の2つの利点を強調します。

関連論文リスト

• Fusion to Enhance: Fusion Visual Encoder to Enhance Multimodal Language Model [1.3663057923522652]
  本稿では,新しいビジョンタワーフレームワークであるFusion to Enhance (FtZ)を紹介する。 FtZは、意味的に強力なアンカーエンコーダと知覚に富んだ拡張エンコーダを革新的に構成することで、シングルエンコーダ設計を越えている。 この研究は、異種の専門家エンコーダを構成することが、現在のMLLMにおける視覚的認知ボトルネックを克服するための効率的かつ効果的な経路であることを証明している。
  論文  参考訳（メタデータ） (2025-08-31T02:22:57Z)
• MASSV: Multimodal Adaptation and Self-Data Distillation for Speculative Decoding of Vision-Language Models [0.09895793818721334]
  視覚言語モデル(MASSV)の投機的復号化のためのマルチモーダル適応と自己データ蒸留を導入する。 MASSVは、既存の小さな言語モデルを2段階のアプローチで効果的なマルチモーダルドラフトに変換する。 Qwen2.5-VL と Gemma3 モデルファミリでの実験では、MASSV が許容される長さを最大30%増加し、視覚的に接地されたタスクで最大 1.46 倍のエンドツーエンドの推論速度を提供することを示した。
  論文  参考訳（メタデータ） (2025-05-15T17:37:00Z)
• VLsI: Verbalized Layers-to-Interactions from Large to Small Vision Language Models [84.84277196012907]
  VLsI: Verbalized Layers-to-Interactions, a new VLM family in 2B and 7B model size。 GPT-4Vよりも優れた性能向上(2Bは11.0%、7Bは17.4%)を達成した。
  論文  参考訳（メタデータ） (2024-12-02T18:58:25Z)
• Efficient Multi-modal Large Language Models via Visual Token Grouping [55.482198808206284]
  高解像度の画像やビデオは、彼らの広く普及するための障壁となる。 MLLMにおける視覚トークンの圧縮は、推論コストを削減するための有望なアプローチとして現れている。 本稿では,事前学習した視覚エンコーダの能力を利用して類似画像セグメントをグループ化する,新たなグループ化機構であるVisToGを紹介する。
  論文  参考訳（メタデータ） (2024-11-26T09:36:02Z)
• SOLO: A Single Transformer for Scalable Vision-Language Modeling [74.05173379908703]
  我々はvisiOn-Language mOdelingのための単一変換器SOLOを提案する。 SOLOのような統一された単一トランスフォーマーアーキテクチャは、LVLMにおけるこれらのスケーラビリティ上の懸念に効果的に対処する。 本稿では,オープンソースの7B LVLMであるSOLOの開発のための,最初のオープンソーストレーニングレシピを紹介する。
  論文  参考訳（メタデータ） (2024-07-08T22:40:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。